Discourse Diversity in Multi-Turn Empathic Dialogue

Probleemstelling: Formulematige Herhaling in Empathische Dialogen

Grote Taalmodellen (LLMs) presteren vaak uitstekend in het genereren van empathische antwoorden in single-turn settings (één vraag, één antwoord). Echter, in multi-turn gesprekken (waarbij een gesprek zich over meerdere beurten ontwikkelt) vertonen deze modellen een ernstig tekort: ze zijn "formulematig".

Hoewel eerdere studies aantoonden dat LLMs dezelfde woordkeuzes en syntactische patronen herhalen, heeft dit paper zich gericht op een dieper niveau: discourselijke bewegingen (discourse moves) of tactieken. Dit verwijst naar de functionele rol van een antwoord, zoals het valideren van gevoelens, het stellen van vragen, het geven van advies of het parafraseren.

De kernproblemen geïdentificeerd:

1. Tactische Stijfheid: LLMs herhalen dezelfde empathische tactieken in opeenvolgende beurten met bijna het dubbele van de frequentie van menselijke supporters.
2. Onzichtbaarheid voor Standaard Metrieken: Standaard similariteitsmetrieken (zoals BLEU of BERTScore) detecteren deze herhaling niet, omdat ze zich richten op lexicale of semantische overlap, niet op de functionele diversiteit van het gesprek.
3. Negatieve Gevolgen: Hoog herhalingsgedrag (hoge "tactic stickiness") correleert significant met een lagere bereidheid van gebruikers om het systeem opnieuw te gebruiken.

Methodologie: MINT (Multi-turn Inter-tactic Novelty Training)

Om dit probleem op te lossen, stellen de auteurs MINT voor, het eerste versterkingsleringsframework (Reinforcement Learning - RL) dat specifiek is ontworpen om de diversiteit van discoursbewegingen over meerdere beurten te optimaliseren.

1. Taxonomie en Detectie:

• Er wordt gebruikgemaakt van een bestaande taxonomie van 10 empathische tactieken (bijv. Validation, Questioning, Advice, Reappraisal, Self-disclosure).
• Een sentence-level tagger (gebaseerd op Llama-3.1-8B met LoRA-adapters) wordt getraind om deze tactieken automatisch in antwoorden te detecteren.

2. Het MINT Framework:
MINT gebruikt Group Relative Policy Optimization (GRPO) om het beleid van het model te verfijnen. De beloningsscore ($R$) bestaat uit twee componenten:

• Kwaliteitsbeloning ($Q$): Een bestaande reward model (PsychoCounsel) dat de empathische kwaliteit van het antwoord evalueert.
• Diversiteitsbeloning: Dit is de innovatieve kern. In plaats van alleen te kijken naar wat er in het huidige antwoord staat, vergelijkt MINT het huidige antwoord met de vorige beurt in het gesprek.

De diversiteitsbeloning heeft twee onderdelen:

• Cross-Turn Novelty (KL-divergentie): $D_{KL}(Q_t || P_{t-1})$. Dit meet hoe verschillend de verdeling van tactieken in de huidige beurt ($Q_t$) is ten opzichte van de vorige beurt ($P_{t-1}$). Een hoge KL-divergentie betekent dat het model een nieuwe strategie kiest in plaats van de vorige te herhalen.
• Within-Turn Breadth (Entropie): $H(Q_t)$. Dit beloont het gebruik van meerdere verschillende tactieken binnen één enkel antwoord, zodat het antwoord niet te eenzijdig is.

De totale beloning is een gewogen som: $R = Q + \lambda(\gamma_{kl} D_{KL} + \gamma_{ent} H)$.

Kernbijdragen

1. Eerste Multi-Turn Bewijs: Het paper levert het eerste empirische bewijs dat discours-herhaling niet alleen voorkomt in single-turn settings, maar zich versterkt in multi-turn dialogen. LLMs herhalen tactieken met een "stickiness" van 0.50–0.56, terwijl mensen slechts 0.27 bereiken.
2. Nieuwe RL-Paradigma: MINT is het eerste framework dat diversiteit optimaliseert op het niveau van discoursfuncties (tactieken) in plaats van op token-niveau. Het toont aan dat token-level diversiteit (zoals bij R1-Zero-Div) niet vertaalt naar betekenisvolle variatie in gespreksstrategieën.
3. Geverifieerde Evaluatie: De auteurs introduceren een turn-level evaluatieprotocol voor waargenomen empathie dat een expert-niveau overeenstemming bereikt ($\kappa_w = 0.58$), wat een robuuste basis biedt voor het trainen en testen van empathische AI.

Resultaten

De experimenten zijn uitgevoerd op Qwen3-modellen (1.7B en 4B parameters) en vergeleken met diverse baselines (Vanilla prompts, Quality-only RL, Token-diversiteit RL).

• Verbetering in Empathie: De beste MINT-variant ($Q + D_{KL}$) verbeterde de totale empathiescore met gemiddeld 25,3% ten opzichte van de Vanilla-baseline.
• Reductie in Herhaling: Op het 4B-model werd de tactische herhaling (stickiness) met 26,3% verlaagd.
• Superioriteit: MINT presteerde beter dan alle baselines, inclusief die welke alleen gericht waren op kwaliteit of token-diversiteit.
• Kwaliteit vs. Diversiteit: Een belangrijk inzicht is dat diversiteit niet ten koste gaat van kwaliteit. Sterker nog, door de herhaling te doorbreken, verbeterde de kwaliteit van de empathie. Modellen die alleen op token-diversiteit waren getraind, bleven vastzitten in herhalende patronen.
• Kwalitatieve Observaties: MINT-modellen verminderden ongevraagd advies ("Unsolicited Advice") aanzienlijk en verhoogden het gebruik van open vragen en parafraseren, wat leidt tot meer natuurlijke en aanpasbare gesprekken.

Significantie en Conclusie

Dit paper stelt een fundamenteel inzicht bloot: wat huidige LLMs missen, is niet de capaciteit tot empathie zelf, maar het vermogen om hun discoursstrategieën dynamisch aan te passen naarmate een gesprek vordert.

De introductie van MINT toont aan dat diversiteit in discoursbewegingen een leerbaar trainingsdoel is. Door de focus te verleggen van "wat zeggen we?" naar "hoe verandert onze aanpak in dit gesprek?", kunnen AI-systemen betrouwbaarder worden als hulpmiddelen voor langdurige emotionele ondersteuning. Dit heeft grote implicaties voor de ontwikkeling van AI-companions voor mentale gezondheid, waar de variatie in aanpak cruciaal is voor het behoud van gebruikersbetrokkenheid en vertrouwen.

De code en data zijn openbaar gemaakt om verdere research in dit domein te stimuleren.