Technische Samenvatting: StoryMI: Stuurbaar Multi-Agent Therapeutisch Dialooggeneratie

Probleemstelling

Hoewel Large Language Models (LLM's) vlotheid tonen in het genereren van dialoog, staat het eerdere onderzoek in Motivational Interviewing (MI) voor drie kritieke barrières:

1. Gebrek aan Situatieve Verankering: Bestaande methoden vertrouwen vaak op abstracte Likert-schaalbeoordelingen of geïsoleerde generatie op wisselingsniveau, waardoor ze de rijke narratieve context en persoonlijke intenties die centraal staan in MI niet vastleggen.
2. Onvoldoende Dynamische Controleerbaarheid: Huidige benaderingen worstelen om macro-niveau counselingstrategieën (bijvoorbeeld specifieke verhoudingen van reflecties tot vragen) af te dwingen over multi-turn gesprekken heen, wat vaak resulteert in statische of script-afhankelijke interacties.
3. Evaluatiebetrouwbaarheid: Standaard lexische metrieken en generieke LLM-as-judge rubrieken slagen er niet in klinisch betekenisvolle onderscheidingen te vangen, zoals de uitlijning met macro-niveau therapeutische strategieën en de authenticiteit van de therapeutische houding.

Methodologie: Het StoryMI-kader

StoryMI is een multi-LLM agentkader dat is ontworpen om controleerbare, situatief verankerde MI-dialoog te genereren. Het werkt via een workflow in drie fasen met drie onderscheiden agenten: een Cliëntagent, een Therapeutagent en een Interactiebeheeragent.

1. Profileren op Basis van Vragenlijsten

Het systeem begint met het genereren van gestructureerde cliëntenprofielen met behulp van gestandaardiseerde DSM-5-vragenlijsten. Een LLM genereert ernstscores (0–4) en korte redeneringen in de ik-vorm voor 23 items over 13 symptoomdomeinen (bijvoorbeeld depressie, woede, slaap). Dit creëert een psychologisch consistent en interpreteerbaar controle-signaal ($P$) voor de dialoog.

2. Situatieve Verankering in Verhaalcontext

Om de kloof te overbruggen tussen abstracte scores en naturalistische dialoog, breidt het systeem het cliëntenprofiel $P$ uit tot een situatief verhaal ($N$) van ongeveer 200 woorden. Dit narratief verankert de symptomen van de cliënt in concrete levenservaringen, specifieke scènes en emotionele texturen, waardoor persona-consistentie over multi-turn interacties wordt gewaarborgd zonder handmatige curatie.

3. Controleerbare MI-Dialoogsimulatie

De kernsimulatie omvat een gecoördineerde lus:

• Cliëntagent: Genereert een uiting gekoppeld aan een cliënt-MI-code (Verandering, Handhaving of Neutraal) gebaseerd op het situatieve verhaal en de dialooggeschiedenis.
• Interactiebeheeragent: Treedt op als coördinator. Deze agent classificeert de motivationele oriëntatie van de cliënt, selecteert een passende therapeutstrategie ($\ell^*_T$) uit de MI-code-set (Reflectie, Vraag, Inbreng) en werkt de gedeelde dialoogstatus bij. Deze agent dwingt macro-niveau beperkingen af, zoals het handhaven van een Reflectie-tot-Vraag-verhouding > 2,0.
• Therapeutagent: Genereert een reactie die is geconditioneerd op de geselecteerde strategie en de huidige dialoogstatus.

Het proces herhaalt zich totdat een beëindigingsvoorwaarde is bereikt (bijvoorbeeld natuurlijke afsluitingskaders of een maximum aantal wisselingen), wat resulteert in een volledig gesimuleerd, MI-consistent gesprek.

Belangrijkste Bijdragen

1. Multi-Agent Workflow: Het ontwerp van een gestructureerde workflow die situatieve verhaalverankering integreert met dynamisch controleerbare, MI-gecodeerde interacties, gevalideerd over zes representatieve LLM's.
2. MI-specifiek Evaluatieprotocol: Het voorstellen van een tweeledig evaluatiesysteem dat standaard lexische metrieken combineert met zes MI-specifieke gedragsmetrieken (bijvoorbeeld Strategie-Adherentie, Ratio Complexe Reflecties, Ratio Open Vragen) en een zesdimensionale rubriek voor LLM- en menselijke beoordelaars.
3. Datasetconstructie: Het creëren van een dataset bestaande uit 6.000 gesimuleerde multi-turn dialogen die zijn verankerd in 1.000 unieke vragenlijst-verhaalkoppelingen, die 12 MI-codes en 13 symptoomdomeinen bestrijken.

Experimentele Resultaten

De studie heeft zes LLM's (GPT-5-Nano, LLaMA 3.1-8B, Phi-4-14B, OpenChat-7B, Gemma-7B, Qwen 2.5-7B) getoetst met het StoryMI-kader.

• Strategie-Adherentie: Het kader maakte succesvol macro-niveau controle mogelijk. Modellen zoals GPT, OpenChat, Gemma en Qwen behaalden Strategie-Adherentiescores >80%, wat nauw aansluit bij de beoogde MI-verdeling (50% reflecties, 25% vragen, 20% inbreng). Alle modellen overschreden de aanbevolen drempel voor de Ratio Complexe Reflecties (>50%).
• Lexische versus Klinische Kwaliteit: Lexische metrieken (Perplexiteit, Distinct-2) alleen slaagden er niet in therapeutische kwaliteit te voorspellen. Zo vertoonde Phi-4-14B een hoge lexische diversiteit maar lage Strategie-Adherentie, terwijl Qwen een hoge Reflectiediepte en Ratio Complexe Reflecties toonde ondanks gematigde lexische scores.
• Ablatiestudies: Het verwijderen van MI-codes veroorzaakte een significante daling in Strategie-Adherentie (van 80,9% naar 64,2%), wat bevestigt dat codering op interactieniveau essentieel is voor macro-controle. Het verwijderen van situatieve verhalen verlaagde de Code-entropie, wat aangeeft dat narratieve verankering de gedragsdiversiteit verrijkt.
• Menselijke Uitlijning: Menselijke experts en LLM-beoordelaars toonden sterke overeenstemming over "Diepte" en "Voortgang", maar aanzienlijke afwijkingen over "Naturaliteit", "Empathie" en "Adherentie". Opvallend genoeg kregen modellen met hogere Ratio Open Vragen hogere menselijke empathie-beoordelingen, wat het MI-principe valideert dat open vragen een accepterende therapeutische houding signaleren.

Betekenis en Beperkingen

Het artikel stelt dat gestructureerde multi-agent coördinatie de generatie mogelijk maakt van therapeutisch coherente dialoog die zowel situatief verankerd als strategisch controleerbaar is. Het werk toont aan dat MI-achtige kwaliteit kan worden vormgegeven door dialoogstrategieën te controleren in plaats van uitsluitend te vertrouwen op modelgrootte.

De auteurs benadrukken dat hun evaluatiekader een fundament biedt voor toekomstig onderzoek, met name in het uitbreiden van controleerbare generatie naar multi-modale therapieën en het valideren van systemen in real-world klinische trainingsomgevingen. Zij erkennen beperkingen, waaronder de afhankelijkheid van westerse diagnostische normen volgens de DSM-5, het gebrek aan interactie met echte cliënten, en de noodzaak van longitudinale studies om causale verbanden tussen specifieke MI-strategieën en therapeutische uitkomsten vast te stellen. Het werk wordt gepresenteerd als een onderzoeksinstrument voor simulatie en training, niet als een directe vervanging voor gekwalificeerde geestelijke gezondheidsprofessionals.