💬 NLP

Move by Move: Measuring and Steering How LLMs Conduct Psychotherapy

Dit artikel introduceert een gevalideerde ontologie van tien therapeutische interventies om interacties in psychotherapie tussen menselijke clinici en grote taalmodellen te analyseren en te vergelijken, waarbij wordt onthuld dat modellen overmatig gebruikmaken van vragen stellen en een gebrek aan initiatief vertonen, maar aanzienlijk gestuurd kunnen worden naar menselijk gedrag door middel van tool-gebaseerde prompting zonder fine-tuning.

Oorspronkelijke auteurs: Afonso Baldo, Hugo Pitorro, Areti Vassilopoulos, Anabela C. Areias, Maya D'Eon, Fabíola Costa, Ricardo Rei, Nuno M. Guerreiro

Gepubliceerd 2026-08-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Afonso Baldo, Hugo Pitorro, Areti Vassilopoulos, Anabela C. Areias, Maya D'Eon, Fabíola Costa, Ricardo Rei, Nuno M. Guerreiro

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Mensen wenden zich al lang tot het gesprek als een manier om te helen, maar het landschap van de geestelijke gezondheidszorg verandert. Terwijl angst en depressie wereldwijd toenemen, is het aantal getrainde therapeuten niet in hetzelfde tempo meegegroeid, waardoor velen troost zoeken in digitale ruimtes. In toenemende mate worden deze digitale ruimtes bevolkt door grote taalmodellen, dezelfde kunstmatige intelligentiesystemen die e-mails schrijven en nieuws samenvatten. Deze modellen worden nu gevraagd om te luisteren, te troosten en mensen door emotionele nood heen te gidsen. Hoewel vroege tests suggereren dat deze digitale luisteraars soms symptomen kunnen verminderen, blijft een fundamentele vraag onbeantwoord: wanneer een machine spreekt tot een persoon in pijn, wat doet hij dan eigenlijk? Beoefent hij dezelfde delicate kunst als een menselijke therapeut, of volgt hij een ander, misschien gebrekkig, script?

Om dit te beantwoorden, besloten onderzoekers van Sword Health en Yale University in de 'black box' van het gesprek te kijken. Ze vroegen niet alleen of de AI behulpzaam aanvoelde; ze vroegen hoe het zich gedroeg. In de wereld van de klinische psychologie spreken therapeuten niet zomaar willekeurig. Ze volgen een gestructureerd proces en kiezen specifieke soorten reacties—zoals het stellen van een verhelderende vraag, het bieden van een nieuwe kijk op een probleem, of het aanleren van een copingvaardigheid—gebaseerd op wat de patiënt op dat exacte moment nodig heeft. De onderzoekers bouwden een nieuwe kaart om deze keuzes bij te houden. Ze definieerden tien onderscheidende "zetten", zoals "onderzoek" (vragen om meer details), "gedeeld begrip" (het terugreflecteren van wat de patiënt zei om te laten zien dat zij gehoord zijn), en "vaardigheidsopbouw" (de patiënt begeleiden bij een oefening). Deze kaart was afgeleid van gevestigde psychologische kaders en werd vervolgens getest door vijf erkende psychologen om te waarborgen dat het zowel menselijke als machinale gesprekken nauwkeurig kon beschrijven.

Met deze kaart in de hand zetten het team een reeks experimenten op om menselijke therapeuten te vergelijken met een panel van geavanceerde AI-modellen. Ze voerden de modellen transcripten van echte therapiesessies en vroegen hen het gesprek voort te zetten. In sommige gevallen werden de modellen vrij gelaten om naar eigen inzicht te spreken. In andere gevallen gaven de onderzoekers de modellen een set digitale instrumenten, waarbij elk instrument één van de tien therapeutische zetten vertegenwoordigde. De modellen moesten een instrument kiezen voordat ze konden spreken, wat hen effectief dwong om een strategie te bepalen voordat ze een woord typten. De onderzoekers maten vervolgens hoe vaak de modellen elke zet gebruikten in vergelijking met de menselijke therapeuten.

De resultaten onthulden een opvallend verschil in hoe machines en mensen therapie benaderen. De AI-modellen waren onvermoeibare ondervragers. Ze stelden vragen met een frequentie die tot wel drie keer hoger lag dan die van menselijke therapeuten. Waar mensen vaak zouden pauzeren om te reflecteren op wat een patiënt had gezegd of een nieuw perspectief zouden bieden, bleven de machines doorvragen naar meer informatie, waarbij ze vaak de kans misten om troost of inzicht te bieden. Bov�gens negeerden de modellen bijna volledig "psycho-educatie", een zet waarbij een therapeut de wetenschap achter een gevoel of gedrag uitlegt om de patiënt te helpen dit te begrijpen. Misschien wel het meest veelzeggend was de afhankelijkheid van de modellen van de mens die zij nabootsten. Wanneer de AI een gesprek voortzette dat door een menselijke therapeut was gestart, had het de neiging om de stijl van die mens te kopiëren. Maar wanneer de AI de sessie vanaf het begin moest leiden, viel het terug op zijn standaardgedrag: eindeloos vragen stellen en zelden zelfstandig complexe strategieën zoals vaardigheidsoefeningen initiëren.

De studie testte ook of het geven van het "instrument"-kader deze gewoonten kon corrigeren. Wanneer de modellen werden gedwongen om een therapeutische zet te kiezen voordat ze spraken, verbeterde hun gedrag aanzienlijk. De kloof tussen hun keuzes en die van menselijke therapeuten werd kleiner, en ze werden beter in het matchen van het menselijke gesprekritme. De oplossing was echter niet perfect. Zelfs met de instrumenten stelden de modellen nog steeds te veel vragen en boden ze niet zo vaak vaardigheden aan als mensen dat deden. Dit suggereert dat het probleem niet alleen een gebrek aan instructies is, maar iets dieper ligt in hoe deze modellen zijn gebouwd en getraind. Ze zijn van nature geneigd om informatie te verzamelen in plaats van te gidsen of te onderwijzen, een eigenschap die hen goed dient in een zoekmachine, maar hen in een therapiekamer kan hinderen.

De onderzoekers concludeerden dat hoewel deze modellen gestuurd kunnen worden naar meer menselijk gedrag, ze nog niet beschikken over het intuïtieve oordeelsvermogen van een getrainde clinicus. Ze zijn sterke volgers van een patroon, maar zwakke initiatoren van een nieuw patroon. De studie beweert niet dat deze modellen klaar zijn om therapeuten te vervangen, noch suggereert het dat ze in hun huidige staat gevaarlijk zijn. In plaats daarvan biedt het een duidelijke, meetbare manier om te zien waar ze tekortschieten. Door therapie af te breken in de kleinste functionele onderdelen, hebben de onderzoekers een manier geboden om de afstand te meten tussen een machinaal gesprek en de menselijke helende hand, waarmee zij laten zien dat hoewel de technologie vordert, de kunst van de therapie een uniek menselijk ambacht blijft dat machines nog niet volledig beheersen.

Technisch Samenvatting: Move by Move: Het Meten en Sturen van LLM's in Psychotherapie

Probleemstelling

Hoewel gebruikers in toenemende mate vertrouwen op Large Language Models (LLM's) voor emotionele steun en gesprekken die grenzen aan counseling, blijven de specifieke mechanismen waarmee deze modellen psychotherapeutische interacties voeren, onvoldoende begrepen. Bestaande evaluaties richten zich vaak op uitkomstgerichte metrieken (bijv. symptoomreductie) of lexicale gelijkenis, waardoor er een gat ontstaat in het begrip van het proces: welke therapeutische interventies modellen verkiezen, welke ze verwaarlozen, en hoe hun conversatiestrategieën vergeleken worden met getrainde menselijke clinici. Huidige modellen, getraind als behulpzame assistenten, kunnen vooroordelen vertonen zoals sycophantie (vleierij) of excessieve nieuwsgierigheid die afwijken van klinische best practices, terwijl er geen gestandaardiseerde, functie-gebaseerde ontologie bestaat om deze afwijkingen op turn-niveau te meten.

Methodologie

1. Therapeutische Move Ontologie

De auteurs ontwikkelden een compacte, functie-gebaseerde coderingsontologie bestaande uit tien therapeutische moves, gebaseerd op de MULTI-60 inventaris (McCarthy en Barber, 2009). De moves zijn:

Process Alignment: Kalibreren van samenwerking, tempo of het herstellen van breuken (ruptures).
Goal Setting: Identificeren of prioriteren van therapeutische doelen.
Inquiry: Informatie zoeken of begrip verdiepen.
Shared Understanding: Reflecteren, valideren, normaliseren of parafraseren zonder nieuwe claims toe te voegen.
Support Change: Versterken van hoop, agency of motivatie voor verandering.
Interpret: Het aanbieden van door de therapeut gegenereerde hypothesen over betekenis of patronen.
Challenge: Het onderzoeken van discrepanties, aannames of rigide overtuigingen.
Psychoeducation: Uitleggen van mechanismen, theorieën of interventierationales.
Action Planning: Het vertalen van inzichten naar concrete vervolgstappen.
Skill Building: Het introduceren, onderwijzen of oefenen van een specifieke vaardigheid binnen de sessie.

De ontologie werd gevalideerd via een annotatiecampagne waarbij vijf gelicentieerde psychologen (PhD/PsyD) betrokken waren. Zij bereikten een matige inter-annotator overeenstemming (gemiddelde Krippendorff's $\alpha \approx 0,627$ ) op menselijke transcripten, wat de betrouwbaarheid van het kader voor zowel menselijke als synthetische data vaststelt.

2. Evaluatiekader

De studie maakte gebruik van twee primaire experimentele settings om menselijke clinici te vergelijken met een panel van frontier LLM's (GLM 5.2, Claude Sonnet 4.6, GPT 5.6 Terra):

Human-Contexted Generation: Modellen fungeerden als clinici die een voortschrijdend prefix van echte menselijke therapietranscripten voortzetten. Dit testte hoe modellen zich aanpassen aan menselijke stijl en structuur.
Volledig Synthetische Sessies: Modellen fungeerden als zowel therapeut als patiënt (met behulp van gesimuleerde ledenprofielen) om volledige sessies te genereren. Dit elimineerde de verwarrende invloed van menselijke voorafgaande beurten om de intrinsieke gedragsprofielen van de modellen te observeren.

3. Sturingsmechanisme (Tool Framing)

Om te onderzoeken of modellen gestuurd konden worden naar menselijk gedrag zonder fine-tuning, stelden de auteurs de ontologie direct bloot aan de modellen als een set van function-calling tools. In de "With-Moves" conditie werd het model vereist om eerst een therapeutische move-tool te selecteren (bijv. do_challenge()) voordat het een reactie genereerde, waarbij de definitie van de tool de klinische geschiktheid van de move leidde.

4. Analyse

Een LLM-beoordelaar (GLM 5.2), gevalideerd tegen menselijke annotatoren, classificeerde elke therapeutische turn in de gegenereerde transcripten. De studie analyseerde:

Move Distributies: De frequentie van elk type move.
Temporele Structuur: Hoe het gebruik van moves evolueerde gedurende het verloop van een sessie.
Alignment: Overeenstemming op turn-niveau met de keuzes van menselijke clinici (gemeten via Pass@k).

Belangrijkste Resultaten

1. Systematische Divergentie in Mensgeleide Contexten

Zelfs wanneer verankerd aan menselijke transcripten, vertoonden modellen duidelijke gedragspatronen:

Excessieve Inquiry: Modellen gebruikten de "Inquiry" move tot wel drie keer vaker dan menselijke clinici. Ze vroegen vaak door naar details, zelfs wanneer er voldoende informatie beschikbaar was om naar actie over te gaan.
Verwaarlozing van Psychoeducation: Modellen gebruikten "Psychoeducation" consistent ondermatig, ongeacht het sturingskader.
Context Anchoring: Modellen waren zeer reactief; ze namen de strategieën die door menselijke clinici waren geïnitieerd over, maar initieerden zelden complexe moves (zoals Skill Building) op zichzelf wanneer zij een sessie leidden.

2. Intrinsieke Vooroordelen in Synthetische Sessies

Wanneer modellen sessies vanaf nul leidden (zonder menselijke prefixes), werd de divergentie groter:

Skill Building Collapse: De "Skill Building" move, die in mensgeleide contexten overeenkwam met menselijke ratio's, daalde naar <1% in synthetische sessies. Modellen slaagden er niet in om onafhankelijk van oefeningen voor vaardigheidsopbouw te initiëren.
Interpretatie-toename: "Interpret" werd de derde meest frequente move in synthetische sessies, wat ongeveer drie keer het menselijke tempo bedroeg.
Action Planning: Modellen stelden actieplannen vaker en abrupter voor dan mensen, waarbij de geleidelijke aanpak die in menselijke transcripten werd waargenomen, ontbrak.

3. Effectiviteit van Tool-gebaseerde Sturing

Het blootstellen van de ontologie als tools verbeterde de alignment, maar overbrugde de kloof niet volledig:

Distributional Shift: Het tool-framework verminderde de gemiddelde absolute afwijking (MAD) van de menselijke move-distributie met ongeveer 50% (bijv. van 7,04% naar 4,46% gemiddeld over de modellen).
Turn-Level Alignment: Het verbeterde de waarschijnlijkheid van het matchen van een menselijke referentie-turn met 7–9 procentpunten (bijv. Pass@4 steeg van 53% naar 62% onder meerderheidsstemming).
Beperkingen: Het framework verminderde excessieve inquiry succesvol, maar slaagde er niet in om de frequentie van verwaarloosde moves zoals Psychoeducation of Skill Building significant te verhogen, wat suggereert dat deze gedragingen afwezig zijn in de onderliggende outputdistributies van de modellen, in plaats van enkel een gebrek aan prompt-sturing.

Betekenis en Claims

Het artikel claimt de eerste uitgebreide, gevalideerde ontologie te bieden voor het meten van het proces van door LLM's uitgevoerde psychotherapie, waarbij verder wordt gekeken dan uitkomstmetrieken om de "move-by-move" mechanica van therapie te analyseren.

Meting: Het vestigt een betrouwbare, functie-gebaseerde vocabulaire (gegrond in MULTI-60) die een systematische audit van therapeutisch gedrag in LLM's mogelijk maakt.
Sturing: Het demonstreert dat het framen van klinische vaardigheden als tools het gedrag van LLM's gedeeltelijk kan afstemmen op menselijke clinici zonder fine-tuning te vereisen, wat een praktische, training-vrije methode biedt om klinische alignment te verbeteren.
Diagnostisch Inzicht: De studie onthult dat huidige frontier-modellen "onophoudelijke ondervragers" zijn die moeite hebben om complexe therapeutische interventies (zoals skill building) onafhankelijk te initiëren, wat een kloof blootlegt tussen hun conversationele vloeiendheid en hun klinische agency.

De auteurs concluderen dat hoewel tool-gebaseerde sturing de kloof verkleint, de fundamentele divergentie in move-distributies suggereert dat huidige LLM's niet de intrinsieke capaciteit hebben om het volledige temporele traject van menselijke therapie te repliceren, met name bij het initiëren en in stand houden van specifieke klinische interventies. Toekomstig werk moet zich richten op deze specifieke verwaarloosde moves en deze move-profielen koppelen aan werkelijke klinische uitkomsten.