Where do LLMs Fall Short in CBT-Guided Affective Reasoning?

Technische Samenvatting: Waar LLM's tekortschieten in CBT-gestuurde affectieve redenering

Probleemstelling
Hoewel Large Language Models (LLM's) een hoge mate van vloeiendheid en theoretische kennis van Cognitieve Gedragstherapie (CGT) vertonen — waarbij ze tot 96% nauwkeurigheid scoren op vragen van CGT-licentie-examens — falen ze er niet in om deze kennis effectief in de praktijk toe te passen. Uit de basisversies (out-of-the-box) vertonen LLM's een systematische beoordelingsbias, waarbij ze standaard kiezen voor een positie met lage macht en hoge instembaarheid, gekenmerkt door "Validatie & Reflectie" (V), ongeacht de specifieke cognitieve behoeften van de gebruiker. Ze slaan vaak de gestructureerde formulering over die vereist is voor CGT (het deconstrueren van distress in triggers, automatische gedachten, emoties en gedragingen) en gaan in plaats daarvan voortijdig over naar probleemoplossing of empathische validatie. Als gevolg hiervan wijken hun emotionele trajecten af van authentieke therapeutische interacties, en slagen ze er niet in om de verschuivende emotionele staat van de gebruiker te volgen of passende interventies toe te passen zoals Socratische Vragenstelling (SQ) of Alternatieve Perspectieven (AP).

Methodologie
De auteurs stellen een kennisgestuurd kader voor dat therapeutische dialoog behandelt als een gecontroleerd affectief redeneerproces. De methodologie bestaat uit drie kerncomponenten:

1. Klinische Gronding en Verificatie: Gebruikersnarratieven worden in kaart gebracht met de SNOMED CT (Systematized Nomenclature of Medicine – Clinical Terms) ontologie. Om semantische coherentie te waarborgen, gebruikt het systeem Natural Language Inference (NLI) om te verifiëren dat de opgehaalde klinische concepten logischerwijs voortvloeien uit het narratief van de gebruiker, waarbij hallucinaties of incorrecte klinische interpretaties worden weggefilterd.
2. Beoordelingsgebaseerde Cognitieve Modellering: Gebaseerd op Becks Cognitive Conceptualization Diagram (CCD), deconstrueert het kader gebruikersvragen in een gestructureerd "Gebruikers Cognitief Model" bestaande uit triggers, automatische gedachten, emotionele reacties en gedragsconsequenties. Deze structuur wordt expliciet aan de LLM verstrekt om de redenering te beperken.
3. Multiple Chain-of-Thought (MCoT) Strategiekeuze: In plaats van een enkele generatiepassage, genereert de LLM kandidaat-responsen voor drie verschillende CGT-principes — Validatie & Reflectie (V), Socratische Vragenstelling (SQ) en Alternatieve Perspectieven (AP). Elke kandidaat wordt voorafgegaan door een redeneerspoor. Het model scoort vervolgens deze kandidaten en selecteert degene die de conversatie het beste vooruit helpt op basis van de gedeconstrueerde cognitieve staat.

Evaluatiekader
De studie evalueert drie open-weight LLM's (Gemma3-12B, Mistral-7B en GPT-OSS-20B) aan de hand van 14 synthetische casestudy's afgeleid van de RealCBT-dataset. De evaluatie maakt gebruik van:

• Menselijke Expert-evaluatie: Blinde beoordelingen van principe-betrouwbaarheid en responsvoorkeur door domeinexperts.
• Linguïstische Entrainment: Gemeten via genormaliseerde Conversational Linguistic Distance (nCLiD) om te beoordelen hoe nauw de taal van de LLM overeenkomt met die van de gebruiker.
• Valentie–Arousal Trajecten: Het volgen van emotionele verschuivingen over tijd om synthetische sessies te vergelijken met echte klinische data.
• Protocol Leverage Force ($F$): Een nieuwe gedragsniveau-metriek die de "reoriëntatie" van een modelrespons weg van zijn standaard baseline kwantificeert. Het meet het mechanische voordeel van de interventie, door te berekenen hoe ver de MCoT-geselecteerde respons verschuift naar de cognitieve staat van de gebruiker ten opzichte van het natuurlijke gedrag van het model.

Belangrijkste Resultaten

• Kennis versus Toepassingskloof: Hoewel modellen over een hoge theoretische CGT-kennis beschikken, slagen ze er niet in dit te vertalen naar toepassing. Zelfs met MCoT-begeleiding blijven modellen zwaar bevooroordeeld richting Validatie & Reflectie (V).
• Beperkte Gedragsverschuiving: De Protocol Leverage Force ($F$) laat zien dat het introduceren van protocoldefinities via prompting de gedragingen van het model slechts met ongeveer 1% verandert (variërend van 1,18% tot 1,34%). Hoewel het kader de modellen succesvol richting de beoogde richting stuurt (bijv. V-responsen komen dichter bij de taal van de gebruiker, SQ beweegt verder weg), is de omvang van de verandering onvoldoende om de inherente bias van de modellen te overwinnen.
• Entrainment versus Therapeutisch Boog: Synthetische sessies vertoonden een hogere linguïstische entrainment (lagere nCLiD) dan echte CGT-sessies, voornamelijk omdat de modellen terugvielen op V, wat de taal van de gebruiker spiegelt. Echter, echte CGT-sessies vertoonden meer genuanceerde emotionele oscillaties en de-escalatie, wat suggereert dat oppervlakkige afstemming niet gelijkstaat aan therapeutische diepgang.
• Subjectiviteit van Menselijke Evaluatie: De overeenstemming tussen beoordelaars over de voorkeur van de respons was laag (Fleiss' $\kappa$ nabij 0), wat aangeeft dat het beoordelen van therapeutische geschiktheid inherent subjectief is wanneer modellen vloeiende maar strategisch ambigue responsen produceren. Experts vertoonden echter een hogere overeenstemming over de aanwezigheid van Socratische Vragenstelling (SQ) dan over Validatie (V).

Betekenis en Claims
De paper claimt dat de primaire bijdrage niet een nieuwe therapeutische techniek is, maar een instrumentatie voor de affective computing gemeenschap. Het biedt een middel om te meten waar en hoeveel gestructureerde begeleiding het gedrag van een model verandert, waarbij onderscheid wordt gemaakt tussen wat een model weet (CGT-theorie) en wat het doet (therapeutische toepassing).

De auteurs concluderen dat CGT-kennis alleen geen effectieve toepassing garandeert. De bescheiden winsten die zijn waargenomen (ongeveer 1% verschuiving) suggereren dat huidige prompting-strategieën onvoldoende zijn om de diepgewortelde biases van LLM's naar empathische validatie te overwinnen. Het werk benadrukt de noodzaak om verder te gaan dan oppervlakkige vloeiendheid om systemen te ontwikkelen die kunnen redeneren over affectieve staten en interventies kunnen selecteren op basis van de gedeconstrueerde cognitieve structuur van een gebruiker, terwijl het erkent dat er nog aanzienlijke kloven zijn voordat dergelijke systemen als klinisch levensvatbaar kunnen worden beschouwd.