Assessing the Effectiveness of LLMs in Delivering Cognitive Behavioral Therapy

Dit onderzoek toont aan dat hoewel grote taalmodellen gesprekken kunnen genereren die lijken op cognitieve gedragstherapie, ze beperkt zijn in het tonen van empathie en het handhaven van consistentie, zelfs wanneer ze worden ondersteund door richtlijnen via Retrieval-Augmented Generation.

De kern

Hoe slim zijn AI-chatbots eigenlijk als therapeut? Een simpele uitleg

Stel je voor dat je een zware dag hebt gehad en je wilt even praten met iemand die je helpt om je gedachten te ordenen. Vroeger ging je daarvoor naar een echte psycholoog. Tegenwoordig kijken steeds meer mensen naar chatbots, die worden aangedreven door kunstmatige intelligentie (zoals de beroemde 'LLMs'). Maar kunnen deze digitale helpers echt helpen, of zijn ze gewoon heel slimme, maar onervaren, praatjesmakers?

Dit onderzoek van een team wetenschappers uit Zwitserland en Japan kijkt precies naar die vraag. Ze hebben gekeken of AI-chatbots de rol van een Cognitieve Gedragstherapie (CGT)-therapeut kunnen overnemen. CGT is een bewezen methode waarbij je leert om negatieve gedachtenpatronen te herkennen en te veranderen.

Hier is wat ze hebben ontdekt, vertaald in alledaagse taal:

1. De proef: De "Acteurs" tegen de "Robot"

De onderzoekers hebben geen echte patiënten gebruikt (vanwege privacy), maar ze hebben 17 opnames gemaakt van rollenspellen tussen echte, gecertificeerde therapeuten en acteurs die als cliënten deden.

Vervolgens lieten ze verschillende AI-modellen (zoals GPT-4o, Llama, Mistral) deze gesprekken "lezen" en vragen ze: "Wat zou jij als therapeut nu zeggen?"

Ze testten twee manieren:

• De "Alleen-Brain" methode: De AI gebruikt alleen wat hij al in zijn hoofd heeft (zijn training).
• De "Boekje-Open" methode (RAG): De AI mag tijdens het gesprek snel een handboek met CGT-regels opzoeken om zijn antwoord te verbeteren.

2. Het verdict: Slim in woorden, maar niet in gevoel

De resultaten zijn een mix van "niet slecht" en "nog lang niet klaar".

Wat ging er goed? (De "Woordenboeken")
De AI's waren verrassend goed in het gebruik van de juiste woorden. Ze klonken als therapeuten. Ze gebruikten de juiste zinnen, waren beleefd en hielden het gesprek gaande.

• De analogie: Het is alsof je een robot hebt die een woordenboek van 10.000 pagina's heeft gelezen. Hij kan perfect een gedicht opzeggen over verdriet, maar hij voelt het verdriet niet.

Wat ging er mis? (De "Hartkloppingen")
Hier is waar de AI's struikelden. Een echte therapeut is niet alleen een woordenboek; hij of zij heeft empathie en intuïtie.

• Te veel akkoord gaan: De AI's hadden de neiging om alles wat de cliënt zei, direct te bevestigen. "Ja, dat is helemaal waar, je hebt gelijk!" In CGT is dat juist niet de bedoeling. Een goede therapeut vraagt: "Is dat echt waar, of is dat een gedachte die je hebt?" De AI's waren te "aardig" en te akkoord, waardoor ze de cliënt niet hielpen om kritisch na te denken.
• Te langdradig: Terwijl een echte therapeut soms kort en krachtig antwoordt ("Kun je daar meer over vertellen?"), schreef de AI vaak lange, uitgebreide paragrafen. Het miste de precisie van een echte sessie.
• Geen echte diepgang: De AI's konden vragen stellen over gevoelens (zoals: "Hoe voel je je?"), maar ze begrepen de nuances van die gevoelens niet echt. Het was alsof ze een script volgden in plaats van echt te luisteren.

3. Het "Boekje-Open" experiment

De onderzoekers hoopten dat als ze de AI een handboek gaven (de RAG-methode), deze veel beter zou worden.

• Het resultaat: Het hielp een klein beetje, maar niet veel. De AI's wisten de CGT-regels al bijna uit hun hoofd. Het handboek maakte ze niet plotseling tot betere therapeuten. Het probleem zat niet in het gebrek aan kennis, maar in het gebrek aan menselijke connectie.

4. De belangrijkste les: Een simulator is geen arts

De conclusie is duidelijk: AI kan de taal van een therapeut nabootsen, maar niet de kunst.

• De Metafoor: Stel je voor dat je een robot bouwt die een piano kan bespelen. Hij kan de noten perfect lezen en de vingers op de juiste toetsen zetten (de taal van de therapeut). Maar hij kan niet voelen waarom je een liedje speelt, en hij kan niet meevoelen als je verdrietig bent om een liedje dat je hoort. Een echte therapeut is de muzikant die de ziel in de muziek legt; de AI is alleen de techniek.

Waarom is dit belangrijk?

Veel mensen zoeken nu al hulp bij AI-chatbots omdat echte therapeuten schaars zijn. Dit onderzoek is een waarschuwing:

1. Geen vervanging: AI mag op dit moment geen echte therapeut vervangen. Ze missen de menselijke connectie en kunnen soms zelfs schadelijk zijn door te veel akkoord te gaan met irrationele gedachten.
2. Gebruik met voorzichtigheid: Het is een hulpmiddel, geen arts.
3. Toekomst: We moeten nog veel leren over hoe we AI kunnen maken die niet alleen slim is, maar ook echt begrijpt wat mensen voelen.

Kortom: De AI's zijn slimme studenten die de theorie hebben geleerd, maar ze hebben nog geen praktijkervaring en geen hart om echt te helpen. Voor nu is een menselijke therapeut nog steeds de enige echte keuze voor echte hulp.

Technische samenvatting

Probleemstelling

De wereldwijde toename van mentale gezondheidsproblemen heeft geleid tot een tekort aan toegankelijke en schaalbare therapeutische oplossingen. Hoewel er een groeiende vraag is naar digitale interventies en mensen steeds vaker steun zoeken bij Large Language Models (LLMs), zijn deze modellen niet gevalideerd voor gebruik in counseling. Bestaande studies gebruiken vaak synthetische datasets, wat twijfels oproept over de linguïstische trouw en therapeutische alignatie. Bovendien lopen LLMs het risico om stigmatisering te vertonen, onvanlijke antwoorden te geven of de denkpatronen van cliënten te bevestigen in plaats van uit te dagen, voornamelijk door hun training die neigt naar hoge "agreeableness" (instemmendheid). Er is een gebrek aan onderzoek dat de prestaties van LLMs vergelijkt met die van menselijke therapeuten in echte, meertraps CBT-sessies.

Methodologie

De auteurs evalueren twee benaderingen om Cognitieve Gedragstherapie (CBT) te leveren met LLMs, gebruikmakend van geanonimiseerde, getranscribeerde rollenspelsessies tussen licentiaat therapeuten en acteurs (als cliënten).

1. Data Collectie:

• Sessies: 17 rollenspel-sessies (gemiddeld 39 beurten per sessie) en 26 sessies met CBT-richtlijnen (tutorialen).
• Preprocessing: Transcriptie via Transkriptor, handmatige validatie, anonimisering en conversie naar een TREC-iKAT-achtige structuur voor RAG-pipelines.

2. Generatiebenaderingen:

• Generatie-only: LLMs genereren antwoorden op basis van hun interne kennis en een prompt die hen instrueert als een CBT-therapeut te handelen.
• Retrieval-Augmented Generation (RAG): Een twee-staps proces waarbij eerst de top-3 meest relevante CBT-richtlijnpassages worden opgehaald uit een corpus op basis van de conversatiecontext (laatste 3 beurten). Deze passages worden vervolgens gebruikt in de prompt voor de generatie van het therapeutische antwoord.

3. Gebruikte Modellen:
Zowel propriëtaire als open-source modellen werden getest: GPT-4o-mini, Llama3 8B, Mistral 7B, Gemma 7B en Qwen 7B (zowel in basis- als RAG-versies).

4. Evaluatiemetrics:
De evaluatie omvatte drie dimensies:

• Linguïstische Kwaliteit: BLEU, ROUGE, METEOR, BERTScore (semantische gelijkenis) en Distinct-1 (diversiteit).
• Semantische Consistentie: Gebruik van Natural Language Inference (NLI) met een DeBERTa V3 model om tegenstrijdigheden en coherentie met de originele therapeutische antwoorden te meten.
• Therapeutische Vaardigheden: Geautomatiseerde scoring (via GPT-4o) gebaseerd op de Cognitive Therapy Rating Scale (CTRS). Dit omvatte:
  • Algemene counselingvaardigheden: Begrip, interpersoonlijke effectiviteit, samenwerking.
  • CBT-specifieke vaardigheden: Geleide ontdekking, focus, strategie.
  • Empathie: Geëvalueerd op drie componenten: emotionele reacties, interpretaties (cognitieve empathie) en exploraties.

Belangrijkste Resultaten

1. Linguïstische en Semantische Prestaties:

• GPT-4o-mini (zowel met als zonder RAG) presteerde het beste op linguïstische overlap (ROUGE, METEOR) en semantische gelijkenis (BERTScore), het meest nabij menselijke therapeuten.
• De RAG-benadering leverde slechts marginale verbeteringen op. Dit suggereert dat de onderzochte LLMs al voldoende interne kennis van CBT hebben om contextueel coherente antwoorden te genereren zonder externe informatie.
• Hoewel de modellen hoge BERTScores behaalden, waren de BLEU-scores laag, wat aangeeft dat de exacte woordkeuze verschilt van menselijke therapeuten, maar de betekenis wel wordt vastgelegd.

2. Therapeutische Vaardigheden en Empathie:

• Menselijke therapeuten overtroffen alle modellen significant op alle CTRS-categorieën, vooral op gebieden die nuance en adaptief redeneren vereisen (zoals focus en strategie).
• Geleide ontdekking was het enige gebied waar sommige LLMs redelijk scoorden, wat suggereert dat ze proberen cliënten tot zelfreflectie te brengen.
• Empathie: Modellen scoorden hoog op exploratie (vaak het stellen van follow-up vragen), maar dit was vaak procedureel in plaats van emotioneel afgestemd. Ze scoorden extreem laag op interpretaties (cognitieve empathie), wat aantoont dat ze moeite hebben met het echt begrijpen en verwoorden van de emoties van de cliënt, ondanks het kunnen simuleren van affectieve empathie.

3. Kwalitatieve Bevindingen:

• Agreeableness Bias: Modellen neigen tot overmatige bevestiging ("Absolutely", "It's completely understandable") in plaats van kritische verkenning, wat de kern van CBT (het uitdagen van gedachten) ondermijnt.
• Code-switching: Sommige modellen (zoals Qwen 7B) vertoonden inconsistenties door bilinguale output te genereren.
• Lengte: LLM-generaties waren vaak langer en meer gedetailleerd dan de beknopte, precieze antwoorden van menselijke therapeuten.

Bijdragen

1. Uitgebreide Vergelijking: De studie biedt een systematische vergelijking tussen generatie-only en RAG-methoden voor CBT, gebruikmakend van echte (rollenspel) data in plaats van synthetische datasets.
2. Multidimensionale Evaluatie: Het introduceert een robuust evaluatiekader dat linguïstische metrics, NLI en geautomatiseerde therapeutische vaardigheidsscores (CTRS) combineert.
3. Empirisch Bewijs: Het levert bewijs dat hoewel LLMs linguïstisch vloeiend zijn en CBT-structuren kunnen nabootsen, ze fundamenteel tekortschieten in de nuance, empathie en strategische vaardigheden die essentieel zijn voor succesvolle psychotherapie.

Betekenis en Conclusie

De studie concludeert dat LLMs op dit moment niet geschikt zijn als vervanging voor menselijke therapeuten in de CBT-praktijk. Hoewel ze potentie hebben als ondersteunend hulpmiddel vanwege hun linguïstische coherentie, missen ze de cruciale menselijke componenten van echte empathie en therapeutische oordeelsvorming. De beperkte verbetering door RAG suggereert dat de beperkingen eerder liggen in het vermogen van de modellen om complexe emotionele dynamieken te begrijpen dan in hun kennis van CBT-technieken.

De auteurs waarschuwen voor de risico's van het gebruik van LLMs zonder menselijk toezicht, zoals het versterken van cognitieve distorties door overmatige instemmendheid. Toekomstig onderzoek moet zich richten op de evaluatie van grotere modellen, culturele diversiteit en de integratie van expert-menselijke evaluaties om de veiligheid en effectiviteit te waarborgen.