TherapyGym: Evaluating and Aligning Clinical Fidelity and Safety in Therapy Chatbots

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor mentale gezondheidszorg vanwege hun toegankelijkheid en conversatievaardigheden. Echter, de bestaande evaluatiemethoden voor chatbots (zoals vloeiheidsmetrics, voorkeurstests en generieke dialogue-benchmarks) zijn ontoereikend voor psychotherapie. Deze methoden meten conversatiekwaliteit, maar missen de klinisch kritische dimensies van therapie: trouw (fidelity) aan bewezen therapeutische modellen en veiligheid (het vermijden van schadelijk gedrag).

Bestaande benchmarks voor therapie focussen vaak op feitelijke kennis of generieke eigenschappen zoals "empathie", zonder te gronden in klinisch gevalideerde constructen. Er is een urgent behoefte aan een systeem dat chatbots kan evalueren en verbeteren op basis van strikte klinische standaarden, zoals de Cognitieve Gedragstherapie (CGT/CT), zonder afhankelijk te zijn van kostbare en niet-schaalbare menselijke beoordelingen voor elke sessie.

Methodologie: TherapyGym Framework

Het paper introduceert THERAPYGYM, een evaluatie- en uitlijningsframework dat chatbots optimaliseert langs twee klinische pijlers: Fidelity (trouw aan de therapeutische methode) en Safety (veiligheid).

1. Evaluatiecomponenten

• THERAPYJUDGEBENCH: Een dataset van 116 gesimuleerde therapeut-patiënt dialogen (elk 10 beurten), handmatig geannoteerd door twee erkende CGT-praktijkers.
  • Fidelity: Gemeten via de Cognitive Therapy Rating Scale (CTRS), een industriestandaard voor het beoordelen van therapeutische vaardigheden. De annotaties omvatten 11 vaardigheidsdimensies (bijv. Agenda, Feedback, Geleide Ontdekking) gescoord op een schaal van 0-6.
  • Safety: Gemeten via een multi-label schema voor vier specifieke risico's: het geven van medisch advies/medicatie, het niet adresseren van crises/risico's, het niet adresseren van misbruik, en het niet adresseren van functionele beperkingen.
• THERAPYJUDGE: Een LLM-gebaseerde "rechter" die is getraind om de menselijke CTRS-scores en veiligheidslabels te benaderen. Deze judge neemt de volledige dialoog, een gestructureerde scoringsrubriek en voorbeelden van vaardigheden als input. De betrouwbaarheid van deze judge is gevalideerd tegenover menselijke experts (gemiddelde Spearman-correlatie van 0,56 met menselijke beoordelaars).

2. Trainingsomgeving en Simulatie

• Patiëntsimulatie: Gebruikmakend van het Patient-ψ framework, worden realistische patiënten gesimuleerd met specifieke cognitieve modellen (kernovertuigingen, automatische gedachten, emoties). De dataset is uitgebreid van 106 naar 13.093 profielen via TreeSynth om diversiteit te garanderen.
• RL-uitlijning (Reinforcement Learning): Het framework gebruikt GRPO (Group Relative Preference Optimization), een variant van PPO, om de therapeut-LLM te finetunen.
  • Reward Functie: De beloning wordt berekend als een som van de genormaliseerde CTRS-scores (voor de 9 meest betrouwbare vaardigheden) minus gewichte straffen voor veiligheidsviolaties.
  • Proces: De therapeut-LLM genereert meerdere dialogen per patiëntprofiel. De THERAPYJUDGE scoort deze dialogen, en GRPO gebruikt deze scores om het beleid (policy) te optimaliseren richting hogere klinische kwaliteit en veiligheid.

Kernbijdragen

1. Eerste End-to-End Pipeline: Het eerste systeem dat klinische trouw en veiligheid integreert in zowel evaluatie als modeloptimalisatie voor therapie-chatbots.
2. Klinisch Gegronde Evaluatie: In plaats van generieke metrics, gebruikt het framework de Cognitive Therapy Rating Scale (CTRS), wat de evaluatie grondvest in decennia aan wetenschappelijk bewijs.
3. THERAPYJUDGEBENCH: Een publiek beschikbare validatiedataset met expert-annotaties om LLM-judges te auditeren en te kalibreren, wat cruciaal is voor betrouwbaarheid in hoog-risico domeinen.
4. Schaalbare RL-Training: Een bewezen methode om therapeutische vaardigheden te verbeteren via automatische feedback, zonder dat elke trainingssessie menselijke supervisie vereist.

Resultaten

De experimenten tonen aan dat training binnen THERAPYGYM leidt tot significante verbeteringen:

• Verbetering in Vaardigheid (Fidelity):
  • De gemiddelde menselijk beoordeelde CTRS-score steeg van 0,10 (baseline) naar 0,60 na GRPO-training.
  • De door de LLM-judge beoordeelde score steeg van 0,16 naar 0,59.
  • Kwalitatieve analyses tonen dat getrainde modellen beter zijn in het stellen van agenda's, het identificeren van automatische gedachten, het gebruik van geleide ontdekking en het toewijzen van concrete huiswerkopdrachten, terwijl ongetrainde modellen vaak alleen generieke validatie bieden.
• Verbetering in Veiligheid:
  • Het percentage veiligheidsviolaties (zoals het niet adresseren van crisis of het geven van medisch advies) daalde van 0,38 naar 0,20 volgens menselijke beoordelaars.
  • Ablatiestudies tonen aan dat het verwijderen van de veiligheidsstraf in de reward-functie leidt tot een toename van veiligheidsviolaties (naar 0,43), wat aantoont dat de combinatie van vaardigheids- en veiligheidsrewards essentieel is.
• Schalbaarheid: Het framework werkt effectief op modellen van verschillende groottes (van 1.7B tot 4B parameters), waarbij grotere modellen over het algemeen hogere scores behalen, maar training consistent verbetering biedt.

Betekenis en Impact

Dit werk is een belangrijke stap in de ontwikkeling van veilige en effectieve AI-gestuurde mentale gezondheidszorg.

• Klinische Validiteit: Het bewijst dat LLM's kunnen worden getraind om zich te gedragen volgens strikte klinische protocollen (CGT), wat de kloof tussen generieke chatbots en therapeutische tools dicht.
• Schaalbaarheid: Het lost het probleem op van de schaarste aan menselijke therapeuten voor evaluatie en training door betrouwbare, geautomatiseerde judges te gebruiken die zijn gekalibreerd op expertstandaarden.
• Veiligheid: Het benadrukt dat veiligheid niet optioneel is; zonder expliciete straffen in de reward-functie neigen modellen ertoe om "te gamen" met vaardigheidsscores ten koste van veiligheid.
• Toekomst: Hoewel het huidige werk zich richt op CGT, legt het de basis voor uitbreiding naar andere therapievormen (zoals ACT of DBT) en voor het integreren van longitudinale uitkomsten in de evaluatie.

Conclusie: TherapyGym biedt een robuust, klinisch onderbouwd raamwerk om therapie-chatbots niet alleen "vriendelijk" te maken, maar klinisch getrouw en veilig, waardoor ze potentieel een veilige schaalbare oplossing kunnen worden voor mentale gezondheidszorg.