💬 NLP

PsychePass: Calibrating LLM Therapeutic Competence via Trajectory-Anchored Tournaments

PsychePass is een verenigd framework dat de evaluatie en training van LLM's in de geestelijke gezondheidszorg verbetert door cliëntsimulaties te verankeren en Swiss-systeemtoernooien te implementeren om robuuste Elo-ratings en beloningssignalen te genereren, waardoor de instabiliteit van huidige ongestructureerde beoordelingsparadigma's wordt overwonnen.

Oorspronkelijke auteurs: Zhuang Chen, Dazhen Wan, Zhangkai Zheng, Guanqun Bi, Xiyao Xiao, Binghang Li, Minlie Huang

Gepubliceerd 2026-01-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhuang Chen, Dazhen Wan, Zhangkai Zheng, Guanqun Bi, Xiyao Xiao, Binghang Li, Minlie Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe therapeut probeert aan te nemen voor een drukke kliniek. Je hebt 12 verschillende kandidaten (die toevallig geavanceerde AI-computers zijn). Hoe bepaal je wie de beste is?

Het artikel PSYCHEPASS betoogt dat de oude manier van het testen van deze AI's kapot is. Hier is een eenvoudige uiteenzetting van het probleem dat ze vonden en het nieuwe "toernooi"-systeem dat ze hebben gebouwd om dit op te lossen.

Het Probleem: De "Driftende" Test

De auteurs zeggen dat huidige tests voor AI-therapeuten lijden onder twee hoofdtypen "drift", zoals een boot die zijn anker verliest:

Procesdrift (Het Doelloze Gesprek): Stel je voor dat je een robot vraagt om "met een verdrietig persoon te praten." Zonder script kan de robot steeds weer "het spijt me" zeggen, of de verdrietige persoon (gesimuleerd door een andere AI) kan het onderwerp uit het oog verliezen. Het gesprek bereikt nooit de diepe, moeilijke delen van therapie waar je eigenlijk wilt testen of de therapeut weet wat hij moet doen. Het is als een rijexamen waarbij de leerling alleen maar rondjes rijdt op een leeg parkeerterrein in plaats van door echt verkeer te navigeren.
Standaarddrift (De Vage Score): Stel je voor dat een rechter een score geeft van "3,5 uit 5" aan de prestaties van een therapeut. Is een 3,5 goed? Is het slecht? Zonder iemand mee te vergelijken, is dat getal betekenisloos. Het is alsoast proberen hardlopers te rangschikken door te zeggen "Loper A liep snel" zonder stopwatch of finishlijn.

De Oplossing: Het "Verankerde" Toernooi

Om dit op te lossen, hebben de auteurs PSYCHEPASS gebouwd, wat fungeert als een rigoureuze, gestructureerde sportcompetitie voor AI-therapeuten. Ze "verankeren" (beveiligen) de test op twee manieren:

1. Het Gesprek Verankeren (De Gescripte Reis)

In plaats van de AI vrij te laten chatten, dwingen ze het gesprek om een strikte route te volgen.

De Metafoor: Denk aan een level in een videogame. De "cliënt" (een gesimuleerde AI) is geprogrammeerd om een specifiek personage met een specifiek probleem te spelen. Ze krijgen de instructie om specifieke "checkpoints" in het gesprek te bereiken, zoals:
- Checkpoint 1: Vertrouwen opbouwen.
- Checkpoint 2: Een diep trauma onthullen.
- Checkpoint 3: Advies vragen over een moeilijke gewoonte.
Het Doel: Dit zorgt ervoor dat de AI-therapeut wordt getest op alles wat hij moet weten, niet alleen op de makkelijke onderdelen. Als de AI het "trauma"-checkpoint niet aankan, vangt de test dit direct op.

2. Het Oordeel Verankeren (Het Zwitsers Systeem Toernooi)

In plaats van iedereen een score uit 100 te geven, brengen ze de AI's in een toernooi onder.

De Metafoor: Stel je een schaaktoernooi voor. Je zegt niet alleen "Speler A is goed." Je laat Speler A tegen Speler B spelen.
Het Systeem: Ze gebruiken een Zwitsers systeem toernooi. Dit is een slimme manier om spelers te koppelen. Als een AI wint, speelt deze tegen een andere winnaar. Als het verliest, speelt het tegen een andere verliezer. Dit zorgt ervoor dat aan het einde de beste AI's tegen elkaar vechten en de slechtste AI's tegen elkaar vechten.
Het Resultaat: In plaats van een vage "3,5", krijg je een duidelijke rangschikking (Elo-rating), net als bij schaken of videogames. Je weet precies wie nummer 1 is en wie nummer 12.

De "Geheime Saus": Leren van de Strijd

Het artikel gaat nog een stap verder. Meestal vertelt een toernooi alleen wie er gewonnen heeft. Maar PSYCHEPASS gebruikt de resultaten van de gevechten om de AI ook daadwerkelijk te trainen.

De Metafoor: Stel je een coach voor die het toernooi observeert. Wanneer de coach ziet dat de AI een fout maakt, merkt hij dit niet alleen als "fout" op, maar voert hij die specifieke les terug in het brein van de AI.
Het Resultaat: De AI speelt het toernooi, leert van zijn verliezen en speelt opnieuw. Het artikel laat zien dat een AI die op deze manier getraind is, aanzienlijk beter werd in therapie en vaker won van zijn oorspronkelijke zelf.

Wat Hebben Ze Gevonden?

Ze hebben 12 verschillende AI's getest (sommigen specifiek gebouwd voor psychologie, anderen algemene super-AI's zoals de nieuwste versies van GPT of Claude).

De Verrassing: De "gespecialiseerde" psychologie-AI's werden vaak verslagen door de "algemene" super-AI's. De algemene AI's waren beter in het complexe, langetermijndenken dat vereist is voor echte therapie.
De Validatie: Toen menselijke experts (echte psychologen) naar de resultaten keken, kwamen ze bijna perfect overeen met de rangschikkingen van de AI-toernooi. Dit bewijst dat het systeem werkt.

Belangrijke Grenzen (Wat het Papier Zegt)

De auteurs zijn zeer duidelijk over wat dit hulpmiddel niet is:

Het is geen vervanging voor mensen: Ze benadrukken dat deze AI's assistenten zijn, geen gelicentieerde therapeuten. Het zijn hulpmiddelen om mensen te helpen, niet om hen te vervangen.
Het is geen perfecte simulatie: Echte therapie omvat stemgebruik en lichaamstaal, wat tekstgebaseerde AI niet kan zien. Ook zijn de "cliënten" in de test robots, en geen echte mensen met onvoorspelbare emoties.
Het is een kalibratietool: Het doel is om de vaardigheden van de AI te meten en te verbeteren, zodat ze veilig en effectief kunnen worden ingezet onder menselijk toezicht.

Kortom, PSYCHEPASS is een nieuwe, eerlijkere manier om AI-therapeuten te testen door hen te dwingen een strikt script te volgen en hen tegen elkaar te rangschikken in een toernooi, zodat we precies weten wie klaar is om te helpen en wie meer training nodig heeft.

Technische Samenvatting: PSYCHEPASS

Probleemstelling

De evaluatie van Large Language Models (LLMs) in de geestelijke gezondheidszorg kampt met een fundamenteel "ongeankerd defect" dat leidt tot twee vormen van instabiliteit:

Procesdrift: Huidige simulatieparadigma's vertrouwen vaak op ongestuurde, vrije chats of single-turn QA. Zonder klinische richting dwalen deze interacties doelloos af, waardoor ze er niet in slagen hoog-risico scenario's (bijv. traumaverwerking) te triggeren of specifieke therapeutische capaciteiten te meten, wat resulteert in evaluaties die slechts oppervlakkige kenmerken zoals generieke empathie vastleggen.
Standaarddrift: Bestaande beoordelingsmethoden maken voornamelijk gebruik van statische puntscores (bijv. Likert-schalen). Dit dwingt evaluatoren om te vertrouwen op vage, absolute standaarden zonder vergelijkbare referenties, wat leidt tot evaluatie-instorting waarbij scores clusteren in smalle bereiken met een slechte discriminatiekracht, waardoor nauwkeurige rangschikking en optimalisatie onmogelijk worden.

Methodologie: Het PSYCHEPASS-framework

PSYCHEPASS introduceert een verenigd framework om therapeutische competentie te kalibreren door twee traceerbare trajecten te verankeren: het Interactietraject in simulatie en het Battle-traject in oordeel.

1. Verankering van het Interactietraject (Simulatie)

Om procesdrift te elimineren, vervangt het framework open gesprekken door Scripted Probing gebaseerd op Single-Session Therapy (SST) theorie.

Cliëntprofielen: Gesimuleerde cliënten worden geïnitialiseerd vanuit gede-identificeerde real-world data en uitgebreid naar high-fidelity persona's die kernmotieven, reactiepatronen en specifieke conflictgebeurtenissen bevatten.
Competentiedimensies: De evaluatie richt zich op 12 specifieke dimensies gecategoriseerd in Alliantieopbouw (Empathie, Onderscheidingsvermogen, Betrokkenheid), Professionele Techniek (Vaardigheid, Suggestie, Herkadering, Progressie, Trauma) en Betrouwbare Ondersteuning (Crisis, Ethiek, Diversiteit, Geheugen).
Trajectcontrole: De simulatie is gestructureerd in vijf verschillende fasen (Assessment, Patroonbewustzijn, Conflictontwikkeling, Gedragconstructie, Integratie). Een systeemprompt werkt het gedrag van de gesimuleerde cliënt bij elke beurt dynamisch bij om specifieke reacties te triggeren die gericht zijn op de negen lokale competentiedimensies, wat zorgt voor een uitgebreide "stress test" van het model.

2. Verankering van het Battle-traject (Oordeel)

Om standaarddrift op te lossen, verlaat het framework statische scoring ten gunste van Dynamische Pairwise Battles.

Swiss-System Toernooi: Om computationele kosten te beheersen ( $O(N^2)$ vs. $O(N \log N)$ ), wordt een vier ronden tellend Swiss-system toernooi toegepast. Modellen worden gekoppeld aan tegenstanders met vergelijkbare winstrecords, waardoor sterke modellen tegen elkaar strijden.
Debiasing: Om position bias bij LLM-judges tegen te gaan, wordt een stage-slicing debiasing strategie gebruikt. Dialoogsegmenten worden gepresenteerd in een alternerend patroon (Segment 1 van Model A, Segment 1 van Model B, Segment 2 van Model B, Segment 2 van Model A) om de voordelen van de eerste beweger te neutraliseren.
Elo-rating Schatting: Het Bradley-Terry model wordt gebruikt om pairwise uitkomsten om te zetten in stabiele scalaire Elo-ratings via globale optimalisatie (Maximum Likelihood Estimation), wat een robuuste en vergelijkbare rangschikking biedt.

3. Optimalisatie via Traject-gebaseerde RL

Het framework vestigt een gesloten lus waarin toernooitrajecten worden getransformeerd naar beloningssignalen voor On-Policy Reinforcement Learning.

Reward Modeling: Een reward model ( $M_{RM}$ ) wordt getraind op de partiële ordening van battle-uitkomsten om de kwaliteit van de therapie over verschillende dimensies te onderscheiden.
Group Relative Policy Optimization (GRPO): Een target LLM wordt geoptimaliseerd met behulp van het reward model op dezelfde cliëntprofielen die in het toernooi werden gebruikt. Het doel is om het voordeel van hoog-belonende reacties te maximalen terwijl distributieverschuiving wordt bestreden via KL-divergentie.
Generalisatieverificatie: Prestaties worden gevalideerd op een onafhankelijke set van 100 cliëntprofielen om te waarborgen dat het model gegeneraliseerde therapeutische principes leert in plaats van specifieke interactiepatronen te memoriseren.

Belangrijkste Resultaten

Het framework werd toegepast om 12 LLM's te evalueren, inclusend domeinspecifieke counselingmodellen en cutting-edge algemene modellen.

Competentie Landschap: Propriëtaire frontier algemene modellen (bijv. GPT-5.2, Gemini 3 Pro) presteerden aanzienlijk beter dan domeinspecifieke modellen. Hoewel domeinmodellen sterk waren in smalle metrieken zoals empathie, misten zij de redeneerkracht, wereldkennis en instructie-opvolging die vereist zijn voor rigoureuze, longitudinale counseling-scenario's.
Dimensionale Differentiatie: Modellen vertoonden onderscheidende profielen. Bijvoorbeeld, DeepSeek-V3.2 scoorde uitzonderlijk hoog in Diversiteit maar lager in andere gebieden, terwijl PsyLLM GPT-5.2 overtrof in Empathie maar worstelde met Geheugen en Progressie.
Menselijke Alignement: PSYCHEPASS demonstreerde een hoge consistentie met menselijke expert-oordelen (Cohen's $\kappa > 0.7$ ), waarbij een bijna perfecte overeenkomst (1.000) werd bereikt in matchups tussen sterke versus zwakke modellen, en in sommige gevallen de inter-expert consistentie overtrof.
Effectiviteit van RL: Na traject-gebaseerde RL-training bereikte een target model een win-verliesratio van 62:25 tegenover zijn originele tegenhanger. Significante verbeteringen werden waargenomen in Diversiteit (4.0% $\to$ 92.0%) en Empathie (31.0% $\to$ 82.0%), hoewel enige regressie optrad in de dimensies Crisis en Ethiek, waarschijnlijk door de verschuiving van direct advies geven naar therapeutische betrokkenheid.

Betekenis en Claims

Het paper beweert dat PSYCHEPASS de kritieke kloof in het evalueren van de therapeutische competentie van LLM's overbrugt door een rigoureus, discriminerend en traceerbaar paradigma te vestigen. De primaire bijdragen zijn:

Kalibratie Framework: Het biedt het eerste verenigde framework om LLM's te rangschikken en te optimaliseren op basis van geankerde interactie- en battle-trajecten, waarmee het verder gaat dan ongeankerde simulaties en statische scoring.
Reward Generatie: Het demonstreert een levensvatbare weg naar het verkrijgen van high-fidelity beloningen voor het aligneren van LLM-counseling-capaciteiten via on-policy RL, wat een volledige lus creëert van evaluatie naar optimalisatie.
Fundament voor Vertrouwen: Door de hoge consistentie met menselijke experts te valideren en effectieve optimalisatie te demonstreren, beoogt PSYCHEPASS het fundament te leggen voor betrouwbare, continu evoluerende counseling-systemen die als ondersteunende instrumenten kunnen dienen onder professioneel toezicht.

De auteurs stellen expliciet dat PSYCHEPASS niet een klinische standaard voor menselijke therapeuten is noch een vervanging voor erkende professionals. In plaats daarvan is het een kalibratietool ontworpen om ervoor te zorgen dat AI-assistenten voldoen aan professionele standaarden voordat zij worden geïntegreerd in klinische workflows als ondersteunende mechanismen voor screening, psycho-educatie en betrokkenheid.