CounselBench: A Large-Scale Expert Evaluation and Adversarial Benchmarking of Large Language Models in Mental Health Question Answering

Dit paper introduceert CounselBench, een grootschalig benchmarkkader ontwikkeld met 100 mentale gezondheidsprofessionals om grote taalmodellen te evalueren op hun vermogen om veilige, klinisch onderbouwde en contextueel gevoelige antwoorden te geven op open vragen over mentale gezondheid, waarbij zowel de beperkingen van bestaande modellen als de systematische onderschatting van veiligheidsrisico's door AI-jurissen worden blootgelegd.

De kern

CounselBench: De "Rijexamen" voor AI-therapeuten

Stel je voor dat je een nieuwe rijinstructeur huurt om je te leren autorijden. Je wilt niet alleen weten of hij de verkeersregels kent (dat is de feitelijke kennis), maar vooral of hij ook goed kan reageren als je nerveus bent, of hij niet te streng is, en of hij je niet per ongeluk een gevaarlijk advies geeft.

Dit is precies wat het onderzoek CounselBench doet, maar dan voor kunstmatige intelligentie (AI) die probeert te helpen bij mentale gezondheid.

Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Probleem: De "Vraagbaak" is niet genoeg

Vroeger testten we AI met meerkeuzevragen, zoals "Wat is de hoofdsymptoom van depressie?". Dat is makkelijk te controleren: het antwoord is A, B of C.
Maar in het echte leven stellen mensen geen meerkeuzevragen. Ze zeggen: "Ik voel me zo eenzaam, mijn partner kijkt me niet eens aan, en ik weet niet of ik moet blijven of gaan."
Dit is als een zwarte doos. Er is geen enkel "goed" antwoord. Een goede AI moet hier niet alleen feiten kennen, maar ook empathie tonen, niet oordelen, en vooral geen gevaarlijk medisch advies geven (zoals "neem deze pil").

2. De Oplossing: Een "Proefrit" met 100 Experts

De onderzoekers (van de Universiteit van Zuid-Californië) hebben een nieuw testcircuit gebouwd, genaamd CounselBench. Ze hebben 100 echte, erkende psychotherapeuten ingehuurd om als "jury" te fungeren.

Ze hebben twee delen in dit circuit:

Deel A: De "Echte Wereld" Test (CounselBench-EVAL)

Stel je voor dat je 100 echte vragen uit een online forum pakt waar mensen om hulp vragen.

• De spelers: De AI-modellen (zoals GPT-4, LLaMA, Gemini) en echte, online therapeuten.
• De taak: Iedereen geeft een antwoord op dezelfde vraag.
• De jury: De 100 therapeuten lezen deze antwoorden en geven een cijfer op zes vlakken, zoals een autodealer die een auto beoordeelt:
  1. Algemene kwaliteit: Is het een goed antwoord?
  2. Empathie: Voelt het alsof de AI luistert en begrijpt?
  3. Specifiek: Is het antwoord op maat gemaakt, of is het een generiek "alles komt goed"-advies?
  4. Medisch advies: Gevaarlijk! Geeft de AI onterecht medicijnen of diagnoses voor?
  5. Feitelijk kloppen: Zegt de AI dingen die niet waar zijn?
  6. Giftigheid: Is de toon bot, beledigend of koud?

Wat vonden ze?
De AI's scoren soms goed op "feiten", maar ze struikelen vaak over de menselijke kant. Ze zijn soms te algemeen, tonen weinig echte warmte, en het ergste: ze geven soms onterecht medisch advies (bijvoorbeeld: "Probeer eens een antidepressivum"). Echte therapeuten deden het vaak beter op het gebied van toon, maar ook zij maakten fouten.

Deel B: De "Stress-test" (CounselBench-ADV)

Soms is een normale test niet genoeg. Je wilt weten wat er gebeurt als je de AI opzettelijk probeert te "breken".
De onderzoekers lieten experts 120 vragen bedenken die speciaal ontworpen zijn om de AI in de val te lokken.

• Voorbeeld: Een vraag die zo is opgesteld dat de AI waarschijnlijk gaat oordelen ("Je bent gewoon lui") of gaat speculeren over ziektes.
• Het resultaat: Ze zagen dat bepaalde AI-modellen steeds dezelfde fouten maakten. Sommige modellen werden heel snel "onverschillig" (apathisch), terwijl anderen juist te veel "medicijnen" aanbevolen. Het is alsof je ziet dat de ene auto altijd de remmen niet goed pakt op een helling, terwijl de andere auto juist niet goed draait.

3. De Grote Teleurstelling: AI kan zichzelf niet goed beoordelen

Een van de meest opvallende ontdekkingen is dit: AI kan niet goed oordelen over andere AI.
De onderzoekers vroegen ook AI-modellen om de antwoorden te beoordelen.

• Het resultaat: De AI-jury gaf bijna allemaal hoge cijfers, zelfs als de antwoorden gevaarlijk of koud waren. Ze zagen de gevaren niet.
• De metafoor: Het is alsof je een beginnende bestuurder vraagt om te beoordelen of een andere beginnende bestuurder veilig rijdt. Ze vinden elkaar allemaal "best goed", terwijl een echte rijinstructeur (de mens) ziet dat ze gevaarlijk zijn.

Waarom is dit belangrijk?

Dit onderzoek is als een veiligheidswaarschuwing. Het laat zien dat we AI niet zomaar als therapeut kunnen inzetten. Hoewel ze slim lijken, missen ze vaak de "menselijke touch" en kunnen ze gevaarlijk advies geven zonder dat ze het merken.

CounselBench is dus een nieuwe, strengere "rijexamen" die ervoor zorgt dat we AI's pas op de weg laten komen als ze niet alleen de verkeersregels kennen, maar ook weten hoe ze met een angstige passagier moeten omgaan.

Kortom: AI is een slimme boekhouder, maar nog geen goede therapeut. We moeten ze eerst nog veel oefenen voordat we ze echt vertrouwen met onze gevoelens.

Technische samenvatting

Probleemstelling

Bestaande medische vraag- en antwoordbenchmarks (zoals MedQA en MedMCQA) focussen voornamelijk op meerkeuzevragen of feitelijke kennisherroeping. Deze benadering is ontoereikend voor mentale gezondheidszorg, waar patiënten open vragen stellen die symptomen, behandelingszorgen en emotionele behoeften combineren.

• Complexiteit: Antwoorden vereisen een balans tussen empathie, actiegericht advies en professionele grenzen, in plaats van één "correct" feitelijk antwoord.
• Risico's: Fouten in dit domein (zoals ongeautoriseerd medisch advies, gebrek aan empathie of schadelijke toon) kunnen directe negatieve gevolgen hebben voor kwetsbare gebruikers.
• Huidige tekortkomingen: Bestaande benchmarks gebruiken vaak kleine expertpanelen of "LLM-as-Judge"-protocollen die klinisch relevante fouten missen en geen uitgebreide, gestructureerde evaluatie bieden voor open-ended gesprekken.

Methodologie

De auteurs introduceren COUNSELBENCH, een tweeledig benchmarkkader dat is ontwikkeld in samenwerking met 100 gelicentieerde of professioneel opgeleide mental health-professionals. Het kader bestaat uit twee componenten:

1. COUNSELBENCH-EVAL (Evaluatie)

• Data: 2.000 expert-evaluaties van antwoorden op 100 realistische patiëntvragen afkomstig van het publieke forum CounselChat.
• Modellen: Vier antwoordproviders werden vergeleken: GPT-4, LLaMA 3.3, Gemini-1.5-Pro en online menselijke therapeuten.
• Evaluatie Rubric: Antwoorden werden beoordeeld op zes klinisch onderbouwde dimensies:
  1. Algemene Kwaliteit: Holistische beoordeling.
  2. Empathie: Emotionele afstemming en validatie.
  3. Specificiteit: Maatwerk voor de context van de gebruiker.
  4. Medisch Advies: Binair (Ja/Nee) of "Onzeker"; flagt ongeautoriseerd therapeutisch of diagnostisch advies.
  5. Feitelijke Consistentie: Overeenstemming met klinische kennis.
  6. Toxiciteit: Schadelijke, stigmatiserende of afwijzende taal.
• Annotatie: Elke reactie werd beoordeeld door 5 onafhankelijke experts, inclusief span-level annotaties (specifieke zinnen markeren) en geschreven rationale.

2. COUNSELBENCH-ADV (Adversariaal)

• Doel: Systematisch falen van modellen te triggeren en te detecteren.
• Constructie: 10 experts formuleerden 120 nieuwe vragen die specifiek zijn ontworpen om zes geïdentificeerde foutpatronen te activeren (bijv. het suggereren van medicatie, het speculeren over medische symptomen, of een apathische toon).
• Evaluatie: 9 LLMs genereerden 1.080 antwoorden op deze vragen. Menselijke experts beoordeelden vervolgens of het specifieke doelwit-foutpatroon aanwezig was.

LLM-as-Judge Analyse

De auteurs testten of LLMs (9 verschillende modellen) betrouwbaar kunnen fungeren als beoordelaars voor menselijke antwoorden en foutdetectie, vergeleken met de menselijke expert-gouden standaard.

Kernresultaten

1. Prestaties van LLMs vs. Menselijke Therapeuten

• Kwaliteit: LLMs (met name LLaMA 3.3) scoorden over het algemeen hoger dan menselijke therapeuten op dimensies zoals empathie en specificiteit.
• Veiligheidsrisico's: Ondanks hoge scores, vertoonden LLMs terugkerende veiligheidsproblemen.
  • Ongeautoriseerd Medisch Advies: LLaMA 3.3 gaf in 14% van de gevallen ongeautoriseerd advies (bijv. het aanbevelen van therapietechnieken of medicatie), terwijl GPT-4 vaker disclaimers gaf.
  • Kwaliteitsproblemen: Veelvoorkomende fouten waren onconstructief feedback, overgeneralisatie en gebrek aan personalisatie. Menselijke therapeuten scoorden lager op empathie en specificiteit dan de beste LLMs, maar vertoonden meer "apathische" of "oordeelkundige" toon in hun fouten.

2. Beoordeling door LLMs (LLM-as-Judge)

• Systematische Overschatting: LLM-judges gaven systematisch hogere scores dan menselijke experts, vooral op het gebied van feitelijke consistentie en toxiciteit.
• Blindheid voor Veiligheid: LLM-judges slaagden er bijna niet in om ongeautoriseerd medisch advies of giftige taal te detecteren die door menselijke experts wel werd gemarkeerd.
• Ranking: De rangschikking van modellen door LLM-judges wees sterk af van de menselijke voorkeuren (bijv. scoorde Gemini-1.5-Pro door mensen als slechtst, maar werd door LLM-judges vaak hoger beoordeeld dan GPT-4).

3. Adversariale Bevindingen (COUNSELBENCH-ADV)

• Model-specifieke Patronen: Fouten zijn niet willekeurig verdeeld maar volgen familiepatronen.
  • GPT-5: Toonde een extreem hoge gevoeligheid voor het aanbevelen van medicatie (47%) en het suggereren van therapietechnieken (85%).
  • Llama-modellen: Neigden sterk naar het speculeren over medische symptomen en het maken van oordelen.
  • Gemini-modellen: Toonden vaker een gebrek aan empathie en apathie.
• Robuustheid: Zelfs met "few-shot" voorbeelden (goede voorbeelden in de prompt) verbeterden de modellen nauwelijks, wat suggereert dat deze fouten dieper verankerd zijn in het pre-training dan in de instructie-tuning.

Belangrijke Bijdragen

1. Klinisch Onderbouwd Framework: Definitie van zes evaluatiedimensies die specifiek zijn voor de nuances van mentale gezondheidszorg (empathie, grenzen, veiligheid).
2. Grootschalige Menselijke Evaluatie: Een dataset van 2.000 expert-beoordelingen met gedetailleerde rationale, wat een zeldzame en waardevolle resource is gezien de schaarste aan publieke data met verifieerde therapeutische antwoorden.
3. Adversariale Dataset: Een set van 120 expert-gegenereerde vragen die specifiek zijn ontworpen om kwetsbaarheden in LLMs bloot te leggen, wat een nieuwe standaard biedt voor "red-teaming" in de gezondheidszorg.
4. Kritische Analyse van LLM-as-Judge: Het paper levert sterk bewijs dat LLM-judges momenteel niet betrouwbaar zijn voor het evalueren van veiligheid en kwaliteit in de mentale gezondheidszorg, omdat ze kritieke risico's missen.

Significantie en Implicaties

COUNSELBENCH verschuift de evaluatie van LLMs in de gezondheidszorg van puur feitelijke juistheid naar klinisch betekenisvol gedrag. De bevindingen tonen aan dat hoewel LLMs veelbelovend zijn voor empathische interacties, ze nog steeds ernstige veiligheidsrisico's vertonen (zoals het geven van medisch advies) die door huidige evaluatiemethoden en LLM-judges vaak worden gemist.

Het werk benadrukt de noodzaak van menselijke toezicht en klinisch getrainde evaluatie bij het implementeren van LLMs in zorgtoepassingen. De vrijgegeven datasets en tools bieden onderzoekers een gestandaardiseerde manier om toekomstige modellen te testen op veiligheid en effectiviteit in realistische, open-ended mentale gezondheidszorgscenario's.