Exploring Safety Alignment Evaluation of LLMs in Chinese Mental Health Dialogues via LLM-as-Judge

Titel: Evaluatie van Veiligheidsuitlijning van LLM's in Chinese Mentale Gezondheidsdialogen via LLM-as-Judge (PsyCrisis)

1. Het Probleem

De toepassing van Large Language Models (LLM's) als virtuele counselors in de mentale gezondheidszorg biedt schaalbare toegang tot hulp, maar roept ernstige veiligheidszorgen op. Vooral in hoogrisicoscenario's (zoals zelfmoordneigingen, zelfverwonding en existentiële nood) kunnen LLM's gevaarlijke signalen negeren of onvoldoende ondersteuning bieden. De huidige evaluatiemethoden voor deze dialogen kampen met drie fundamentele tekortkomingen:

1. Afhankelijkheid van "Golden Answers": Bestaande methoden gebruiken vaak semantische vergelijkingsmetrieken (zoals BLEU) of multiple-choice vragen die een referentieantwoord vereisen. In open-ended counseling is het echter onpraktisch om voor elke mogelijke gebruikersinput een perfect "gouden" antwoord te definiëren.
2. Gebrek aan Interpretatie: Veiligheidsevaluaties vereisen transparante en traceerbare redeneringen. Bestaande methoden produceren vaak "black-box" resultaten zonder inzicht in de criteria of het denkproces achter de beoordeling.
3. Verwaarlozing van Hoogrisico-Scenario's: De meeste bestaande benchmarks richten zich op algemene mentale gezondheidsproblemen (zoals angst of relatieproblemen) en negeren kritieke situaties zoals zelfmoord en zelfverwonding. Bovendien is er een gebrek aan specifieke benchmarks voor de Chinese taal, ondanks de grote vraag hiernaar.

2. Methodologie: Het PsyCrisis Framework

De auteurs stellen PsyCrisis voor, het eerste evaluatiekader dat referentievrije (reference-free) beoordeling combineert met interpreteerbare uitkomsten voor Chinese hoogrisico-mentale gezondheidsdialogen.

• Dataset Constructie:

  • Een handmatig samengestelde dataset van 608 authentieke Chinese gebruikersuitingen afkomstig van echte online counselingplatforms en sociale media.
  • De data is gecategoriseerd in drie hoogrisico-labels: Zelfmoordideeën (Suicide), Niet-suïcidale zelfverwonding (NSSI) en Existentiële nood (Despair/Existential distress).
  • Alle data is geanonimiseerd en gebaseerd op WHO-richtlijnen voor crisisinterventie.

• Evaluatie Taak:

  • De taak simuleert een counselingsessie waarbij een LLM reageert op een gebruiker in acute emotionele nood.
  • In plaats van een gouden antwoord te vergelijken, wordt een LLM-as-Judge benadering gebruikt.

• Evaluatiemethode (LLM-as-Judge met Expert Chain-of-Thought):

  • Expert-gedefinieerde Dimensies: De beoordeling gebeurt langs vijf strikte, op theorie gebaseerde dimensies (afgeleid van crisisinterventieprincipes):
    1. Empathie en relationele houding.
    2. Evidence-based strategieën voor emotieregulatie.
    3. Verkenning van de zorgen van de cliënt (via open vragen).
    4. Risico-inschatting en identificatie (zelfmoord, geweld, etc.).
    5. Doorverwijzing naar externe hulpbronnen.
  • Binair Punten-systeem: Voor elke dimensie wordt een score van 0 (niet voldaan) of 1 (voldaan) gegeven. De totaalscore loopt van 0 tot 5.
  • Interpreteerbaarheid: De judge (GPT-4o) wordt aangezet tot Chain-of-Thought (CoT) redenering. Het model moet niet alleen scoren, maar ook een gedetailleerde, traceerbare redenatie geven voor elke score, gebaseerd op expert-voorbeelden in de prompt.

3. Belangrijkste Bijdragen

1. PsyCrisis Framework: Het introduceert het eerste referentievrije evaluatiekader specifiek voor hoogrisico-mentale gezondheidsdialogen in het Chinees, met interpreteerbare uitkomsten.
2. Expert-gedreven LLM-as-Judge Paradigma: Het vertaalt gevestigde psychologische interventieprincipes naar een expliciet, dimensie-voor-dimensie binair oordeelssysteem met traceerbare redeneringen.
3. Grootste Chinese Hoogrisico-Dataset: Het biedt een uniek, handmatig gecurateerd dataset van 608 real-world uitingen dat zich richt op kritieke crisissituaties, een gebied dat eerder onderbelicht was in de NLP-literatuur.

4. Resultaten

De methode werd getest op 3.600 gegenereerde oordelen en vergeleken met menselijke expertbeoordelingen en bestaande baselines (zoals algemene prompts en regelgebaseerde prompts).

• Overeenkomst met Menselijke Experts:
  • De voorgestelde methode bereikte een Pearson-correlatie van 0,48 met menselijke experts, aanzienlijk hoger dan de baselines (die rond de 0,15 - 0,27 lagen).
  • Voor de subcategorieën (Zelfmoord, NSSI, Nood) lagen de correlaties tussen 0,43 en 0,56, wat een "matige tot sterke" overeenkomst aangeeft, terwijl baselines vaak onder de drempel van 0,3 bleven (zwakke overeenkomst).
• Kwaliteit van Uitleg (Explainability):
  • Bij menselijke paarvergelijkingen (pairwise comparison) won de voorgestelde methode in 65,3% van de gevallen tegen een algemene baseline en in 82,3% tegen een regelgebaseerde baseline.
  • Menselijke annotatoren beoordeelden de redeneringen van PsyCrisis als superieur op rationaliteit, consistentie en traceerbaarheid.
• Modelprestaties:
  • Algemene LLM's (zoals GPT-4o en DeepSeek) scoorden beter dan domeinspecifieke, fijn-afgestemde modellen (zoals SoulChat en EmoLLM).
  • De domeinspecifieke modellen faalden vaak op cruciale veiligheidsdimensies zoals risico-inschatting en doorverwijzing, vaak omdat hun antwoorden te kort waren en de kerncompetenties van crisisinterventie misten.

5. Betekenis en Impact

Dit onderzoek is van cruciaal belang voor de veilige implementatie van AI in de gezondheidszorg:

• Vertrouwen en Transparantie: Door traceerbare redeneringen te bieden, maakt het framework ethische reviews en audits mogelijk, wat essentieel is in gevoelige domeinen.
• Schaalbaarheid zonder Referenties: Het lost het probleem op van het ontbreken van gouden antwoorden in open-ended counseling, waardoor grootschalige evaluatie mogelijk wordt zonder handmatige referentie-datasets voor elke input.
• Veiligheid in de Praktijk: Het benadrukt dat "vriendelijke" of "empatische" antwoorden niet voldoende zijn; een veilige LLM moet actief risico's inschatten en doorverwijzen. De bevindingen tonen aan dat huidige modellen hier nog tekortschieten, vooral in Chinese contexten.
• Toekomstige Richting: Het paper pleit voor het integreren van dergelijke evaluaties in mens-in-de-lus workflows, waarbij onzekere gevallen automatisch door een menselijke professional worden beoordeeld.

Kortom, PsyCrisis biedt een robuust, wetenschappelijk onderbouwd instrument om de veiligheid van AI-counselors te meten en te verbeteren, met name voor de onderbelichte Chinese markt en hoogrisicoscenario's.