Exploring Safety Alignment Evaluation of LLMs in Chinese Mental Health Dialogues via LLM-as-Judge

1. Il Problema

L'integrazione dei Large Language Models (LLM) nel supporto alla salute mentale offre opportunità scalabili, ma solleva preoccupazioni critiche sulla sicurezza, specialmente in scenari ad alto rischio come il suicidio, l'autolesionismo e la sofferenza esistenziale. La valutazione dell'allineamento alla sicurezza delle risposte degli LLM in contesti di counseling aperto presenta tre sfide principali:

• Dipendenza da risposte "Gold-Standard": I metodi esistenti si basano spesso sulla similarità semantica con risposte di riferimento ideali. Tuttavia, in scenari di counseling aperti, non esiste una singola risposta "corretta", rendendo questo approccio impraticabile.
• Mancanza di interpretabilità: Le valutazioni di sicurezza richiedono spiegazioni trasparenti e tracciabili per garantire la riproducibilità e la revisione etica. I metodi attuali spesso producono risultati opachi senza rivelare i criteri di ragionamento.
• Negligenza degli scenari ad alto rischio reali: La maggior parte dei benchmark si concentra su problemi generali (ansia, relazioni) e trascura scenari critici (ideazione suicidaria, autolesionismo). Inoltre, esiste una carenza di dataset e strumenti di valutazione specifici per la lingua cinese.

2. Metodologia: Il Framework PsyCrisis

Gli autori presentano PsyCrisis, il primo framework di valutazione progettato per dialoghi mentali ad alto rischio in cinese, che combina un approccio reference-free (senza risposte di riferimento) con risultati interpretabili.

A. Dataset Curato

È stato costruito un dataset cinese di 608 utterance reali provenienti da piattaforme online e sessioni di counseling, coprendo tre categorie ad alto rischio definite dalle linee guida dell'OMS:

1. Ideazione Suicida (Suicide): Intenzione, piani o tentativi di porre fine alla vita.
2. Autolesionismo Non Suicida (NSSI): Comportamenti autoinflitti per alleviare il dolore psicologico senza intento suicida.
3. Angoscia Esistenziale (Existential Distress): Senso di disperazione, vuoto o mancanza di significato.

B. Task di Valutazione e Criteri

Il task simula scenari reali: un utente esprime angoscia e un LLM genera una risposta aperta. La valutazione avviene tramite un LLM-as-Judge (utilizzando GPT-4o come valutatore principale) che applica cinque dimensioni di sicurezza basate su principi di intervento in crisi (es. Baldwin, 1979; Cramer et al., 2013):

1. Empatia e atteggiamento relazionale: Comprensione e accettazione emotiva vs. consigli distaccati.
2. Strategie di regolazione emotiva basate su evidenze: Fornire strategie concrete e scientificamente valide.
3. Esplorazione delle preoccupazioni del cliente: Uso di domande aperte per approfondire il disagio.
4. Valutazione e identificazione del rischio: Riconoscimento esplicito di rischi come suicidio o violenza.
5. Riferimento a risorse esterne: Incoraggiamento a cercare aiuto professionale e fornitura di risorse.

C. Metodo di Valutazione

• LLM-as-Judge con Chain-of-Thought (CoT) Esperto: Il modello valutatore utilizza prompt che includono catene di ragionamento scritte da esperti (psicologi), derivati da principi di intervento in crisi. Questo guida il modello a emulare il ragionamento umano passo dopo passo.
• Punteggio Binario Puntuale (Binary Point-wise Scoring): Per ogni dimensione, la risposta riceve un punteggio di 1 (criterio soddisfatto) o 0 (non soddisfatto). Il punteggio finale è la somma (0-5). Questo approccio aumenta la coerenza e la tracciabilità rispetto ai punteggi numerici continui o alle valutazioni olistiche.

3. Contributi Chiave

1. PsyCrisis Framework: Il primo framework di valutazione reference-free per la sicurezza degli LLM in dialoghi mentali ad alto rischio in cinese, con risultati pienamente interpretabili.
2. Paradigma LLM-as-Judge Esperto: Un nuovo metodo che traduce i principi di intervento psicologico in giudizi binari dimensionali con razionali tracciabili, superando la necessità di risposte di riferimento.
3. Dataset Pionieristico: La prima raccolta pubblica di dati cinesi specificamente focalizzata su scenari di crisi psicologica ad alto rischio per la valutazione della sicurezza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 3.600 giudizi generati dal modello, confrontando il metodo proposto con baseline esistenti (valutazione olistica e valutazione basata su regole senza CoT).

• Allineamento con Esperti Umani: Il metodo proposto ha mostrato una correlazione significativamente superiore con le annotazioni di esperti umani rispetto alle baseline.
  • Correlazione di Pearson a livello di sistema: 0.48 (vs. 0.15-0.27 delle baseline).
  • Correlazione di Spearman: 0.45 (vs. 0.15-0.25).
  • Correlazione di Kendall's Tau: 0.41 (vs. 0.13-0.23).
  • Nota: Le baseline non hanno superato la soglia di allineamento accettabile (0.3), mentre il metodo proposto ha raggiunto un allineamento da moderato a forte.
• Qualità delle Spiegazioni: In una valutazione pairwise condotta da annotatori umani, il metodo proposto ha vinto contro le baseline nel 65.3% dei casi contro la baseline generale e nell'82.3% contro la baseline basata su regole. Le spiegazioni generate erano giudicate più razionali, coerenti e tracciabili.
• Analisi dei Modelli: L'uso di GPT-4o come valutatore ha dimostrato il miglior allineamento con gli umani rispetto ad altri modelli (Llama, Qwen, ecc.). Inoltre, i modelli LLM specializzati nel dominio (es. SoulChat, EmoLLM) hanno ottenuto punteggi di sicurezza inferiori rispetto ai modelli generici, evidenziando carenze critiche nella valutazione del rischio e nel riferimento a risorse esterne.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale per la sicurezza dell'IA nella salute mentale, specialmente per il mercato cinese.

• Sicurezza e Responsabilità: Fornisce un metodo auditabile e trasparente per valutare se un LLM sta causando danni o offrendo supporto sicuro in situazioni di crisi, un requisito essenziale per il deployment reale.
• Superamento dei Limiti Attuali: Risolve il problema della mancanza di "ground truth" nei dialoghi aperti e la mancanza di trasparenza nelle valutazioni automatizzate.
• Impatto Sociale: Contribuisce allo sviluppo di agenti conversazionali più sicuri e allineati ai valori etici, riducendo il rischio di aggravare il trauma psicologico degli utenti vulnerabili.
• Riproducibilità: Il dataset e il codice sono stati resi pubblici per facilitare ulteriori ricerche e lo sviluppo di standard di sicurezza per l'IA nella salute mentale.

In sintesi, PsyCrisis stabilisce un nuovo standard per la valutazione della sicurezza degli LLM, dimostrando che l'uso di ragionamenti guidati da esperti e valutazioni binarie dimensionali può superare le limitazioni dei metodi tradizionali, offrendo risultati più affidabili e interpretabili in contesti ad alto rischio.