Analyzing LLM Reasoning to Uncover Mental Health Stigma

1. Enunciato del Problema

Sebbene i Large Language Models (LLM) siano sempre più utilizzati nelle applicazioni di salute mentale (ad esempio, chatbot terapeutici), essi mostrano uno stigma significativo verso gli individui affetti da condizioni psicologiche. Le valutazioni precedenti, come quelle di Moore et al. (2025), si sono basate principalmente su Domande a Scelta Multipla (MCQ) per misurare lo stigma.

Gli autori identificano un limite critico in questo approccio:

• Logica Nascosta: Le MCQ valutano solo l'output finale. Un LLM potrebbe selezionare una risposta "non stigmatizzante" generando simultaneamente un ragionamento contenente stereotipi dannosi, fallacie logiche o bias sottili.
• Ragionamento Infedele: I modelli potrebbero giungere a risposte corrette attraverso logiche difettose (ad esempio, accettare un paziente solo perché la sua condizione è trattabile, implicando che le condizioni croniche meritino un rifiuto).
• Safetywashing: Affidarsi esclusivamente a metriche basate sugli esiti può creare un falso senso di sicurezza ("safetywashing"), dove i modelli appaiono sicuri nei benchmark ma nascondono una logica interna stigmatizzante che potrebbe manifestarsi in interazioni aperte e reali.

2. Metodologia

Lo studio introduce un framework per analizzare i passaggi intermedi di ragionamento (Chain-of-Thought) degli LLM, anziché limitarsi alle loro risposte finali.

A. Benchmark Esteso

Gli autori hanno ampliato un benchmark esistente sullo stigma nella salute mentale (originariamente basato sugli U.S. National Stigma Studies) per includere:

• Nuove Condizioni: Aggiunte quattro condizioni clinicamente significative: Disturbo Borderline di Personalità (BPD), Disturbi Alimentari (ED), Disturbo Bipolare (BD) e Psicosi (PSY).
• Set di Domande: Ampliato da 7 a 14 domande per vignetta, includendo nuove query sulla probabilità di autolesionismo e attribuzioni causali (ad esempio, "cattivo carattere" vs. "squilibrio chimico").
• Vignette: Descrizioni di individui fittizi con sintomi ma senza etichette diagnostiche esplicite, che coprono un totale di 8 condizioni.

B. Modalità di Valutazione

Lo studio ha confrontato quattro modalità di valutazione distinte su otto LLM (inclusi le famiglie Claude, Llama, DeepSeek e GPT-OSS):

1. Vanilla: Il modello agisce come terapeuta ma restituisce solo la risposta finale MCQ (nessun ragionamento).
2. CoT (Chain-of-Thought): Il modello agisce come terapeuta, genera un ragionamento, quindi restituisce la risposta finale.
3. Ragionamento Stigmatizzante (SR): Valuta il testo del ragionamento stesso per tracce stigmatizzanti, indipendentemente dalla risposta finale.
4. Non-Terapeuta (NT): Una condizione di controllo in cui al modello viene istruito di non interpretare il ruolo di terapeuta, per isolare i bias indotti dalla persona.

C. Tassonomia dello Stigma

Collaborando con psicologi clinici, gli autori hanno sviluppato una tassonomia granulare e clinicamente fondata dei pattern di ragionamento stigmatizzante. Attraverso un affinamento iterativo e annotazione esperta, hanno stabilito sei categorie principali (inizialmente otto, con due non evocate):

1. Pericolosità/Minaccia: Assunzioni di violenza, imprevedibilità o mancanza di controllo.
2. Incompetenza/Incapacità: Assunzioni di ragionamento compromesso o incapacità di adempiere a ruoli.
3. Patologizzazione del Normale: Inquadrare comportamenti culturali normali o lotte quotidiane come sintomi di malattia mentale.
4. Indesiderabilità Sociale ed Alterità: Desiderio di distanza sociale, inquadrare gli individui come "anormali", o "alterità benevola" (inclusione performativa che maschera l'esclusione).
5. Onere/Consumo: Inquadrare l'individuo come un costo economico o sociale.
6. Stigma del Trattamento: Accettazione condizionata basata sulla ricerca di cure o sulla visione del trattamento come incompatibile con la vita normale.

D. Pipeline di Annotazione

• Validazione Umana: Esperti clinici hanno annotato 100 tracce di ragionamento per validare la tassonomia, ottenendo un accordo sostanziale tra gli annotatori (Cohen's $\kappa$ = 0.748).
• Scalabilità Automatizzata: Per gestire l'intero dataset (336 prompt per modello), gli autori hanno utilizzato Claude Opus 4.5 come "LLM-as-a-Judge" per etichettare automaticamente le tracce di ragionamento. Questo giudice automatizzato è stato validato rispetto alle annotazioni umane con alta precisione (96,6%) e richiamo (93,3%).

3. Risultati Chiave

A. Il Ragionamento Rivela lo Stigma Nascosto

Il risultato più significativo è che valutare il ragionamento rivela uno stigma sostanzialmente maggiore rispetto alle valutazioni MCQ.

• Molti modelli hanno selezionato la risposta MCQ "corretta" (non stigmatizzante) ma hanno incluso linguaggio stigmatizzante nelle loro tracce di ragionamento.
• Ad esempio, un modello potrebbe accettare di essere amico di una persona (risposta corretta) ma giustificarlo dicendo: "Sarei amico di loro se ricevessero cure", implicando un rifiuto altrimenti.
• Modalità SR vs MCQ: La modalità "Ragionamento Stigmatizzante" ha rilevato tassi di bias significativamente più alti in tutti i modelli rispetto alle modalità di risposta finale "Vanilla" o "CoT".

B. Il Paradosso della "Persona Terapeuta"

• Contrariamente alle aspettative, invitare i modelli ad adottare una persona terapeuta ha spesso aumentato il ragionamento stigmatizzante.
• I modelli nel ruolo di terapeuta erano più propensi a patologizzare il comportamento normale (ad esempio, interpretare lo stress quotidiano o le pratiche religiose come sintomi di malattia mentale) rispetto al gruppo di controllo non terapeuta.
• Ciò suggerisce che gli attuali LLM mancano della sfumatura necessaria per distinguere tra diagnosi clinica e variazione umana normale quando sono costretti in un ruolo diagnostico.

C. Pattern Specifici per Condizione

• Alto Stigma: Disturbi Alimentari, Disturbo Bipolare, Dipendenza da Alcol e Schizofrenia hanno ricevuto il maggior numero di tag di stigma.
• Bias Specifici:
  • Schizofrenia/Alcol: Dominati da assunzioni di "Pericolosità".
  • Disturbi Alimentari: Dominati da "Incompetenza" e "Patologizzazione" (inquadrare la dieta come un fallimento della volontà).
  • Problemi Quotidiani (Controllo): Anche per vignette che descrivono alti e bassi della vita normale, i modelli hanno frequentemente patologizzato il comportamento, un risultato mancato dalle valutazioni basate solo sulla risposta finale.

D. Coerenza del Modello

• I pattern di stigma sono stati altamente coerenti tra diverse famiglie di modelli (Claude, Llama, DeepSeek, GPT), suggerendo che il problema deriva da dati di addestramento condivisi e obiettivi di ottimizzazione piuttosto che da architetture di modello specifiche.
• Claude Opus 4.5 ha mostrato prestazioni leggermente migliori nell'evitare la patologizzazione di esperienze normali rispetto ad altri modelli.

4. Contributi Chiave

1. Prima Analisi a Livello di Ragionamento: Il primo studio ad analizzare sistematicamente la logica interna degli LLM riguardo allo stigma nella salute mentale, dimostrando che le risposte finali sono insufficienti per la valutazione della sicurezza.
2. Tassonomia Clinica: Introduzione di una tassonomia strutturata e clinicamente validata per identificare pattern di ragionamento stigmatizzante sottili e palesi nell'IA.
3. Benchmark Esteso: Rilascio di un benchmark ampliato che copre condizioni psicologiche aggiuntive (BPD, ED, BD, Psicosi) e un set più ricco di domande.
4. Cambiamento Metodologico: Una chiamata a superare il "safetywashing" tramite MCQ e ad adottare l'analisi a livello di ragionamento come standard per la sicurezza dell'IA in domini ad alto rischio come l'assistenza sanitaria.

5. Significato e Implicazioni

• Rischio di Safetywashing: Il documento evidenzia che i modelli che superano i benchmark di sicurezza attuali potrebbero essere ancora pericolosi nella pratica perché il loro ragionamento interno si basa su stereotipi dannosi.
• Sensibilità alla Persona: La scoperta che le "persone terapeuta" possono indurre più bias (specificamente la sovrappatologizzazione) sfida la pratica industriale comune di istruire i modelli a "agire come terapisti".
• Direzioni Future: Gli autori sostengono che correggere gli LLM per la salute mentale richiede più del semplice filtraggio degli output o prompt migliori; probabilmente necessita di cambiamenti negli obiettivi di addestramento sottostanti per ridurre la dipendenza da stereotipi generalizzati e migliorare la distinzione tra variazione umana normale e patologia.
• Rilascio di Risorse: Gli autori stanno rilasciando il dataset annotato e il codice per facilitare futuri sforzi di mitigazione e lo sviluppo di classificatori specializzati per rilevare tracce stigmatizzanti.

Limiti

• Lo studio si basa su MCQ strutturate e vignette, che potrebbero non catturare appieno la complessità di conversazioni terapeutiche aperte e multi-turno.
• Due categorie di stigma ("Cronicità/Speranza" e "Debolezza/Fallimento Morale") non sono state evocate nello studio, sebbene gli autori notino che ciò potrebbe essere dovuto a limitazioni nel design delle domande piuttosto che alla robustezza del modello.
• La pipeline di annotazione automatizzata, sebbene accurata, è computazionalmente costosa, suggerendo la necessità di modelli più piccoli e specializzati per futuri rilevamenti su larga scala.