Blending Human and LLM Expertise to Detect Hallucinations and Omissions in Mental Health Chatbot Responses

1. Il Problema

L'implementazione di chatbot basati su Large Language Models (LLM) nei servizi di salute mentale offre un accesso diffuso al supporto terapeutico, ma introduce rischi critici legati alla sicurezza dell'utente. I fallimenti degli LLM in questo contesto si manifestano principalmente come:

• Allucinazioni: affermazioni fattualmente errate o inventate (es. farmaci inesistenti o statistiche false) presentate con sicurezza.
• Omissioni: l'assenza di informazioni terapeutiche critiche (es. mancata segnalazione di linee di crisi o valutazione del rischio suicidario).

Le valutazioni attuali, basate su metriche tradizionali (BLEU, ROUGE) o sull'approccio "LLM-as-a-Judge" (utilizzare un LLM avanzato come GPT-4 per valutare un altro LLM), falliscono sistematicamente in contesti ad alto rischio. Il paper dimostra che i giudici LLM non riescono a catturare le sfumature linguistiche e terapeutiche necessarie, ottenendo un'accuratezza di circa il 52% e una recall vicina allo zero per le allucinazioni, rendendoli inaffidabili per applicazioni cliniche reali.

2. Metodologia

Gli autori propongono un framework ibrido che integra l'esperienza umana con l'automazione degli LLM, superando i limiti dei "giudici" puri.

A. Dataset Personalizzato

È stato creato un nuovo dataset annotato manualmente da 4.418 coppie prompt-risposta, con un approccio multi-stakeholder che coinvolge clinici, amministratori sanitari, pazienti e caregiver.

• Processo di annotazione: Richiede il consenso unanime di tre annotatori di gruppi diversi, con un meta-esperto che risolve le discrepanze.
• Squilibrio delle classi: Il dataset riflette la realtà operativa con tassi di errore bassi ma critici: 1.97% di allucinazioni e 3.68% di omissioni.

B. Framework di Estrazione delle Feature

Invece di chiedere all'LLM di giudicare direttamente se una risposta è corretta, il sistema estrae feature interpretabili basate su cinque dimensioni analitiche guidate da esperti di dominio:

1. Coerenza Logica: Rilevazione di contraddizioni interne.
2. Verifica delle Entità: Controllo di nomi, farmaci e relazioni (es. "Anxiolyze-500" è un farmaco reale?).
3. Accuratezza Fattuale: Valutazione delle affermazioni verificabili contro la conoscenza medica consolidata.
4. Incertezza Linguistica: Analisi di marcatori di certezza, esitazioni (hedging) e stance epistemica.
5. Adeguatezza Professionale: Valutazione del tono emotivo, dello stile comunicativo e dei confini professionali (es. l'AI non deve impersonare un terapeuta).

Queste feature vengono estratte utilizzando LLM (come GPT-4o, Llama-3.3, ecc.) tramite prompt strutturati, generando vettori numerici.

C. Modello di Ensemble

Le feature estratte vengono combinate con i punteggi grezzi di un "LLM-as-a-Judge" e alimentate in classificatori supervisionati (Machine Learning).

• Sono stati testati 8 algoritmi diversi (Random Forest, XGBoost, LightGBM, CatBoost, SVM, Regressione Logistica, MLP, SAINT).
• Il modello finale è un ensemble specifico per il compito (uno per le allucinazioni, uno per le omissioni), ottimizzato per bilanciare precisione e recall in presenza di forte sbilanciamento delle classi.

3. Contributi Chiave

1. Dimostrazione Empirica del Fallimento: Il paper quantifica il fallimento sistematico dei metodi "LLM-as-a-Judge" standard nella salute mentale (es. SAC3 ha una recall del 0% per le allucinazioni; GPT-4o-mini ha una recall del 9.3%).
2. Nuovo Dataset Clinico: Introduzione di un dataset annotato da stakeholder multipli, che riflette le reali esigenze di sicurezza e le sfumature della comunicazione terapeutica.
3. Tassonomia delle Feature Cliniche: Sviluppo di un sistema di estrazione di feature basato su 5 dimensioni guidate da esperti, che codificano conoscenze cliniche inaccessibili ai giudici "black-box".
4. Focus sulle Omissioni: Un'analisi sistematica delle omissioni, un aspetto spesso trascurato nella letteratura precedente ma vitale per la sicurezza (es. mancata risposta a crisi suicidarie).

4. Risultati Sperimentali

I risultati mostrano un miglioramento drastico rispetto alle baseline:

• Rilevamento Allucinazioni (Dataset Personalizzato): Il modello proposto raggiunge un F1-score di 0.717, contro un F1 di 0.169 per GPT-4o-mini e 0.265 per SelfCheckGPT.
• Rilevamento Omissioni (Dataset Personalizzato): F1-score di 0.637, superando le baseline che faticano a identificare informazioni mancanti.
• Validazione Cross-Dataset (Kaggle): Il modello mantiene alte prestazioni su un dataset pubblico, raggiungendo un F1-score di 0.849 per le allucinazioni e 0.591 per le omissioni.
• Robustezza del Modello: Le prestazioni sono stabili indipendentemente dall'LLM utilizzato per l'estrazione delle feature (anche modelli open-source come Llama-3.3-70B raggiungono F1=0.695).
• Confronto Umano: Le prestazioni del modello sono paragonabili alla media degli annotatori umani (F1 medio umano = 0.536), ma con una coerenza superiore.

5. Significato e Impatto

Questo lavoro dimostra che nei contesti ad alto rischio come la salute mentale, l'approccio "black-box" (giudicare direttamente con un LLM) è insufficiente. La soluzione risiede nella decomposizione del problema: trasformare il giudizio olistico e difficile in una serie di compiti di estrazione di feature specifici e interpretabili, che vengono poi aggregati da modelli di Machine Learning classici.

Implicazioni pratiche:

• Sicurezza Clinica: Il framework fornisce uno strumento affidabile per il supporto alle decisioni cliniche, capace di rilevare errori sottili che potrebbero causare danni ai pazienti.
• Trasparenza: L'uso di feature interpretabili (es. "punteggio di fabbricazione entità") permette di capire perché una risposta è stata segnata come errata, a differenza dei giudizi opachi degli LLM.
• Scalabilità: Il sistema può essere implementato con modelli open-source, riducendo i costi e i problemi di privacy rispetto all'uso di API proprietarie per il giudizio diretto.

In sintesi, il paper stabilisce un nuovo standard per la valutazione della sicurezza degli AI in sanità, spostando il focus dalla pura capacità del modello generativo alla validazione rigorosa basata su expertise di dominio umano.