Moving Beyond Medical Exams: A Clinician-Annotated Fairness Dataset of Real-World Tasks and Ambiguity in Mental Healthcare

1. Il Problema

I benchmark attuali per i Modelli Linguistici (LM) in ambito medico si basano prevalentemente su domande a scelta multipla tratte da esami di abilitazione (board exams) o da test per studenti di medicina. Questo approccio presenta due criticità fondamentali, specialmente in psichiatria:

• Semplificazione eccessiva: Gli esami standardizzati misurano la memorizzazione di fatti, non le capacità di decisione clinica pragmatica necessarie nella pratica reale.
• Bias e Fairness: Le decisioni cliniche in salute mentale dipendono spesso da giudizi soggettivi e sfumature interpersonali. I modelli attuali possono essere influenzati da dati demografici del paziente (genere, etnia, età) anche quando questi fattori non dovrebbero influenzare la decisione clinica, portando a disparità di trattamento.
• Mancanza di ambiguità: La pratica psichiatrica reale è intrinsecamente ambigua (es. triage, documentazione, codifica fatturazione), con spesso più risposte "plausibili" invece di un'unica verità fattuale. I benchmark esistenti non catturano questa complessità.

2. Metodologia: Il Dataset MENTAT

Gli autori hanno introdotto MENTAT (MENtal health Tasks AssessmenT), un dataset e un framework di valutazione creato interamente da clinici esperti, senza l'ausilio di LM per la generazione o l'annotazione dei dati.

• Struttura e Domini: Il dataset copre cinque domini critici della salute mentale:
  1. Diagnosi: Assegnazione di diagnosi basate su DSM-5-TR.
  2. Trattamento: Piani terapeutici, inclusi dosaggi farmacologici.
  3. Monitoraggio: Valutazione dell'efficacia dei trattamenti.
  4. Triage: Determinazione dell'acuità e del livello di cura necessario (es. ricovero vs ambulatorio).
  5. Documentazione: Codifica fatturazione (CPT) e sintesi di cartelle cliniche.
• Design dei Dati:
  • 203 domande base verificate da esperti, ciascuna con 5 opzioni di risposta.
  • Variabili Demografiche: Le informazioni demografiche irrilevanti (età, etnia, genere) sono state sostituite da variabili controllabili. Il dataset è stato generato per pazienti maschili, femminili e non binari, e per diverse etnie e fasce d'età, permettendo test sistematici sui bias.
  • Gestione dell'Ambiguità: Per le categorie Triage e Documentazione, dove non esiste una singola risposta "corretta", sono state create annotazioni di preferenza con incertezza.
• Processo di Annotazione:
  • Un team diversificato di 9 psichiatri praticanti (MD) negli USA ha creato e verificato le domande.
  • Per le domande ambigue, 8 esperti hanno valutato ogni opzione di risposta su una scala da 0 a 100.
  • Modellazione Statistica: Le annotazioni grezze sono state elaborate utilizzando un Modello di Bradley-Terry Gerarchico (HBT). Questo modello stima le probabilità di preferenza per ogni risposta, tenendo conto delle variazioni individuali tra gli annotatori (es. alcuni sono più severi, altri più inclusivi) e riducendo il rumore statistico.
  • Controllo Bias: È stato verificato che le annotazioni non mostrassero bias significativi legati al genere del paziente simulato dagli annotatori stessi.

3. Contributi Chiave

1. Primo Dataset Clinico Realistico per Psichiatria: MENTAT è il primo dataset focalizzato su compiti reali di decisione clinica (non solo recall di fatti) creato interamente da clinici umani, senza contaminazione da dati generati da LM.
2. Pipeline di Annotazione Gerarchica: Introduzione di un metodo robusto per gestire l'ambiguità clinica e il disaccordo tra esperti, trasformando valutazioni soggettive in probabilità di preferenza utilizzabili per l'addestramento e la valutazione.
3. Valutazione Sistemica dei Bias: La struttura del dataset permette di isolare l'impatto di variabili demografiche (genere, etnia, età) sulle decisioni dei modelli, rivelando bias statistici che sfuggono a valutazioni qualitative su singoli casi.
4. Benchmark di Riferimento per Output Liberi: Fornisce un "ground truth" per valutare la coerenza delle risposte in linguaggio naturale (free-form) rispetto alle opzioni esperte annotate.

4. Risultati Sperimentali

Gli autori hanno valutato 16 modelli LM "off-the-shelf" (es. GPT-4o, Claude 3.5, Llama 3, Qwen) e 6 modelli fine-tuned per la salute mentale.

• Accuratezza per Categoria:
  • I modelli performano bene nelle categorie basate su fatti (Diagnosi, Trattamento, Monitoraggio), con accuracies superiori all'80% per i modelli più avanzati.
  • Le prestazioni crollano nelle categorie ambigue (Triage e Documentazione), dove l'accuratezza media scende intorno al 50% (livello casuale o poco superiore), evidenziando la difficoltà dei modelli nel gestire l'incertezza clinica.
  • I modelli fine-tuned su dati sintetici o web-scraped non hanno superato significativamente i loro modelli base (es. Llama 3) su MENTAT, suggerendo che i dati generati da LM non catturano la complessità clinica reale.
• Impatto dei Bias Demografici:
  • Genere: I pazienti con genere "Maschile" hanno ricevuto un'accuratezza significativamente più alta (+8-10%) rispetto a quelli "Femminili" o "Non Binari" nelle categorie di monitoraggio, triage e documentazione.
  • Etnia: Sono state osservate disparità significative; ad esempio, pazienti etichettati come "African American" hanno ottenuto punteggi più alti nella diagnosi rispetto a quelli "White", mentre i "Native American" hanno ottenuto punteggi più alti nel trattamento rispetto ad altri gruppi.
  • Età: I pazienti più giovani (18-33 anni) hanno ottenuto le prestazioni migliori nella diagnosi e nel triage.
  • Conclusione: I bias non sono uniformi ma variano per modello e categoria, rendendo difficile prevedere le prestazioni su singoli casi senza un'analisi statistica su larga scala.
• Coerenza delle Risposte Libere:
  • È stata rilevata una forte discrepanza tra l'accuratezza nelle domande a scelta multipla (MCQA) e la coerenza delle risposte in linguaggio naturale (free-form). Modelli con alta accuratezza MCQA hanno spesso generato risposte testuali che si discostavano significativamente dalle opzioni esperte (misurato tramite BERTScore, ROUGE-L, BLEU), suggerendo che la capacità di "indovinare" l'opzione corretta non garantisce la capacità di formulare una risposta clinica coerente.

5. Significato e Implicazioni

• Superamento degli Esami Tradizionali: MENTAT dimostra che gli esami a scelta multipla basati su fatti sono insufficienti per valutare l'adeguatezza clinica dei modelli AI in psichiatria.
• Sicurezza e Fairness: La scoperta di bias sistematici legati a genere, etnia ed età in modelli avanzati sottolinea l'urgenza di dataset specifici per la fairness prima del deployment clinico. L'uso di questi modelli senza mitigazione dei rischi potrebbe perpetuare o amplificare lo stigma nei sistemi sanitari.
• Limiti dell'AI Attuale: I modelli attuali faticano a gestire l'ambiguità intrinseca della salute mentale (triage, documentazione), che richiede un giudizio umano sofisticato.
• Disponibilità Open Source: Il dataset, il codice di elaborazione e le pipeline di valutazione sono disponibili pubblicamente (licenza MIT), permettendo alla comunità di ricerca di sviluppare modelli più equi, robusti e clinicamente validi.

In sintesi, il paper segna un passaggio fondamentale verso una valutazione dell'AI in salute mentale basata su scenari reali, complessi e controllati, evidenziando che la semplice memorizzazione di fatti non è sufficiente per un'assistenza psichiatrica sicura ed equa.