Riepilogo Tecnico: MENTALBENCH

Enunciato del Problema

I Modelli Linguistici di Grandi Dimensioni (LLM) hanno mostrato potenziale nell'analisi della salute mentale, tuttavia i benchmark esistenti per valutare le loro capacità diagnostiche psichiatriche soffrono di limitazioni significative. La maggior parte dei dataset attuali si basa su dati dei social media o su contesti di dialogo di supporto, che mancano della struttura rigorosa necessaria per valutare se i modelli possano applicare criteri diagnostici formali (come quelli del DSM-5) e navigare regole complesse di diagnosi differenziale. Di conseguenza, rimane incerto se gli LLM possano risolvere in modo affidabile i confini clinici tra diagnosi concorrenti in presenza di ambiguità clinica intrinseca, un requisito critico per il supporto alle decisioni cliniche ad alto rischio. La costruzione di dati diagnostici di alta qualità e validati da esperti è ulteriormente ostacolata da rigorose normative sulla privacy, dall'assenza di biomarcatori oggettivi e dalla complessità della logica diagnostica formale.

Metodologia

Per colmare queste lacune, gli autori introducono MENTALBENCH, un benchmark fondato su un grafo della conoscenza costruito da psichiatri denominato MENTALKG.

1. MENTALKG: Un Grafo della Conoscenza Basato sul DSM

MENTALKG funge da spina dorsale logica per il benchmark. È un grafo della conoscenza strutturato che codifica i criteri diagnostici del DSM-5 e le regole di diagnosi differenziale per 23 disturbi psichiatrici.

• Struttura: Il grafo comprende 23 nodi di Disturbo, 23 nodi di Gruppo di Sintomi, 84 nodi di Sintomo e 87 nodi di Diagnosi Differenziale.
• Formalizzazione: Trasforma il testo non strutturato del DSM-5 in entità strutturate, codificando esplicitamente sintomi obbligatori, vincoli di durata, soglie minime di sintomi e logica di esclusione.
• Logica Differenziale: I nodi di diagnosi differenziale catturano la logica direzionale necessaria per distinguere tra disturbi sovrapposti (ad esempio, Disturbo Depressivo Maggiore vs. Disturbo Bipolare I), definendo condizioni di attivazione, differenze chiave e regole discriminanti specifiche.
• Diversità: Per evitare una formulazione rigida e da manuale, lo schema integra sottotipi di sintomi, consentendo manifestazioni linguistiche e sintomatiche variate dei sintomi fondamentali.
• Validazione: La costruzione del grafo ha coinvolto due esperti (uno psichiatra certificato e uno psicologo clinico abilitato) che hanno validato i sottotipi di sintomi, l'allineamento dei criteri con il DSM-5 e la validità clinica della logica di diagnosi differenziale.

2. MENTALBENCH: Costruzione del Benchmark

Sfruttando MENTALKG, gli autori hanno generato 24.750 casi clinici sintetici organizzati in una pipeline multistadio. Il benchmark valuta i modelli su due sfide principali: Incompletezza delle Informazioni e Complessità Diagnostica.

I casi sono categorizzati in quattro tipi:

• Tipo 1 (Sintesi Professionale): Riepiloghi strutturati di cartelle cliniche in terza persona dove tutte le prove diagnostiche sono esplicite e complete.
• Tipo 2 (Autorelazione del Paziente): Narrazioni frammentate, colloquiali e in prima persona che riflettono una divulgazione selettiva e una diversità di espressione, dove i modelli devono recuperare indizi diagnostici da informazioni incomplete.
• Tipo 3 (Ambiguità Controllata): Scenari di diagnosi differenziale in cui sintomi condivisi soddisfano più disturbi, ma le prove discriminanti necessarie per escludere i candidati sono intenzionalmente omesse. La risposta corretta è un insieme di diagnosi plausibili.
• Tipo 4 (Diagnosi Definitiva): Scenari di diagnosi differenziale in cui le prove discriminanti sono incluse, richiedendo al modello di ridurre l'insieme dei candidati a una singola diagnosi definitiva basata su criteri dettagliati.

Il processo di generazione include la generazione di semi (campionamento da MENTALKG), l'arricchimento del profilo (assegnazione di dati demografici e sottotipi di sintomi) e la sintesi dei dati utilizzando un ensemble di tre LLM distinti per mitigare il bias del generatore. Tutti gli output hanno subito una rigorosa validazione da parte di esperti per naturalità linguistica, validità diagnostica e realismo clinico.

Contributi Chiave

1. MENTALKG: Un grafo della conoscenza costruito da esperti che formalizza i criteri diagnostici del DSM-5 e le regole di diagnosi differenziale per 23 disturbi, fornendo una spina dorsale logica strutturata per la valutazione clinica.
2. MENTALBENCH: Un benchmark su larga scala composto da 24.750 casi sintetici che variano sistematicamente la completezza delle informazioni e la complessità diagnostica per valutare gli LLM in condizioni di ambiguità clinica.
3. Valutazione Completa: Un framework di valutazione sistematica che va oltre il riconoscimento di pattern superficiali per testare l'applicazione rigorosa della logica diagnostica, inclusa la capacità di gestire narrazioni frammentate e risolvere profili sintomatici sovrapposti.

Risultati Sperimentali

Gli autori hanno valutato una vasta gamma di modelli open-source (Qwen, Gemma, Llama, MentaLLaMA) e closed-source (GPT, Gemini, Claude) su MENTALBENCH.

• Prestazioni Complessive: Anche i modelli all'avanguardia hanno raggiunto una massima accuratezza complessiva di soli 62,69%, evidenziando la difficoltà del benchmark.
• Incompletezza delle Informazioni: I modelli hanno performato bene sul Tipo 1 (sintesi strutturate) ma hanno mostrato un significativo degrado delle prestazioni sul Tipo 2 (narrazioni di autorelazione). I modelli più piccoli (<30B parametri) hanno subito un calo medio significativo (10,58 punti), mentre i modelli più grandi sono stati più resilienti, suggerendo che la scala aiuta nell'inferenza semantica da dati frammentati.
• Complessità Diagnostica: Le prestazioni sono crollate precipitosamente nei compiti di diagnosi differenziale (Tipo 3 e Tipo 4), con molti modelli che hanno ottenuto punteggi inferiori al 20%.
  • I modelli open-source tendevano a esibire sovradiagnosi in casi non ambigui (Tipo 4), non applicando le regole di esclusione e selezionando molteplici distrattori plausibili.
  • I modelli closed-source tendevano a esibire sottodiagnosi in casi ambigui (Tipo 3), forzando previsioni a etichetta singola anche quando le prove cliniche supportavano multiple condizioni.
• Risultati Specifici per Malattia: I modelli hanno faticato significativamente con disturbi sottorappresentati nella ricerca precedente (ad esempio, Disturbo Schizoaffettivo) e con quelli che richiedono distinzioni temporali dettagliate (ad esempio, Disturbo Depressivo Persistente vs. Disturbo Depressivo Maggiore).
• Fallimento di Calibrazione: L'analisi ha rivelato che i modelli mancano di consapevolezza intrinseca dei vincoli. Faticano a calibrare autonomamente il loro ambito diagnostico (decidere tra diagnosi singola o multiple) senza istruzioni esplicite di prompt.

Significato e Affermazioni

Il paper afferma che MENTALBENCH espone limitazioni critiche nelle attuali capacità degli LLM per il supporto alle decisioni psichiatriche. Sebbene i modelli possiedano una conoscenza latente dei criteri del DSM-5, non riescono ad applicare rigorosamente questa conoscenza in scenari ambigui simili al mondo reale. Nello specifico:

• I modelli faticano a mappare le espressioni frammentate e reali dei pazienti sui criteri diagnostici formali.
• I modelli non riescono a calibrare l'impegno diagnostico, oscillando tra tendenze eccessivamente ampie ed eccessivamente restrittive a seconda dell'architettura del modello e dell'ambiguità dello scenario.
• I modelli attuali mancano della capacità intrinseca di definire i confini decisionali senza guida esterna, sollevando preoccupazioni sulla loro affidabilità in contesti reali dove il numero di diagnosi plausibili è intrinsecamente incerto.

Gli autori concludono che MENTALBENCH sostiene che la ricerca futura debba dare priorità a processi decisionali adattivi e robusti in grado di gestire l'ambiguità clinica e vincoli logici rigorosi, piuttosto che affidarsi ad associazioni superficiali. Le risorse (codice e dati) sono state rilasciate pubblicamente per facilitare ulteriori valutazioni e sviluppi in questo dominio.