Riepilogo Tecnico: Modelli di Ponderazione delle Prove nello Screening Psichiatrico con Modelli Linguistici di Grande Dimensione

Enunciato del Problema

La domanda globale di cure per la salute mentale supera significativamente la disponibilità di valutazioni fornite da clinici, creando un bisogno critico di strumenti di screening scalabili. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) offrano potenzialità nell'estrazione di segnali di rischio psichiatrico dai racconti dei pazienti, la loro affidabilità rimane incerta. La letteratura esistente si concentra spesso sull'accuratezza finale della classificazione o su compiti relativi a singoli disturbi utilizzando etichette auto-dichiarate, lasciando tre lacune critiche per la traduzione clinica:

1. Mancanza di Benchmark Ancorati alla SCID: Pochi studi valutano gli LLM utilizzando interviste esperienziali semi-strutturate abbinate a etichette di riferimento diagnostiche gold-standard della Structured Clinical Interview for DSM (SCID).
2. Caratterizzazione Insufficiente dei Sottogruppi: Le variazioni di prestazione attraverso strati demografici (sesso, età, razza) non sono ben comprese.
3. Meccanismi di Errore Opachi: Non è chiaro se gli errori di falso negativo derivino da un fallimento nel rilevare i sintomi o da come i modelli ponderano differenzialmente le prove sintomatiche rispetto all'invalidità funzionale e agli indici di contesto protettivo (es. capacità di coping, supporto sociale).

Metodologia

Gli autori hanno introdotto un benchmark composto da 555 interviste esperienziali semi-strutturate raccolte da partecipanti (Età media = 39,4; 50,1% femmine; 77,8% bianchi). I partecipanti hanno subito interviste cliniche strutturate (SCID) per stabilire etichette di riferimento per quattro categorie diagnostiche: Disturbo d'Ansia, Disturbo Depressivo Maggiore (MDD), Disturbo da Stress Post-Traumatico (PTSD) e Qualsiasi Disturbo Mentale Corrente (MHD).

Disegno Sperimentale:

• Modelli Valutati: Cinque LLM all'avanguardia (LLaMA 3, DeepSeek, GPT-4o Mini, GPT-4.1 Mini, GPT-5 Mini).
• Strategia di Prompting: Prompting zero-shot, specifico per il compito. Ai modelli è stato ordinato di valutare una condizione alla volta, generare una razionale di inferenza in stile clinico e fornire una previsione di screening binaria ("Sì"/"No").
• Metriche di Prestazione: Accuratezza, Precisione, Sensibilità, Specificità, Punteggio F1 e Coefficiente di Correlazione di Matthews (MCC). La significatività statistica è stata valutata utilizzando i test Q di Cochran e i test di McNemar con correzione di Bonferroni.
• Analisi di Integrazione delle Prove: Un'analisi post-hoc delle razionali di inferenza di GPT-4.1 Mini (selezionato per struttura e prestazioni coerenti) ha categorizzato il testo in tre domini di prova utilizzando espressioni regolari basate su regole:
  1. Prove Sintomatiche: Sintomi psichiatrici specifici per il compito (derivati da PHQ-9, GAD-7, PCL-5).
  2. Invalidità Funzionale: Interruzione nella funzionalità occupazionale, sociale o quotidiana.
  3. Contesto Protettivo: Funzionalità preservata, coping attivo e supporto sociale.
• Modellazione Statistica: I test U di Mann–Whitney hanno confrontato i conteggi delle prove tra Vero Positivi (TP) e Falso Negativi (FN). Modelli di regressione logistica standardizzati hanno determinato come queste caratteristiche di prova abbiano previsto le uscite del modello rispetto alle etichette diagnostiche derivate dalla SCID.

Risultati Chiave

1. Prestazioni di Screening

Le prestazioni dei modelli sono variate notevolmente tra i compiti e le famiglie (Accuratezza: 0,49–0,86; MCC: 0,16–0,38).

• Migliori Prestazioni: GPT-4.1 Mini e GPT-5 Mini hanno dimostrato l'accuratezza più coerente specifica per il disturbo. GPT-4.1 Mini ha raggiunto la più alta accuratezza per l'Ansia (0,72), la Depressione (0,86) e il PTSD (0,81).
• Variabilità: GPT-4o Mini ha mostrato la più bassa accuratezza per lo screening dell'ansia (0,49).

2. Disparità Demografiche

• Sesso: È emerso un pattern coerente in cui l'accuratezza della classificazione della depressione è stata più alta per i partecipanti maschi rispetto alle partecipanti femmine in tutti i modelli (es. GPT-4.1 Mini: Maschi 0,91 vs Femmine 0,82).
• Età e Razza: Non è stato osservato un pattern coerente legato all'età o un degrado uniforme attraverso gli strati razziali, sebbene esistessero variazioni dipendenti dal modello.

3. Modelli di Ponderazione delle Prove (Il Risultato Centrale)

L'analisi degli errori di falso negativo ha rivelato che i modelli non hanno semplicemente mancato i sintomi; li hanno attivamente sotto-pesati in presenza di indici protettivi.

• Presenza di Sintomi negli Errori: I casi di falso negativo per Ansia e PTSD spesso contenevano conteggi più alti di prove sintomatiche rispetto ai casi di vero positivo.
• Il Ruolo del Contesto:
  • Contesto Protettivo: La presenza di funzionalità preservata, capacità di coping o indici di supporto sociale era associata negativamente alle uscite positive del modello. Nell'Ansia e nel PTSD, i falsi negativi includevano frequentemente questi indici protettivi insieme ai sintomi.
  • Invalidità Funzionale: Le prove di invalidità funzionale erano associate positivamente alle classificazioni positive.
• Modello vs Verità Terrena: La regressione logistica ha mostrato che le caratteristiche di prova (in particolare l'invalidità funzionale e il contesto protettivo) erano predittori più forti delle decisioni dell'LLM rispetto alle etichette diagnostiche derivate dalla SCID. Ciò suggerisce che i modelli applicano un euristico di ponderazione più rigoroso o diverso rispetto allo standard di riferimento clinico, richiedendo in particolare una convergenza di sintomi e invalidità prima di assegnare un'etichetta positiva.

Significato e Affermazioni

Il documento afferma che gli LLM possono supportare lo screening psichiatrico scalabile, ma evidenzia un meccanismo specifico di fallimento che richiede un'attenta validazione prima del dispiegamento clinico.

• Oltre l'Accuratezza: Lo studio sostiene che l'accuratezza aggregata è insufficiente per la valutazione clinica. Il risultato principale è che i falsi negativi spesso derivano non da una mancanza di rilevamento dei sintomi, ma dalla tendenza del modello a svalutare le prove sintomatiche quando il racconto include funzionalità preservata o contesti protettivi.
• Implicazione Clinica: Questo comportamento di "ponderazione delle prove" suggerisce che gli LLM potrebbero sottodiagnosticare condizioni in cui i pazienti riferiscono sintomi ma descrivono anche un coping efficace o un supporto sociale, potenzialmente mancando individui che richiedono comunque una valutazione clinica.
• Direzione Futura: Gli autori concludono che i futuri sistemi devono andare oltre l'inferenza in un singolo passaggio verso framework calibrati, multi-turno o multi-agente capaci di risolvere esplicitamente l'incertezza e integrare prove cliniche concorrenti (sintomi vs. funzionalità) per ridurre gli errori di falso negativo.

Lo studio sottolinea che, sebbene GPT-4.1 Mini e GPT-5 Mini mostrino promesse, la loro logica decisionale riguardante l'equilibrio tra sintomatologia e contesto funzionale differisce dai criteri diagnostici clinici standard, rendendo necessaria un'ulteriore indagine su equità e meccanismi di errore.