Sintesi Tecnica: Simulazione di Pazienti con Disturbi del Comportamento Alimentare tramite LLM

Definizione del Problema

I modelli linguistici di grandi dimensioni (LLM) sono sempre più impiegati come sostituti di partecipanti umani nella formazione clinica, nella ricerca e come soggetti sperimentali. Un prerequisito critico, sebbene poco esaminato, per queste applicazioni è la stabilità della persona: il mantenimento coerente di un profilo psicologico assegnato all'interno e attraverso le conversazioni. Se il profilo psicologico di un paziente simulato devia a metà conversazione o cambia in modo imprevedibile tra le sessioni, le conclusioni derivanti su fenomeni sociali, competenza clinica o effetti del trattamento diventano artefatti dell'incoerenza del modello piuttosto che risultati genuini.

Gli attuali paradigmi di valutazione non riescono a rilevare questi fallimenti. I sistemi di pazienti simulati vengono tipicamente valutati sulla realismo del dialogo o sull'accuratezza diagnostica, mentre i benchmark sulle persone mirano a contesti di finzione o tratti di personalità generici, piuttosto che a profili clinicamente fondati con strumenti validati. Inoltre, la letteratura esistente suggerisce prove contrastanti: mentre alcuni benchmark riportano risposte stabili, altri osservano che l'aggiunta di persone non migliora in modo affidabile le prestazioni nel compito, e il Reinforcement Learning from Human Feedback (RLHF) può indurre sifomania, complicando i dialoghi multi-turno.

Questo studio affronta il divario specifico nella valutazione della validità psicologica e della stabilità temporale degli LLM che simulano pazienti con disturbi del comportamento alimentare (DCA). I DCA sono condizioni psichiatriche con alti tassi di mortalità e significativi gap formativi tra i clinici. Sebbene i pazienti con DCA simulati tramite IA abbiano mostrato potenziale nel ridurre l'ansia dei tirocinanti, la loro stabilità psicologica rimane non valutata.

Metodologia

Disegno Sperimentale

Gli autori operazionalizzano la stabilità attraverso due esperimenti complementari che coinvolgono sei LLM (Claude Sonnet 4.6, GPT 5.4, Gemini 3.1 Pro, DeepSeek V4 Flash, GPT OSS 120B, Llama 3.3 70B) e cinque persone con DCA derivate da vignette di casi pubblicati (Bulimia Nervosa, Anoressia Nervosa con Binge-Purge, Binge Eating Disorder/Night Eating Syndrome, Binge Eating Disorder e Purging Disorder).

1. Esperimento I (Stabilità tra Conversazioni): Ogni modello genera una narrazione in prima persona che descrive tre situazioni legate all'alimentazione e completa strumenti di autovalutazione. Rater LLM indipendenti (tre modelli di diversi provider) completano poi gli stessi strumenti basandosi esclusivamente sulla narrazione, senza accesso alle istruzioni originali della persona. Questo testa la coerenza tra esecuzioni indipendenti ($N=50$ per condizione).
2. Esperimento II (Stabilità entro la Conversazione): Il target LLM partecipa a una conversazione neutra di 9 scambi con un partner scriptato. Valutazioni di autogestione e osservatore vengono attivate dopo tre blocchi tematici (scambi 3, 6 e 9) per rilevare la deriva nel tempo ($N=20$ per condizione).

Costruzione della Persona e Ricchezza del Prompt

Per testare la necessità del dettaglio del prompt, lo studio manipola la ricchezza del prompt attraverso tre livelli basati sul modello transdiagnostico di Fairburn:

• Vignetta Completa: Descrizioni cliniche complete del caso includendo dati demografici, storia, trauma e contesto sociale (escludendo i punteggi di valutazione).
• Meccanismi di Mantenimento Core: Solo i fattori di mantenimento attivi (es. restrizione dietetica, cicli binge-purge, controllo del corpo) senza contesto biografico.
• Minima: Etichetta diagnostica, età, genere, BMI e frequenze comportamentali quantificate soltanto.

Misurazione

L'outcome primario è l'Eating Disorder Examination Questionnaire (EDE-Q), uno strumento validato di 28 item con una scala da 0 a 6. I punteggi di verità fondamentale (Ground Truth - GT) sono disponibili per tutti i cinque casi. Viene impiegato un framework di doppia valutazione:

• Autovalutazione: La persona completa il questionario basandosi sulla propria narrazione generata.
• Valutazioni dell'Osservatore: Tre rater LLM indipendenti valutano la trascrizione dalla prospettiva dell'individuo.
• Misure Secondarie: Il Clinical Impairment Assessment (CIA) e l'Eating Attitudes Test (EAT-26) sono co-somministrati per la validità convergente.

Contributi Chiave

1. Framework di Doppia Valutazione: Una metodologia innovativa che misura congiuntamente le autovalutazioni della persona e le valutazioni indipendenti dell'osservatore utilizzando strumenti clinici validati (EDE-Q) con aggregazione di rater multi-provider per mitigare il bias del "LLM-as-judge".
2. Manipolazione del Prompt Fondata Teoricamente: Una variazione sistematica della ricchezza del prompt basata sul modello di Fairburn, distinguendo tra meccanismi di mantenimento attivi e fattori predisponenti, per determinare l'informazione minima necessaria per una simulazione plausibile.
3. Valutazione di Stabilità e Accuratezza: Una valutazione completa su sei LLM e cinque persone con DCA, utilizzando la decomposizione della varianza per identificare i contributi relativi dell'identità del modello, del caso della persona e della ricchezza del prompt alla variazione del punteggio.

Risultati

Stabilità

• Tra Conversazioni: Gli LLM mostrano una stabilità notevolmente alta. I coefficienti di variazione medi sono del 2-4% per cinque dei sei modelli, e il 30% delle combinazioni item-condizione produce punteggi identici in tutte le 50 esecuzioni indipendenti. Questo comportamento quasi deterministico è più pronunciato per gli item cognitivo-affettivi (Preoccupazione per Forma e Peso).
• Entro la Conversazione: Estendere la conversazione a 9 scambi non migliora significativamente l'accuratezza; al contrario, i punteggi per quattro dei cinque modelli derivano verso l'alto (aumento della gravità) durante il dialogo, allontanandosi dalla verità fondamentale.

Accuratezza e Overshoot (Sovrastima)

• Sovrastima Sistematica: Tutti i modelli sovrastimano sistematicamente la gravità della verità fondamentale del 12-30% dell'intervallo della scala (0.7–1.8 punti su una scala 0–6).
• Compressione Dipendente dalla Gravità: La sovrastima è più severa nei casi moderati. Ad esempio, il Purging Disorder (GT = 2.64) è gonfiato di +1.44 a +2.73 punti, mentre la Bulimia Nervosa (GT = 5.25) è riprodotta entro ±0.43 punti.
• Inversioni di Ranking: Gli LLM non riescono a classificare correttamente la gravità. In quattro dei sei modelli, l'Anorexia Nervosa Binge-Purge (GT = 4.30) ottiene punteggi superiori alla Bulimia Nervosa (GT = 5.25), nonostante abbia una gravità GT inferiore.

Meccanismo: Stereotipizzazione Selettiva

Lo studio identifica la stereotipizzazione selettiva come il meccanismo che guida questi errori:

• Item Comportamentali: Gli item che misurano comportamenti concreti (es. Restrizione Dietetica) differenziano efficacemente i casi, rispondendo al contenuto specifico della vignetta.
• Item Cognitivo-Affettivi: Gli item che misurano la preoccupazione per l'immagine corporea e il peso (Preoccupazione per Forma, Preoccupazione per Peso) default verso il tetto (vicino al massimo) indipendentemente dalla gravità del caso.
• Conseguenza: Poiché gli item cognitivo-affettivi saturano al tetto per tutte le diagnosi di DCA, il punteggio globale è guidato quasi interamente dalla sottoscala comportamentale della Restrizione. Ciò porta a inversioni di ranking dove i casi con estrema restrizione dietetica (anche se meno gravi complessivamente) ottengono punteggi più alti rispetto ai casi con meno restrizione ma maggiore patologia complessiva.

Ricchezza del Prompt

La ricchezza del prompt contribuisce in modo trascurabile (1%) alla varianza del punteggio. I prompt ridotti (Minimi) elicitano risposte quasi equivalenti alle vignette cliniche complete, suggerendo che la sovrastima origini dai pregiudizi di pre-training piuttosto che da un contesto insufficiente.

Significato e Rivendicazioni

Il paper conclude che gli LLM sono paradossalmente troppo stabili e troppo imprecisi. Sebbene mantengano persone coerenti, questa stabilità riflette una stabilità del bias piuttosto che la fedeltà alla realtà clinica.

• Il "Centro Mancante": Gli LLM possono ritrarre patologie alimentari gravi ma mancano di una rappresentazione delle presentazioni cliniche moderate. Questo crea un "centro mancante" dove la validazione aggregata può apparire adeguata pur mascherando fallimenti critici negli intervalli di gravità più rilevanti per la formazione clinica.
• Limiti della Calibrazione: Poiché l'ordinamento dei casi è non monotono (es. AN-BP > BN nonostante la GT inferiore), una semplice calibrazione post-hoc o trasformazioni monotone non possono correggere gli output. La distorsione origina a livello di sottoscala.
• Implicazioni per l'Impiego: I risultati suggeriscono che gli attuali LLM non possono ancora servire come validi sostituti per la gravità graduata dei disturbi del comportamento alimentare nella formazione clinica o nella ricerca. Migliorare la fedeltà richiede un radicamento clinico a livello di item al momento della generazione e una diversità rappresentativa che i dati di addestramento attuali non forniscono. Lo studio non afferma che gli LLM siano inutili per la terapia, ma piuttosto che il loro uso come pazienti simulati per valutare la competenza clinica o gli effetti del trattamento è attualmente compromesso da questa stereotipizzazione sistematica.

Gli autori dichiarano esplicitamente che i loro risultati replicano ed estendono il lavoro precedente sulle simulazioni di ADHD, mostrando che le autovalutazioni coerenti possono riflettere un'inaccuratezza coerente piuttosto che una fedeltà coerente. Chiamano a future repliche cross-disorder con strumenti comportamentalmente graduati e studi baseline umani per determinare se questa sovrastima sia specifica del modello o inerente all'autovalutazione simulata.