Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting

1. Enunciato del Problema

I Large Language Models (LLM) hanno mostrato miglioramenti significativi nei compiti di ragionamento (matematica, programmazione, logica), ma la loro capacità di ragionare sulla Teoria della Mente (ToM)—la capacità di attribuire stati mentali, credenze e prospettive agli altri—rimane incerta.

• Contaminazione dei Dati: I benchmark ToM esistenti (ad esempio, il test Sally-Anne, TOMI) sono probabilmente presenti nei dati di pre-addestramento degli LLM moderni. Di conseguenza, i modelli potrebbero "memorizzare" le risposte invece di ragionare genuinamente, portando a metriche di performance gonfiate.
• Mancanza di Controllo: I precedenti benchmark sintetici spesso si affidano agli LLM per generare le storie stesse, il che introduce incoerenze e rende difficile isolare variabili specifiche (ad esempio, prospettiva del personaggio vs. tempistica degli eventi).
• Il Divario: C'è la necessità di un framework robusto e privo di contaminazione per valutare se gli LLM possono realmente modellare stati mentali o se si affidano a euristiche (come il bias della recenza) e alla memorizzazione.

2. Metodologia: Il Framework StorySim

Gli autori introducono StorySim, un framework sintetico programmabile progettato per generare storie nuove per valutare le capacità di ToM e di Modellazione del Mondo (WM).

Componenti Principali

• LO STORYBOARD: Una specifica simbolica di alto livello definita come $D = (C, \phi, G, E, n)$, dove:
  • $C$: Insieme dei personaggi.
  • $G$: Un grafo diretto che rappresenta le località e la connettività.
  • $E$: Un insieme di eventi chiave deterministici con timestamp (ad esempio, "Il Personaggio A si sposta nella Stanza 2 a $t=5$").
  • $n$: Numero totale di eventi.
  • $\phi$: Tipi di azione (ad esempio, entra, si sposta).
• Processo di Generazione:
  1. Generazione Simbolica: StorySim genera una sequenza di eventi che aderisce rigorosamente ai vincoli dello STORYBOARD. Compila i dettagli non deterministici in modo casuale garantendo la coerenza logica (ad esempio, i personaggi possono spostarsi solo verso località adiacenti).
  2. Traduzione: Gli eventi vengono convertiti in linguaggio naturale utilizzando modelli.
  3. Parafrasi (Opzionale): Le storie possono essere ulteriormente parafrasate da un LLM (GPT-4o-mini) per aumentare il naturalismo linguistico, sebbene la logica di base rimanga ancorata allo storyboard simbolico.
• Novità: Poiché le storie sono generate algoritmicamente con vincoli specifici e variazioni casuali, la probabilità che qualsiasi storia generata appaia nei dati di pre-addestramento è "astronomicamente bassa".

Design Sperimentale

Gli autori hanno progettato tre tipi specifici di prompt per isolare diverse abilità cognitive:

1. Prompt ToM: Chiede informazioni sulla credenza di un personaggio riguardo alla posizione di un altro (ad esempio, "Dove pensa Bob che sia Alice?"). Questo testa la capacità di modellare una prospettiva che differisce dalla realtà.
2. Prompt WM-Umano: Chiede la posizione oggettiva di un personaggio basata su eventi osservati (ad esempio, "Dove è andata Alice quando Bob era nella stanza?"). Questo testa la Modellazione del Mondo senza richiedere l'assunzione di prospettiva.
3. Prompt WM-Inanimato: Simile al WM-Umano ma utilizza oggetti inanimati spostati da forze esterne. Questo testa se il ragionamento del modello è sensibile alla natura "animata" degli agenti.

Variabili Chiave Manipolate:

• Distanza di Tranello: Il numero di passaggi temporali tra l'ultima volta che un personaggio ($S1$) ha visto un altro ($T$) muoversi e la posizione finale di $T$. Questo testa il bias della recenza (prevedere la posizione più recente invece dell'ultima posizione osservata).
• Ordine della ToM: Primo ordine (A pensa che B sia a X) vs. Secondo ordine (A pensa che B pensi che C sia a X).
• Numero di Personaggi: Variare il numero di personaggi per testare la generalizzazione oltre le semplici strutture narrative familiari.

3. Contributi Chiave

1. Framework StorySim: Un benchmark sintetico completamente controllabile che elimina i rischi di contaminazione dei dati e permette la manipolazione precisa delle variabili narrative (prospettiva, tempistica, struttura del grafo).
2. Disaccoppiamento di ToM e WM: Lo studio fornisce un metodo per valutare la ToM indipendentemente dalla Modellazione del Mondo generale, rivelando che i modelli spesso eccellono nel tracciare eventi fisici (WM) ma falliscono nel tracciare stati mentali (ToM).
3. Identificazione delle Euristiche: Il framework ha identificato con successo specifici modi di fallimento, come l'"Euristica della Prima Posizione Comune" (prevedere dove i personaggi si sono incontrati per la prima volta invece di dove si trovano attualmente) e il Bias della Recenza.
4. Benchmarking Completo: Il paper valuta un'ampia suite di modelli (GPT-4, GPT-5.4, Llama 3.1/3.2/3.3, R1, Qwen) in contesti zero-shot e few-shot.

4. Risultati Chiave

• Discrepanza ToM vs. WM: La maggior parte dei modelli ha ottenuto una maggiore accuratezza nei compiti di Modellazione del Mondo (WM) rispetto ai compiti di Teoria della Mente (ToM). Ciò suggerisce che gli LLM sono migliori nel tracciare stati fisici che nel simulare le prospettive soggettive degli altri.
• L'Effetto "Umano": I modelli hanno performato significativamente meglio nei compiti WM che coinvolgono soggetti umani rispetto a oggetti inanimati, suggerendo che la presenza di "agenti" innesca percorsi di ragionamento diversi (e più accurati).
• Correlazione con la Dimensione del Modello:
  • Nella famiglia Llama 3.1, c'era una chiara correlazione positiva tra la dimensione del modello (parametri) e la performance ToM.
  • DeepSeek R1 ha mostrato la maggiore accuratezza complessiva ToM e il divario più piccolo tra le performance ToM e WM.
  • GPT-5.4 ha eccelso nel WM ma ha faticato con la ToM, evidenziando che il potere di ragionamento grezzo non equivale automaticamente al ragionamento sociale.
• Fallimento del Test Sally-Anne: Quando testati su una configurazione standard Sally-Anne, i modelli hanno raggiunto il 100% di accuratezza. Tuttavia, quando testati su storie generate casualmente della stessa lunghezza, l'accuratezza è scesa significativamente (ad esempio, a ~75-87%), confermando che il test classico è una cattura misura della genuina ToM a causa della contaminazione dei dati.
• Dipendenza dalle Euristiche:
  • Bias della Recenza: Lo studio non ha trovato prove significative che i modelli facciano affidamento sul bias della recenza (prevedere l'ultima posizione nota) come modo di fallimento primario; la performance è rimasta stabile al variare delle "distanze di tranello".
  • Euristica della Prima Posizione Comune: Un pattern di errore dominante era prevedere la posizione in cui i personaggi si sono incontrati per la prima volta, invece di tracciare i loro movimenti effettivi.
  • Problemi di Lunghezza del Contesto: I modelli ad alto ragionamento (come R1) hanno fallito frequentemente a causa di una lunghezza del contesto insufficiente quando generavano catene di pensiero lunghe, portando a "rifiuto del prompt" o errori allucinati.
• Complessità: Aumentare il numero di personaggi in una storia non ha degradato significativamente la performance ToM per i modelli di fascia alta, suggerendo robustezza nella gestione di grafi sociali complessi.

5. Significato e Lavori Futuri

• Ridefinizione dei Benchmark: Il paper sostiene che il campo deve allontanarsi da dataset statici e potenzialmente contaminati (come Sally-Anne) verso benchmark sintetici dinamici come StorySim per valutare realmente le capacità degli LLM.
• Implicazioni per la Sicurezza: La mancanza di una ToM robusta è una preoccupazione critica per la sicurezza. Se un LLM non può comprendere che un utente ha una prospettiva diversa o un'intenzione nascosta, potrebbe non rilevare scenari dannosi o manipolare gli utenti.
• Direzioni Future: Gli autori suggeriscono di utilizzare StorySim per esplorare scenari più complessi, inclusi il ragionamento controfattuale, l'attribuzione di obiettivi e la modellazione delle preferenze. Evidenziano inoltre la necessità di migliorare la gestione del contesto da parte dei modelli per supportare catene di ragionamento più profonde richieste da compiti ToM complessi.

In conclusione, il paper dimostra che, sebbene gli LLM stiano migliorando, faticano ancora con il salto cognitivo specifico richiesto dalla Teoria della Mente, affidandosi spesso a euristiche o fallendo nel distinguere tra stati oggettivi del mondo e credenze soggettive. StorySim fornisce lo strumento necessario per misurare e migliorare rigorosamente queste capacità.