Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models

Sintesi Tecnica: Traiettorie di Sviluppo della Modellazione della Situazione e della Mentalizzazione nei Modelli Linguistici Transformer

Problema
Studi recenti suggeriscono che i Large Language Models (LLM) esibiscano una sensibilità verso gli stati di credenza degli agenti descritti nel testo, tipicamente misurata tramite il False Belief Task (FBT). Tuttavia, persistenti preoccupazioni riguardanti la validità di costrutto mettono in dubbio se questi modelli possiedano realmente capacità di "mentalizzazione" o se stiano semplicemente sfruttando euristiche superficiali e dipendenti dal compito. Gli autori sostengono che le valutazioni trasversali siano insufficienti per risolvere tali dubbi. Inveve, propongono una prospettiva evolutiva per tracciare l'emergere del comportamento di mentalizzazione attraverso le fasi di addestramento, esaminando se tale comportamento segua una sequenza di sviluppo logica (preceduta dalla modellazione di base della situazione) e se rimanga robusto in condizioni di stress-test.

Metodologia
Lo studio impiega un framework di analisi dello sviluppo attraverso molteplici checkpoint di addestramento di due suite di modelli open-weight: Olmo2 (specificamente 1B, 7B e 13B parametri) e Pythia (che varia da 14M a 12B parametri). La suite Pythia funge da controllo per modelli con significativamente meno token di addestramento (un ordine di grandezza inferiore rispetto ai corrispondenti Olmo2).

Il design sperimentale prevede due indici comportamentali primari:

1. Mentalizzazione (False Belief Task): Utilizzando un set di stimoli composto da 192 passaggi (Trott et al., 2023), i modelli prevedono la posizione di ricerca di un agente "Target" che detiene una True Belief (credenza vera) o una False Belief (credenza falsa) riguardo alla posizione di un oggetto. Il compito varia per Stato di Conoscenza (True/False Belief) e Indizio di Conoscenza (riferimento esplicito alle credenze, ad esempio "pensa", vs. implicito, ad esempio "cerca").
2. Modellazione della Situazione (Stress-Test): Per valutare la coerenza della rappresentazione interna della scena da parte del modello, gli autori hanno modificato gli stimoli per interrogare proprietà fattuali che non richiedono la mentalizzazione:
   • Tracciamento della Credenza dell'Antagonista: Interrogare la posizione dove l' "Antagonista" (che conosce sempre la posizione reale) cercherebbe.
   • Tracciamento della Struttura Causale: Interrogare le posizioni iniziali/finali degli oggetti e l'identità degli agenti che li hanno spostati.

La performance è misurata tramite i log-odds delle probabilità dei token corretti rispetto a quelli errati. Gli autori utilizzano modelli lineari a effetti misti per analizzare l'interazione tra dimensione del modello, token di addestramento cumulativi e proprietà dello stimolo attraverso le fasi di pre-training e post-training (SFT, DPO, Instruction Tuning).

Contributi Chiave

• Mappatura della Traiettoria di Sviluppo: Il paper fornisce una cronologia granulare di quando la performance FBT emerge rispetto alla dimensione del modello e al volume di addestramento, andando oltre le valutazioni statiche dei "checkpoint finali".
• Analisi delle Precondizioni: Indaga se la "modellazione della situazione" (tracciamento delle proprietà fattuali di base) preceda e supporti la "mentalizzazione" (ragionamento sulle false credenze), un'ipotesi fondata sulla psicologia dello sviluppo.
• Framework di Stress-Testing: Lo studio introduce specifici stress-test per sondare la coerenza dei modelli di situazione, rivelando che i modelli possono avere successo in compiti di mentalizzazione complessi pur fallendo in query fattuali più semplici riguardanti lo stesso scenario.

Risultati Chiave

1. Emergenza della Mentalizzazione: Una performance FBT superiore al caso non è garantita dalla sola dimensione del modello. Richiede una combinazione di capacità sufficiente del modello (ad esempio, Olmo2 7B/13B) e un volume di addestramento sostanziale. I modelli sotto-addestrati (Pythia) operano al livello del caso indipendentemente dalla dimensione. I modelli Olmo2 più piccoli, sebbene ben addestrati, non riescono a sfruttare efficacemente i loro dati di addestramento.
2. Emergenza Tardiva e Fragilità: Il comportamento di mentalizzazione emerge relativamente tardi nel pre-training. Crucialmente, la performance è altamente fragile:
   • I modelli sono sensibili ai verbi non-fattivi (ad esempio, "pensa"). Anche nelle condizioni di True Belief, la presenza di "pensa" aumenta le attribuzioni di false credenze.
   • Gli interventi di post-training (SFT, DPO) migliorano la performance specificamente nella condizione più diagnostica (False Belief, Implicito), ma non eliminano la fragilità rispetto ai verbi non-fattivi.
3. La Modellazione della Situazione Precede la Mentalizzazione: L'accuratezza nel riportare le proprietà fattuali di base (Modellazione della Situazione) generalmente precede e supera l'accuratezza FBT. Ciò supporta l'ipotesi che il tracciamento dei fatti della scena sia una precondizione per il ragionamento sulle credenze.
4. Incoerenza nei Modelli di Situazione: Nonostante la precedenza evolutiva, i modelli di situazione si rivelano incoerenti in modi specifici:
   • Bias dell'Antagonista: Quando interrogato sull'Antagonista (che conosce sempre la verità), Olmo2 13B assegna erroneamente le probabilità basandosi sullo stato di conoscenza del "Target" ed è influenzato dai verbi non-fattivi, suggerendo un fallimento nel mantenere una rappresentazione coerente dell'onniscienza dell'Antagonista.
   • Confusione sull'Identità dell'Agente: Il modello fatica a identificare l'agente che ha spostato un oggetto nella posizione iniziale (il Target), tendendo spesso a identificare l'Antagonista, nonostante sia in grado di tracciare con successo le credenze del Target nel FBT.

Significatività e Rivendicazioni
Il paper sostiene che questi risultati offrono una visione sfumata delle capacità degli LLM, suggerendo che, sebbene i modelli più grandi e sufficientemente addestrati costruiscano modelli di situazione "parzialmente coerenti" in una sequenza evolutivamente appropriata, questi modelli mostrano una "sorprendente fragilità".

Gli autori sostengono che il comportamento osservato rifletta probabilmente una collezione di sensibilità sovrapposte a caratteristiche superficiali (come i verbi non-fattivi) e specifici pattern di addestramento, piuttosto che un costrutto di "Teoria della Mente" unificato e robusto. Lo studio conclude che l'input linguistico da solo, anche su scale massicce, può essere insufficiente a produrre un comportamento di mentalizzazione generalizzabile.

Metodologicamente, il paper raccomanda l'adozione di approcci evolutivi e di stress-testing come standard per valutare le capacità degli LLM. Tracciando l'ontogenesi dei comportamenti insieme alle loro precondizioni e testandone la robustezza, i ricercatori possono meglio distinguere tra genuine capacità di tipo cognitivo e euristiche superficiali, affrontando così le lunghe sottostanti preoccupazioni sulla validità di costrutto nei benchmark dell'IA.