Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points

Sintesi Tecnica: Oltre Sally-Anne: Valutare la Teoria della Mente negli LLM utilizzando Punti di Schelling Epistemici

Definizione del Problema
Le attuali valutazioni della Teoria della Mente (ToM) nei Large Language Models (LLM) si basano prevalentemente su test cognitivi statici e testuali adattati dalla psicologia umana, come il compito della falsa credenza di Sally-Anne. Gli autori sostengono che questi benchmark soffrano di due critiche falle metodologiche:

1. Contaminazione dal Pre-training: Gli LLM potrebbero "giocare d'astuzia" in questi test riconoscendo le strutture dei compiti o gli indizi linguistici nei loro dati di addestramento, piuttosto che inferire genuinamente gli stati mentali.
2. Mancanza di Robustezza Funzionale: Un'elevata prestazione sui benchmark statici non indica necessariamente la capacità di applicare la ToM in contesti dinamici e naturalistici. Nello specifico, rimane incerto se i modelli possano tracciare coerentemente gli stati mentali per prendere decisioni contestualmente appropriate in scenari interattivi.

La letteratura esistente suggerisce che, sebbene gli LLM ottengano buone prestazioni in questi compiti, la robustezza delle loro inferenze e la loro capacità di ragionamento sociale generalizzato e interattivo rimangono non verificate.

Metodologia: Il Compito EAST (Epistemic (A)symmetry Schelling Task)
Per affrontare queste limitazioni, gli autori introducono EAST, un gioco di coordinamento testuale a due giocatori progettato per testare la ToM funzionale.

• Meccaniche del Gioco: Due agenti LLM, ciascuno con una distinta persona assegnata (ad esempio, un sarto e un chirurgo), ricevono un elenco di quattro parole: due parole specifiche della persona ($w_{p1}, w_{p2}$), una parola condivisa ($w_s$) e una parola non correlata ad alta frequenza ($w_u$). Gli agenti devono selezionare indipendentemente la stessa parola senza comunicare.
• Condizioni Epistemiche: Il compito varia la "trasparenza epistemica" tra i giocatori per testare diversi livelli di ragionamento sociale:
  • Simmetrica: Entrambi i giocatori conoscono l'identità dell'altro. La soluzione normativa è la parola condivisa ($w_s$).
  • Asimmetrica: Solo il Giocatore 1 conosce l'identità del Giocatore 2; il Giocatore 2 è "cieco". La soluzione normativa richiede che il Giocatore 1 modelli l'ignoranza del Giocatore 2 e selezioni la parola della persona del Giocatore 2 ($w_{p2}$), mentre il Giocatore 2 deve anticipare l'accomodamento del Giocatore 1.
  • Zero Conoscenza: Nessuno dei due giocatori conosce l'identità dell'altro. La soluzione normativa è la parola non correlata ($w_u$), poiché qualsiasi associazione specifica della persona è epistemicamente arbitraria.
• Configurazione Sperimentale: Lo studio ha valutato 14 modelli, da 1B a 31B di parametri (inclusi modelli open-weights come Gemma, Llama, Mistral, Qwen e DeepSeek) e modelli frontier (Gemini 3.1 Pro). Ogni modello ha giocato 90 partite attraverso 10 scenari, tre condizioni epistemiche e tre strategie di prompting (Diretta, Standard Chain-of-Thought e Strategic ToM).
• Analisi: Gli autori hanno impiegato un approccio "LLM-as-a-judge" per annotare le tracce di ragionamento in termini di profondità della ToM (che varia da un'inferenza superficiale alla ToM ricorsiva) e coerenza con i vincoli epistemici. Hanno inoltre categorizzato i fallimenti di coordinamento in specifici errori cognitivi, inclusi errori di identità/semantica, errori di tracciamento epistemico e fallimenti di esecuzione strategica.

Risultati Chiave

1. Gap di Capacità: Esiste un significativo gap di prestazione tra i modelli frontier e i modelli più piccoli o open-weights. Solo i modelli frontier (specificamente Gemini 3.1 Pro) sono riusciti a navigare con successo le richieste di ragionamento sociale in tutte le condizioni. I modelli più deboli hanno sistematicamente fallito nelle condizioni più impegnative dal punto di vista cognitivo, ovvero l'Asimmetrica e lo Zero Conoscenza.
2. Il Tracciamento Epistemico come Collo di Bottiglia: Il principale driver del fallimento è stato identificato come errori di tracciamento epistemico. I modelli hanno frequentemente confuso la propria conoscenza privata con la conoscenza mutua o non sono riusciti a rappresentare accuratamente lo stato epistemico del partner. Ad esempio, nella condizione Asimmetrica, i giocatori che "sapevano" non sono riusciti a rendere conto dell'ignoranza del giocatore "cieco", selezionando la propria parola della persona invece di quella del partner.
3. Ragionamento vs. Prestazione: Sebbene il Chain-of-Thought (CoT) e il prompting Strategic ToM abbiano ridotto i match "accidentali" o guidati da euristiche, il ragionamento più profondo si è tradotto in un coordinamento efficace solo per i modelli più capaci. I modelli più deboli spesso hanno intrapreso un ragionamento ToM incoerente che contraddiceva i vincoli epistemici del prompt.
4. Limiti dei Benchmark Statici: Lo studio dimostra che l'alta prestazione sui benchmark tradizionali non correla con la capacità di eseguire un'inferenza sociale robusta in contesti interattivi in cui gli agenti devono sopprimere i bias autoreferenziali per raggiungere il coordinamento.

Significatività e Contributi
Il documento apporta quattro contributi primari:

1. Benchmark EAST: Introduce un nuovo benchmark multi-agente che mitiga la contaminazione dal pre-training e valuta il ragionamento sociale robusto sotto diversi vincoli epistemici.
2. Evidenza Empirica dei Gap: Rivela un significativo gap di capacità nel ragionamento sociale robusto attraverso l'attuale panorama dei modelli, evidenziando come anche i modelli di grandi dimensioni fatichino con la ToM funzionale in ambienti di informazione asimmetrica.
3. Analisi Diagnostica: Attraverso l'analisi delle tracce di ragionamento, identifica gli errori di tracciamento epistemico (specificamente il fallimento nel separare la propria conoscenza da quella altrui) come un collo di bottiglia critico.
4. Direzioni Future: Gli autori propongono la robustezza epistemica — la capacità di mantenere rappresentazioni robuste degli stati epistemici altrui e di separarli da quelli propri — come un obiettivo concreto per la futura valutazione e l'allineamento dei modelli. Suggeriscono che l'addestramento in ambienti interattivi multi-agente, dove la prospettiva è intrinseca al successo, possa essere più efficace rispetto al fine-tuning su narrazioni statiche.

Gli autori mantengono una posizione modesta, notando che EAST è una prima iterazione consolidata del paradigma. Riconoscono i limiti, come l'uso di coppie omogenee (self-play) e la mancanza di informazioni ingannevoli, suggerendo che il lavoro futuro dovrebbe esplorare interazioni eterogenee e rumore avversariale per testare ulteriormente queste capacità.