Riepilogo Tecnico: OmniToM

Enunciato del Problema

I benchmark attuali per la valutazione della Teoria della Mente (ToM) nei Modelli Linguistici di Grandi Dimensioni (LLM) si basano prevalentemente sul rispondere a domande finali (QA). In questo paradigma, a un modello viene presentata una narrazione e viene valutato esclusivamente in base alla correttezza della risposta finale a una query di ragionamento sociale (ad esempio, "Dove guarderà Bob?"). Gli autori sostengono che questo approccio oscura il processo cognitivo sottostante: un modello potrebbe rispondere correttamente sfruttando strategie scorciatoia o artefatti del benchmark senza effettivamente costruire le necessarie rappresentazioni degli stati mentali multi-attoriali.

Nello specifico, la QA finale non rivela se un modello è in grado di tracciare:

• Cosa ciascun attore considera vero rispetto a ciò che è oggettivamente reale.
• Come l'informazione è distribuita (chi ha accesso a cosa).
• La natura ricorsiva delle credenze (ad esempio, "Bob crede che Alice pensi...").
• La distinzione tra affermazioni esplicite e inferenze implicite.

Di conseguenza, i benchmark esistenti non possono diagnosticare perché un modello fallisce: se ha ignorato un attore rilevante, aggiornato una credenza in modo errato, identificato male l'accesso alle informazioni o etichettato erroneamente la fonte di uno stato mentale.

Metodologia

Formulazione del Benchmark OmniToM

OmniToM colma questa lacuna spostando la valutazione dalle risposte finali alla modellazione esplicita della struttura delle credenze. Il benchmark opera la ToM come un processo in due fasi:

1. Fase 1: Estrazione delle Credenze

   • Compito: Data una storia $S$, il modello deve estrarre un insieme strutturato di proposizioni di credenza $B$.
   • Struttura: Ogni proposizione è una tupla $(a_i, b_i, o_i)$, dove $a_i$ è l'attore (o "mondo" per i fatti narrati), $b_i$ è il contenuto minimo della credenza e $o_i$ è l'ordine ricorsivo ($0$ per i fatti del mondo, $1$ per le credenze del primo ordine, $2+$ per le credenze di ordine superiore).
   • Obiettivo: Recuperare l'insieme completo delle credenze specifiche per l'attore rilevanti per la dinamica sociale della storia, inclusi i fatti del mondo, le credenze del primo ordine sul mondo e le credenze di ordine superiore sugli stati mentali di altri attori.

2. Fase 2: Etichettatura delle Credenze

   • Compito: Date le proposizioni estratte, il modello assegna un'etichetta di schema a sette dimensioni a ciascuna.
   • Schema: Basato su ATOMS (Abilità nello Spazio della Teoria della Mente), lo schema scompone ogni proposizione in:
     • Ordine: Profondità ricorsiva ($0$–$3$).
     • Stato di Verità: Allineamento con la realtà narrativa (Vero, Falso, Sconosciuto).
     • Accesso alla Conoscenza: Distribuzione delle informazioni (Privato, Condiviso, Pubblico).
     • Rappresentazione: Esplicito vs. Implicito (dichiarato vs. inferito).
     • Tipo di Contenuto: Argomento (Posizione, Epistemico, Desiderio, Emozione, ecc.).
     • Fonte Mentale: Metodo di acquisizione (Narrazione, Percezione, Memoria, Testimonianza, Inferenza, Immaginazione).
     • Contesto: Condizioni di inquadramento (Ingannevole, Temporale, Controfattuale, Neutro).

Costruzione del Benchmark

• Dati di Origine: Derivati da ToMBench, mantenendo 895 storie da sette categorie ad alto volume (ad esempio, Compito della Falsa Credenza, Riconoscimento di Faux-pas, Compito di Indicazione).
• Pipeline di Annotazione: A causa dell'alto costo dell'annotazione manuale per 22.343 proposizioni di credenza, gli autori hanno impiegato una pipeline calibrata su umani e assistita da LLM.
  • Un sottoinsieme di calibrazione (21 storie) è stato annotato manualmente da esperti di dominio.
  • Giudice Semantico: GPT-5 è stato selezionato come giudice semantico per la valutazione della Fase 1 in base al suo alto accordo (72,03%) con le decisioni di allineamento semantico umano.
  • Modello di Annotazione: Claude-Sonnet-4.5 è stato selezionato come modello principale di annotazione dopo aver ottenuto le prestazioni di calibrazione più forti (72,88% F1 nella Fase 1, 93,62% di accuratezza nella Fase 2).
• Scala: Il benchmark finale contiene 895 storie e 22.343 proposizioni di credenza etichettate, per un totale di 156.401 etichette di schema.

Protocollo di Valutazione

• Fase 1 (Estrazione): Misurata tramite punteggio F1 utilizzando una metrica di allineamento semantico (MatchCount) piuttosto che una corrispondenza stringa stretta. Questo tiene conto del parafrasaggio e delle credenze composte.
• Fase 2 (Etichettatura): Misurata tramite accuratezza di corrispondenza esatta per le etichette dello schema a sette dimensioni.
• Baseline: Valutate su diversi modelli open- e closed-source (ad esempio, Llama-3.3, Mistral-Large, GPT-5, Gemini-2.5 Flash) in condizioni zero-shot utilizzando prompt TELeR di Livello 3.

Risultati Chiave

La valutazione rivela un collo di bottiglia coerente nel tracciamento delle informazioni specifiche per l'attore in tutti i modelli:

1. Prestazioni di Estrazione (Fase 1):

   • Il modello con le prestazioni migliori ha raggiunto un F1 macro del 57,69%.
   • Le prestazioni calano significativamente passando dall'Ordine 0 (fatti del mondo) all'Ordine 1 e all'Ordine 2+ (credenze degli attori). I modelli faticano a mappare i fatti della storia su prospettive specifiche degli attori.

2. Prestazioni di Etichettatura (Fase 2):

   • L'accuratezza complessiva di etichettatura ha raggiunto l'85,95%.
   • Tuttavia, gli errori non sono uniformi. Le accuratezze più basse si riscontrano nell'Accesso alla Conoscenza (56,13–74,59%) e nella Rappresentazione (54,33–87,58%).
   • Le credenze di Ordine 1 sono le più difficili da etichettare correttamente (71,2% di accuratezza complessiva), in particolare per quanto riguarda chi ha accesso alle informazioni e se una credenza è esplicita o inferita.

3. Identificazione del Collo di Bottiglia:

   • Il principale modo di fallimento non è una mancanza di comprensione generale del linguaggio, ma un fallimento nel tracciare le condizioni informative: determinare quali fatti conosce ciascun attore, come è stata acquisita quella conoscenza (percezione vs. inferenza) e come evolve nel tempo.
   • I modelli spesso non riescono a distinguere tra ciò che è vero nel mondo e ciò che un attore crede essere vero, specialmente quando quella credenza è obsoleta o falsa.

Significato e Affermazioni

Il documento afferma che OmniToM fornisce un necessario spostamento dalla valutazione basata sugli esiti a quella basata sui processi della ToM negli LLM.

• Potere Diagnostico: Rendendo ispezionabili le rappresentazioni degli stati mentali, OmniToM permette ai ricercatori di individuare fallimenti specifici nel ragionamento (ad esempio, "il modello non ha aggiornato la credenza perché ha identificato male l'accesso alle informazioni") piuttosto che semplicemente osservare una risposta errata.
• Esposizione delle Limitazioni: Il benchmark espone una limitazione che la QA finale può nascondere: un ragionamento ToM robusto richiede il tracciamento delle condizioni informative che danno origine agli stati mentali, una capacità con cui gli LLM attuali faticano.
• Ambito: Gli autori inquadrano modestamente OmniToM come uno strumento di valutazione per scenari controllati e basati sul testo. Affermano esplicitamente che il benchmark non certifica l'intelligenza sociale nel mondo reale, l'affidabilità interpersonale o la sicurezza in contesti ad alto rischio (ad esempio, domini clinici o legali).
• Lavori Futuri: Gli autori suggeriscono che le direzioni future includono l'espansione a narrazioni più ricche, set di estrazione più ampi con audit umano e la gestione dell'incapsulamento delle credenze oltre l'ordine 3, riconoscendo al contempo le limitazioni attuali nel ragionamento multimodale e nel tracciamento a lungo termine.

In sintesi, OmniToM dimostra che, sebbene gli LLM possano spesso recuperare i fatti narrativi, attualmente mancano del meccanismo robusto per trasformare quei fatti in rappresentazioni accurate, specifiche per l'attore e in evoluzione temporale degli stati mentali.