Riepilogo Tecnico: EnactToM

Enunciato del Problema

I benchmark attuali per la Teoria della Mente (ToM) nei Modelli Linguistici di Grandi Dimensioni (LLM) valutano principalmente la ToM letterale: la capacità di riportare esplicitamente credenze, desideri o intenzioni di un altro agente quando sollecitati. Tuttavia, queste valutazioni non misurano la ToM funzionale, definita come la capacità di agire in modo ottimale basandosi su stati mentali inferiti in ambienti concreti e multi-agente. I benchmark esistenti mancano di tre proprietà critiche:

1. Funzionale: Misurano la segnalazione di credenze piuttosto che l'esecuzione di azioni basate su tali credenze.
2. Concreta (Grounded): Operano in contesti solo testuali o completamente osservabili, mancando dei vincoli spaziali e dell'asimmetria informativa intrinseca alla collaborazione incarnata.
3. Resistente alla saturazione: I benchmark statici diventano banali man mano che i modelli migliorano e mancano di meccanismi per evolvere la difficoltà del compito in base a specifici modi di fallimento del modello.

Di conseguenza, i modelli all'avanguardia spesso dimostrano un'alta accuratezza nelle sonde sulle credenze ma falliscono nel coordinarsi efficacemente in ambienti fisici condivisi, portando ad azioni ridondanti, vincoli ignorati e rischi per la sicurezza.

Metodologia: Il Framework EnactToM

Gli autori introducono EnactToM, un benchmark evolutivo composto da 300 compiti multi-agente incarnati ambientati in un ambiente domestico 3D (HSSD). Il framework è progettato per isolare la ToM funzionale attraverso l'osservabilità parziale, le informazioni private e la comunicazione vincolata.

1. Rappresentazione del Compito e Profondità Epistemica

I compiti sono formalizzati come tuple $T = (S, A, \phi, \delta, M, \Sigma, C)$, dove:

• $S$: Una scena 3D.
• $A$: Un insieme di agenti con posizioni di generazione.
• $\phi$: Una formula obiettivo PDDL che combina predicati fisici (es. is_on_top) con operatori epistemici ($K$).
• $\delta$: Una descrizione del compito in linguaggio naturale condivisa da tutti gli agenti.
• $M$: Meccanismi che modellano vincoli del mondo reale (es. restrizioni delle stanze, larghezza di banda limitata, grafi di comunicazione ristretti).
• $\Sigma$: Segreti privati assegnati a ciascun agente (es. ID specifici di oggetti, limiti di accesso alle stanze) che creano asimmetria informativa.
• $C$: Categoria del compito (Cooperativo o a motivazione mista).

Il benchmark utilizza la profondità epistemica ($d$) per quantificare la complessità della ToM:

• Profondità 1 (Consapevole di sé): Un agente riconosce il proprio divario informativo.
• Profondità 2 (Consapevole dell'altro): Un agente agisce in base a ciò che un partner sa.
• Profondità 3 (Ricorsiva): Un agente ragiona su ciò che un partner sa che un altro agente sa.
  Il benchmark limita la generazione alla profondità 3, poiché una ricorsione più profonda è fragile anche per gli esseri umani.

2. Pipeline di Generazione dei Compiti Agente

Per affrontare la saturazione dei benchmark, EnactToM impiega un agente di codifica autonomo per generare compiti. La pipeline include:

• Autore: L'agente scrive prima l'obiettivo formale PDDL, quindi deriva la narrazione e i segreti, assicurando che l'obiettivo sia la fonte di verità.
• Verifica:
  • Analisi PDDL: Verifica la validità sintattica e l'allineamento della profondità K.
  • Consiglio di Giudici LLM: Due modelli (Kimi-K2.5 e GPT-5.2) valutano indipendentemente i compiti su criteri come la necessità dell'agente, la qualità dei segreti (nessuna fuoriuscita di strategia) e l'utilizzo dei meccanismi.
  • Calibratore Strutturale: Esegue una simulazione di base in cui tutti i segreti sono rivelati a tutti gli agenti. Se il compito fallisce anche con informazioni complete, viene rifiutato come fisicamente irrisolvibile. Ciò garantisce che il successo nell'ambiente standard dipenda dal ragionamento epistemico e non solo dalla navigazione incarnata.
• Evoluzione: L'agente di generazione utilizza "compiti seme" biased verso i modi di fallimento dei modelli all'avanguardia attuali (es. GPT-5.4, O3). Man mano che i modelli migliorano, il pool di semi si sposta verso pattern di fallimento più difficili, evolvendo la difficoltà del benchmark senza modificare l'infrastruttura del generatore.

3. Protocollo di Valutazione

Il benchmark valuta sette modelli all'avanguardia su due split: Standard ($\rho=0.8$ rapporto di fallimento dei semi) e Difficile ($\rho=0.9$).

• Metrica Funzionale: Il successo è definito dal completamento dei predicati fisici in $\phi$. La metrica principale è Pass^3, che richiede il successo in tutte e tre le esecuzioni indipendenti per escludere la fortuna.
• Metrica Letterale: Alla fine di ogni episodio, gli agenti vengono interrogati su credenze specifiche (es. "Cosa pensa agent_0 che sia lo stato del frigorifero?"). Ciò misura l'accuratezza della ToM letterale indipendente dall'azione.

Risultati Chiave

La valutazione rivela un netto divario azione-rapporto tra ToM letterale e funzionale:

• Fallimento Funzionale: Sulla split Difficile, tutti e sette i modelli all'avanguardia valutati hanno ottenuto 0.0% Pass^3 sul completamento funzionale del compito. Nessun modello è riuscito a coordinarsi in modo riproducibile in tre esecuzioni.
• Successo Letterale: Gli stessi modelli hanno mediato il 45.0% sulle sonde letterali sulle credenze sugli stessi compiti. Ad esempio, Gemini-Pro ha ottenuto un'accuratezza letterale del 63.3% ma solo un'accuratezza funzionale del 6.7% sulla split difficile.
• Analisi del Fallimento: Un audit manuale di 40 fallimenti ha identificato che il 93% era dovuto a collassi del coordinamento epistemico, classificati in cinque pattern:
  1. Trattenere informazioni critiche: Gli agenti possiedono fatti decisivi ma li comunicano troppo tardi.
  2. Collasso della catena epistemica: Gli agenti completano azioni fisiche ma non riescono a stabilire che i partner conoscono l'esito.
  3. Sabotaggio/rivelazione di obiettivi privati: Nei compiti a motivazione mista, gli agenti rivelano obiettivi privati prematuramente o sabotano obiettivi condivisi.
  4. Sovraallocazione di messaggi scarsi: Gli agenti sprecano la larghezza di banda limitata su partner irraggiungibili o contenuti a bassa priorità.
  5. Ignorare i vincoli del partner: Gli agenti delegano compiti a partner che non hanno l'accesso alla stanza necessario o le risorse.

Significato e Affermazioni

Il documento afferma che EnactToM fornisce la prima misurazione rigorosa ed evolutiva della ToM funzionale in ambienti incarnati. Il suo significato risiede in:

1. Esporre un Divario Critico: Dimostrare che un'alta performance su domande di credenza basate sul testo non si traduce nella capacità di utilizzare tali credenze per il coordinamento in ambienti vincolati.
2. Definire un Nuovo Standard di Benchmark: Stabilire un framework che è incarnato (ambiente 3D), funzionale (successo basato sull'azione) ed evolutivo (resistente alla saturazione tramite generazione guidata dal fallimento).
3. Fornire Obiettivi Concreti: Decomponendo i fallimenti in specifici collassi del coordinamento epistemico, il benchmark offre obiettivi chiari e azionabili per la futura ricerca sull'allineamento e il ragionamento multi-agente.

Gli autori concludono che, mentre i modelli all'avanguardia possono spesso dichiarare cosa sanno i partner, attualmente mancano della politica per utilizzare tale conoscenza per agire in modo affidabile sotto vincoli di comunicazione e informazione. Il benchmark funge da strumento di misurazione per tracciare i progressi nella chiusura di questo divario.