Sintesi Tecnica: AutoToM: Scalare l'Inferenza Mentale Basata su Modelli tramite la Modellazione Automatica di Agenti

Definizione del Problema

La Teoria della Mente (ToM) — la capacità di inferire stati mentali (obiettivi, credenze, desideri) dal comportamento osservato — è fondamentale per gli agenti socialmente intelligenti. Gli approcci attuali affrontano una dicotomia:

1. LLM basati su Prompt: Sebbene flessibili, i Large Language Models (LLM) sono soggetti a errori sistematici in scenari di ragionamento complessi, a lungo contesto o ricorsivi.
2. Inferenza basata su Modelli (Bayesian Inverse Planning - BIP): Questi metodi sono robusti e interpretabili ma si affidano a modelli di agente rigidi e progettati manualmente. Mancano di generalizzabilità perché richiedono la specifica manuale di variabili mentali e strutture causali per ogni nuovo dominio o scenario.

La sfida principale è sviluppare un metodo unificato e automatizzato che possa eseguire un'inferenza ToM robusta e basata su modelli attraverso diversi domini aperti, senza ingegneria manuale del modello.

Metodologia: AutoToM

AutoToM è un framework che automatizza l'intero processo di Bayesian Inverse Planning (BIP) utilizzando un LLM come backend computazionale. Consiste in due componenti iterative:

1. Pianificazione Inversa Bayesiana Automatica

Dato un modello di agente specifico (definito come una rete bayesiana di variabili mentali latenti $V$ e variabili osservabili $X$), AutoToM esegue l'inferenza per stimare $P(q|X)$, dove $q$ è la variabile mentale target.

• Campionamento delle Ipotesi: Invezione di assumere uno spazio di ipotesi fisso, un LLM genera un piccolo set di alta qualità di ipotesi per ogni variabile latente (ad esempio, possibili credenze o obiettivi) guidato dal contesto e dalla query.
• Riduzione delle Ipotesi: Le ipotesi spurie vengono filtrate valutando le probabilità condizionali locali (ad esempio, scartando ipotesi di osservazione con bassa verosimiglianza dato lo stato).
• Inferenza Bayesiana: L'LLM stima le probabilità condizionali locali (ad esempio, $P(azione | credenza, obiettivo)$). Il sistema poi marginalizza sulle variabili latenti non target per calcolare la distribuzione a posteriori della variabile target. Ciò supporta livelli arbitrari di ragionamento ricorsivo (ad esempio, I-POMDP) senza limiti strutturali predefiniti.

2. Scoperta Automatica del Modello di Agente

Poiché la struttura ottimale del modello di agente è sconosciuta a priori, AutoToM costruisce e affina iterativamente il modello per massimizzare una funzione di utilità $U(M, q) = R(M, q) - C(M)$, dove $R$ è l'entropia negativa dell'inferenza (confidenza) e $C$ è il costo computazionale (complessità del modello).

• Proposta di Modello Iniziale: Un LLM propone un modello iniziale minimo contenente solo le variabili essenziali basate sulla query e sulle variabili osservabili estratte ($X$).
• Aggiustamento del Modello: Se l'utilità iniziale è al di sotto di una soglia, il sistema aggiusta iterativamente il modello:
  • Aggiustamento delle Variabili: Introduce nuove variabili latenti (ad esempio, credenza, obiettivo, osservazione, stato interattivo) a specifici istanti temporali per risolvere l'incertezza dell'inferenza.
  • Aggiustamento degli Istanti Temporali: Espande la finestra di contesto per includere istanti temporali precedenti ($t_{s-1}$) se il contesto attuale è insufficiente.
• Terminazione: Il ciclo continua finché l'utilità del modello non supera una soglia o non è più possibile alcun ulteriore miglioramento significativo.

Contributi Chiave

1. Formulazione Unificata: Una definizione formale dell'inferenza ToM basata su modelli che unifica varie istanze di BIP (MDP, POMDP, I-POMDP) in un unico framework probabilistico.
2. Scoperta Automatica del Modello di Agente: Il primo approccio per scoprire e affinare automaticamente le strutture dei modelli di agente per il BIP, eliminando la necessità di specifiche manuali del modello specifiche per il dominio.
3. Framework Scalabile e Robusto: Un sistema capace di inferire qualsiasi variabile mentale in qualsiasi dominio, supportando livelli di ricorsione arbitrari e adattandosi a scenari multi-agente complessi.

Risultati Sperimentali

AutoToM è stato valutato su cinque diversi benchmark ToM (ToMi, BigToM, MMToM-QA, MuMA-ToM, Hi-ToM), studi cognitivi classici e compiti di assistenza incarnata (embodied assistance).

• Performance nei Benchmark: AutoToM (utilizzando GPT-4o come backend) ha raggiunto risultati allo stato dell'arte in tutti i benchmark, superando significativamente:
  • LLM: Inclusi GPT-4o, Llama 3.1 70B e Gemini 2.0 Pro.
  • Modelli di Ragionamento: Inclusi DeepSeek-R1 e o3-mini-high.
  • Precedenti Metodi Basati su Modelli: Superando BIP-ALM e LIMP, particolarmente nella generalizzazione tra domini e nella gestione di contesti lunghi.
• Robustezza: AutoToM ha dimostrato una volatilità inferiore rispetto ai grandi modelli di ragionamento in condizioni variabili (tipi di domanda, lunghezza del contesto, numero di agenti, profondità di ricorsione).
• Allineamento Cognitivo: Negli studi cognitivi classici (inferenza di obiettivi online, scenari food truck), le distribuzioni a posteriori di AutoToM hanno mostrato un'alta correlazione con i giudizi di confidenza umani, superando significativamente i baseline LLM nei compiti di parziale osservabilità.
• Assistenza Incarnata: Nel benchmark Online Watch-And-Help (O-WAH), AutoToM ha permesso a un agente assistente di ottenere un incremento di velocità del 27,7% nel completamento del compito, superando significativamente i baseline casuali e GPT-4o, grazie a una stima più accurata dell'incertezza degli obiettivi dell'agente principale.
• Efficienza: AutoToM ha ottenuto una precisione superiore con costi di token e tempi di inferenza comparabili o inferiori rispetto ai grandi modelli di ragionamento.

Significato e Rivendicazioni

Gli autori affermano che AutoToM stabilisce un framework scalabile, robusto e interpretabile per la Teoria della Mente artificiale. Automatizzando la scoperta dei modelli di agente, il metodo colma il divario tra la flessibilità degli LLM e il rigore dell'inferenza basata su modelli.

Le rivendicazioni chiave includono:

• Generalizzabilità: A differenza dei precedenti metodi basati su modelli limitati a domini specifici, AutoToM può essere applicato a scenari aperti senza ri-progettazione manuale.
• Interpretabilità: La costruzione esplicita dei modelli di agente consente la diagnosi degli errori di ragionamento (ad esempio, identificando variabili mancanti o istanti temporali errati) e supporta il feedback umano nel ciclo (human-in-the-loop) per correggere le decisioni del modello.
• Fondamento Cognitivo: La capacità di produrre stime di confidenza simili a quelle umane suggerisce che il metodo catturi pattern di inferenza sfumati presenti nella cognizione umana.

Il documento conclude che AutoToM rappresenta una direzione promettente verso la modellazione ToM cognitivamente fondata, pur riconoscendo le attuali limitazioni nell'elaborazione multimodale nativa e il potenziale della proposta di modelli impliciti per ridurre ulteriormente i costi di inferenza.