Theory of Mind in Action: The Instruction Inference Task in Dynamic Human-Agent Collaboration

1. Il Problema

La collaborazione efficace tra umani e agenti AI richiede che l'agente sia in grado di comprendere le istruzioni fornite da un umano (il "principale"). Tuttavia, nelle interazioni naturali, le istruzioni sono spesso incomplete o ambigue. Gli agenti tradizionali tendono a interpretare le istruzioni in modo letterale, fallendo quando mancano informazioni contestuali esplicite.
Il problema centrale affrontato è la capacità di un agente di esercitare la Teoria della Mente (ToM): la capacità di inferire gli stati mentali, le credenze e le intenzioni non dette del principale basandosi sul contesto condiviso e sulle azioni osservate, per interpretare correttamente istruzioni ambigue o incomplete e agire di conseguenza in un ambiente dinamico.

2. Metodologia

2.1. Il Compito: Instruction Inference

Gli autori introducono un nuovo compito chiamato Instruction Inference, progettato per valutare la ToM in un ambiente collaborativo orientato agli obiettivi.

• Ambiente: "Doors, Keys, and Gems". È un ambiente a griglia in cui un agente (Tomcat) assiste un principale (umano simulato) nel raccogliere un gemma. Per farlo, l'agente deve recuperare chiavi e aprire porte.
• Tipologie di Istruzioni: Il dataset include 20 scenari con tre tipi di istruzioni:
  • Chiare: Non violano le massime conversazionali di Grice.
  • Incomplete: Violano la massima della Quantità (mancano dettagli critici).
  • Ambigue: Violano la massima del Modo (hanno più interpretazioni plausibili).
• Obiettivo: L'agente deve inferire l'obiettivo finale del principale (quale gemma vuole), pianificare una sequenza di azioni ottimali (recuperare chiavi, aprire porte) e generare una risposta naturale, basandosi su istruzioni parziali e sul movimento del principale.

2.2. L'Agente: Tomcat

È stato sviluppato un agente basato su Large Language Models (LLM) chiamato Tomcat. Tomcat è stato implementato su tre modelli leader: GPT-4o, DeepSeek-R1 e Gemma-3-27B.
Sono state testate due varianti di prompting per Tomcat:

1. CP (Commonsense Prompt): Si basa su conoscenze di buon senso e due esempi dettagliati di walkthrough del problema (spiegazioni testuali delle fasi iniziali, osservate e completate).
2. Fs-CoT (Few-shot Chain-of-Thought): Utilizza 7 esempi "few-shot" che dimostrano un ragionamento strutturato (Chain-of-Thought) per inferire l'intento, classificare il tipo di istruzione e pianificare le azioni. Questo approccio mira a guidare il modello attraverso un processo di ragionamento esplicito.

2.3. Valutazione Empirica

• Partecipanti: 52 partecipanti umani (studenti STEM) hanno svolto lo stesso compito di Tomcat (variante CP) per stabilire un benchmark umano.
• Metriche di Valutazione:
  • Accuratezza dell'Intento: Corrispondenza tra l'obiettivo inferito e quello reale.
  • Fattibilità e Ottimalità delle Azioni: Capacità di eseguire azioni valide e la loro efficienza (minimizzare i passi).
  • Fattibilità e Ottimalità del Piano: Capacità di prevedere i passi successivi del principale e coordinare le azioni a lungo termine.
  • Accuratezza dell'Istruzione: Capacità di classificare se un'istruzione è chiara o ambigua/incompleta.

3. Contributi Chiave

1. Nuovo Compito (Instruction Inference): Introduzione di un benchmark che valuta la ToM non in scenari narrativi statici, ma in un ambiente collaborativo dinamico dove l'agente deve agire su istruzioni incomplete.
2. Framework Tomcat: Sviluppo di un agente LLM capace di ragionare sul contesto pragmatico e sulle azioni del principale per inferire intenzioni nascoste.
3. Valutazione Comparativa: Un'analisi empirica rigorosa che confronta diverse architetture LLM e strategie di prompting (CP vs Fs-CoT) con le prestazioni umane su 20 scenari complessi.

4. Risultati

4.1. Confronto tra Varianti (Fs-CoT vs CP)

• Fs-CoT supera CP: La variante Fs-CoT ha mostrato prestazioni significativamente superiori alla variante CP su tutte le metriche per GPT-4o e DeepSeek-R1. L'uso di esempi di ragionamento strutturato ha permesso agli agenti di inferire meglio gli obiettivi latenti e pianificare azioni ottimali.
• Gemma-3-27B: Anche se Fs-CoT ha migliorato le prestazioni di Gemma rispetto a CP, il modello è rimasto significativamente inferiore rispetto ai partecipanti umani, suggerendo limiti nella capacità di ragionamento complesso dovuti alle dimensioni del modello.

4.2. Confronto con gli Esseri Umani

• GPT-4o (Fs-CoT): Ha raggiunto prestazioni comparabili a quelle dei partecipanti umani in termini di accuratezza dell'intento, fattibilità e ottimalità del piano. Questo dimostra che, con il prompting corretto, gli LLM possono eguagliare la capacità umana di inferire intenzioni in contesti ambigui.
• DeepSeek-R1: La variante Fs-CoT ha raggiunto prestazioni paragonabili agli umani. Curiosamente, anche la variante CP di DeepSeek-R1 ha mostrato prestazioni solide, avvicinandosi a quelle umane, probabilmente grazie alla sua ottimizzazione interna al ragionamento (GRPO).
• Gemma-3-27B: Ha sottoperformato rispetto agli umani in tutte le condizioni, evidenziando che la sola istruzione strutturata non è sufficiente per modelli di dimensioni ridotte in compiti di ToM complessi.

4.3. Analisi Statistica

I test statistici (McNemar, Kruskal-Wallis, test Chi-quadro) hanno confermato che:

• Le differenze tra Fs-CoT e CP sono spesso statisticamente significative (specialmente per GPT-4o).
• Non ci sono differenze statisticamente significative tra le prestazioni di GPT-4o (Fs-CoT) e DeepSeek-R1 (Fs-CoT) rispetto agli umani, indicando un livello di "parità" nelle capacità di ToM.

5. Significato e Implicazioni

• Validazione della ToM negli LLM: Lo studio dimostra che gli LLM moderni, se adeguatamente istruiti (tramite Few-shot CoT), possiedono capacità di Teoria della Mente sufficienti per collaborare efficacemente con gli umani in scenari reali e dinamici, superando l'interpretazione letterale.
• Importanza del Prompting Strutturato: La metodologia Fs-CoT si è rivelata cruciale per sbloccare il potenziale di ragionamento degli LLM, fungendo da "ponte" per inferire intenzioni non espresse.
• Limiti dei Modelli: Le dimensioni del modello rimangono un fattore critico; modelli più piccoli (come Gemma-3-27B) faticano a generalizzare il ragionamento di ToM anche con esempi strutturati.
• Futuro della Collaborazione: Questi risultati suggeriscono che gli agenti AI possono evolvere da semplici esecutori di comandi a veri collaboratori cognitivi, capaci di gestire l'ambiguità e l'incompleteness delle istruzioni umane, un passo fondamentale verso sistemi multi-agente robusti e naturali.

In sintesi, il paper stabilisce che la combinazione di modelli LLM avanzati (come GPT-4o) con strategie di prompting che simulano il ragionamento umano (Fs-CoT) permette di raggiungere livelli di intelligenza collaborativa paragonabili a quelli umani in compiti di inferenza delle istruzioni.