💬 NLP

Infer Human's Intentions Before Following Natural Language Instructions

Il documento propone FISER, un framework che migliora le prestazioni dell'IA incarnata nei compiti collaborativi attraverso l'inferenza esplicita delle intenzioni umane tramite il ragionamento sociale prima di pianificare le azioni, superando così i metodi end-to-end standard e i forti baseline sul benchmark HandMeThat.

Autori originali: Yanming Wan, Yue Wu, Yiping Wang, Jiayuan Mao, Natasha Jaques

Pubblicato 2026-08-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yanming Wan, Yue Wu, Yiping Wang, Jiayuan Mao, Natasha Jaques

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un robot progettato per aiutare in casa. Affinché questa macchina sia davvero utile, deve comprendere le richieste colloquiali, spesso incomplete, che ci rivolgiamo gli uni agli altri ogni giorno. Quando una persona dice: "Potresti passarmi quello dal divano?" mentre riordina, non sta parlando nel vuoto. Presuppone che l'ascoltatore sappia a cosa si riferisca "quello", basandosi sul contesto condiviso e sulla cronologia di ciò che è appena accaduto. Se la persona ha raccolto libri in una scatola, il robot dovrebbe capire che "quello" si riferisce a un libro, e non a un cuscino o a un telecomando. Questa capacità di leggere tra le righe, di inferire obiettivi nascosti dalle azioni osservate, è la sfida centrale nel rendere l'intelligenza artificiale un vero partner negli ambienti umani. Senza questa abilità, un robot potrebbe seguire le istruzioni letteralmente ma fallire nel risultare utile, perché non riesce a colmare il divario tra un comando vago e l'azione specifica necessaria per completare un compito condiviso.

I ricercatori dell'Università di Washington e del MIT hanno affrontato questo problema con un nuovo approccio chiamato FISER, che sta per Follow Instructions with Social and Embodied Reasoning (Seguire le Istruzioni con Ragionamento Sociale ed Embodied). Il loro lavoro si concentra su una difficoltà specifica: le istruzioni umane sono naturalmente ambigue perché le persone omettono dettagli che danno per scontati. Il team ha testato le proprie idee in un ambiente digitale chiamato HandMeThat, una simulazione testuale di una casa in cui un essere umano e un robot devono lavorare insieme. In questo scenario, un essere umano potrebbe stare organizzando degli oggetti e, a metà dell'opera, chiedere aiuto al robot con una richiesta vaga. Il compito del robot è capire esattamente cosa vuole l'essere umano, non solo ascoltando le parole, ma osservando ciò che l'umano ha fatto e intuendo il suo piano sottostante.

I ricercatori hanno scoperto che il modo più efficace per risolvere questo problema è scomporre l'attività in due fasi distinte. In primo luogo, il robot si impegna nel "ragionamento sociale", in cui si ferma per ipotizzare esplicitamente l'intenzione umana. Osserva la cronologia delle azioni dell'umano e la situazione attuale per decidere cosa la persona stia effettivamente cercando di ottenere. Ad esempio, se l'umano sta mettendo dei libri in una scatola, il robot inferisce che l'obiettivo sia riporre i libri. Solo dopo aver compiuto questa inferenza, il robot passa alla seconda fase, il "ragionamento embodied", dove pianifica i movimenti fisici necessari per consegnare l'oggetto corretto. Questo processo in due fasi è fondamentale perché costringe il sistema a risolvere l'ambiguità del linguaggio prima di tentare il movimento.

Per testare questo approccio, il team ha costruito modelli informatici in grado di eseguire questi passaggi. Hanno confrontato il loro metodo con altri approcci, inclusi il semplice dare istruzioni a un grande modello linguistico pre-addestrato affinché esegua il compito in un unico passaggio, o l'uso di una tecnica chiamata "Chain of Thought" (Catena di Pensiero) per guidare il modello attraverso passaggi di ragionamento. I risultati sono stati chiari: i modelli che separavano esplicitamente il ragionamento sociale dalla pianificazione fisica ottenevano prestazioni significativamente migliori. Nei test più impegnativi, dove le istruzioni erano altamente ambigue, il nuovo metodo ha raggiunto un tasso di successo del 64,5%, stabilendo un nuovo record per questo tipo di compito. Al contrario, anche i modelli linguistici pre-addestrati più potenti, pur essendo guidati da prompt accurati, faticavano a raggiungere lo stesso livello di prestazione, fallendo spesso nel comprendere gli obiettivi nascosti dell'uomo o perdendosi nei dettagli dell'ambiente.

Lo studio ha anche rivelato il motivo per cui i potenti modelli pre-addestrati faticavano. Questi modelli, che hanno letto enormi quantità di testo da Internet, possiedono una conoscenza generale ma mancano della capacità specifica di ragionare sul contesto fisico immediato di un compito condiviso. Quando i ricercatori hanno cercato di aiutare questi modelli filtrando gli oggetti irrilevanti dall'ambiente, i modelli hanno comunque fallito nella pianificazione, suggerendo che il problema non fosse solo l'eccesso di informazioni, ma una difficoltà fondamentale nel collegare gli indizi sociali alle azioni fisiche. I ricercatori hanno concluso che, affinché i robot siano veri assistenti utili, devono essere addestrati a trattare le intenzioni umane come una parte specifica e osservabile del problema da risolvere, piuttosto che sperare che un modello linguistico generale le capisca da solo. Insegnando al sistema di comprendere prima la mente dell'uomo e poi di agire su tale comprensione, i ricercatori hanno dimostrato una via verso agenti artificiali più capaci e cooperativi.

Riepilogo Tecnico: Seguire le Istruzioni con Ragionamento Sociale ed Embodied (FISER)

Formulazione del Problema

Il documento affronta la sfida di abilitare agenti IA a seguire istruzioni in linguaggio naturale in compiti collaborativi tra uomo e robot, di tipo embodied. Mentre l'apprendimento del linguaggio ancorato (grounded language learning) standard mappa le istruzioni sulle azioni, esso spesso fallisce in scenari reali dove le istruzioni umane sono intrinsecamente ambigue. Gli esseri umani presuppongono che gli ascoltatori possiedano conoscenze pregresse riguardo ai loro obiettivi nascosti e alle loro intenzioni, portandoli a omettere informazioni critiche per efficienza (Grice 1975; Sperber e Wilson 1986).

Gli autori formalizzano questo problema come un Processo Decisionale di Markov (MDP) Uomo-Robot. In questo contesto, un essere umano esegue una traiettoria di azioni $\tau_{t'}$ in un ambiente condiviso prima di emetle un'istruzione in linguaggio naturale $u$ . Il robot deve inferire la funzione di ricompensa interna nascosta dell'umano $R_h$ e il sub-obiettivo specifico $p^*$ per determinare il corretto compito del robot $G_r$ . La difficoltà principale risiede nel fatto che l'istruzione $u$ da sola è insufficiente; il robot deve sfruttare la traiettoria umana parzialmente osservabile e il contesto dell'ambiente per disambiguare la richiesta.

Metodologia: Il Framework FISER

Gli autori propongono il Follow Instructions with Social and Embodied Reasoning (FISER), un framework che decompone esplicitamente il problema del seguire le istruzioni in due fasi distinte: Ragionamento Sociale e Ragionamento Embodied.

1. Modellazione delle Intenzioni Umane

Il framework modella l'obiettivo nascosto dell'umano $G_h$ come un insieme di predicati logici. L'umano seleziona un sub-obiettivo $p^*$ (una parte specifica del piano complessivo) che richiede assistenza e genera un'istrazione $u$ per specificare un compito del robot $G_r$ . Il robot non può osservare direttamente $G_h$ , $p^*$ o $G_r$ ; deve inferirli dalla traiettoria osservata $\tau_{t'}$ , dallo stato finale $s_{t'}$ e dall'istruzione $u$ .

2. Ragionamento in Due Fasi

Fase 1: Ragionamento Sociale (Riconoscimento del Compito): Il robot disambigua l'istruzione in linguaggio naturale in un compito concreto ed eseguibile per il robot $G_r$ $G_{r}$ . Questa fase prevede:
- Riconoscimento del Compito del Robot: Stimare $G_r$ dato $s_{t'}$ , $\tau_{t'}$ e $u$ .
- Riconoscimento del Piano Umano (Opzionale): Una fase avanzata in cui il modello predice esplicitamente il sub-obiettivo dell'umano $p^*$ (ad esempio, "riporre i libri in una scatola") prima di determinare $G_r$ . Questo è modellato come la predizione di una tupla di predicati logici (Quantificatore, Soggettivo, Verbo, Oggetto).
Fase 2: Ragionamento Embodied (Pianificazione Ancorata): Una volta stabilito $G_r$ , il problema si riduce a un compito standard di pianificazione condizionata all'obiettivo. Il robot genera una sequenza di azioni $\{a_t\}$ per raggiungere $G_r$ all'interno dell'ambiente.

3. Implementazione del Modello

Gli autori implementano un modello basato su Transformer addestrato da zero (a causa della lunghezza eccessiva dei token dei dati di input, che supera i limiti di contesto dei modelli pre-addestrati esistenti di piccole dimensioni).

Architettura: Il modello utilizza $3N$ strati di encoder. I primi $2N$ strati costituiscono la fase di Ragionamento Sociale, mentre l'ultimo $N$ strato costituisce la fase di Ragionamento Embodied.
Interazione tra Modalità: Un modulo specializzato fonde quattro flussi di input: Descrizione dello Stato del Mondo, Traiettoria Umana, Istruzione Linguistica e Output Passati del Modello.
Strategie di Addestramento:
- End-to-End (E2E): Il modello è addestrato per produrre direttamente le azioni, con una perdita ausiliaria applicata alle predizioni intermedie.
- Multi-Staged (MS): I moduli di Ragionamento Sociale e di Ragionamento Embodied sono addestrati separatamente. Il modulo Social predice $G_r$ (e opzionalmente $p^*$ ), che viene poi fornito come input di verità fondamentale (ground-truth) al modulo Embodied durante la valutazione.

Configurazione Sperimentale

Il framework è valutato sul benchmark HandMeThat (HMT), un ambiente domestico testuale che contiene compiti di seguire istruzioni ambigue attraverso quattro livelli di difficoltà:

Livello 1: Pianificazione pura (nessuna ambiguità).
Livello 2: Richiede l'inferenza degli obiettivi dalle traiettorie umane.
Livello 3: Richiede ragionamento pragmatico per risolvere l'ambiguità linguistica.
Livello 4: Richiede forti conoscenze pregresse (priors) per risolvere ambiguità intrinseche dove le informazioni sono insufficienti.

Gli autori confrontano il loro approccio con:

Baseline: Prestazioni umane, euristiche codificate a mano e una rete neurale Seq2Seq.
Stato dell'Arte (SOTA): Il precedente miglior metodo (Cao et al. 2024) che utilizza l'inferenza iterativa dell'obiettivo.
Large Language Models (LLM): GPT-4 Turbo con prompting Chain-of-Thought (CoT), includendo il prompting standard, il prompt engineering (PE) e i prompt CoT che mimano la struttura di FISER (predicendo i passaggi intermedi).

Risultati Chiave

Gli esperimenti producono tre scoperte principali:

La Separazione del Ragionamento Migliora le Prestazioni: I modelli che separano esplicitamente il ragionamento sociale da quello embodied (FISER) superano significativamente gli approcci end-to-end. Il modello Multi-Staged + FISER raggiunge un tasso di successo medio del 64,5% sul test set di HMT, stabilendo un nuovo stato dell'arte.
I Modelli Piccoli Superano gli LLM con Prompting: Nonostante l'accesso di GPT-4 Turbo a vaste conoscenze di senso comune, esso non riesce a eguagliare le prestazioni dei modelli Transformer di piccola scala addestrati da zero. Anche con il prompting CoT e la conoscenza specifica del dominio, GPT-4 ottiene meno della metà del tasso di successo del modello FISER nei livelli ambigui (2–4).
Analisi dei Modi di Fallimento:
- GPT-4 fatica principalmente con i Fallimenti di Pianificazione (allucinazione della posizione degli oggetti) e gli Intentions Errate (disallineamento del senso comune con l'obiettivo specifico dell'umano).
- I modelli FISER evitano efficacemente i fallimenti di pianificazione e i comportamenti ridondanti, ma affrontano comunque sfide nell'identificare correttamente l'oggetto target in scenari altamente ambigui.
- Il filtraggio degli oggetti irrilevanti migliora leggermente le prestazioni di GPT-4, ma non colma il divario, indicando che il limite non è solo la selezione degli oggetti, ma la capacità fondamentale di eseguire il richiesto ragionamento sociale ed embodied.

Significato e Rivendicazioni

Il documento sostiene che la chiave per risolvere i compiti di seguire istruzioni ambigue sia modellare esplicitamente le intenzioni umane come passaggi di ragionamento intermedi. Trattando l'essere umano come un agente parzialmente osservabile con obiettivi nascosti, anziché come un semplice emittente di istruzioni disincarnato, il sistema può sfruttare meglio il contesto per risolvere l'ambiguità.

Gli autori affermano che:

Il Pre-addestramento è insufficiente: Gli LLM generalisti pre-addestrati, anche con il prompting CoT, mancano della conoscenza specifica del dominio e della struttura di ragionamento richieste per compiti sociali ed embodied complessi in ambienti condivisi.
Il Ragionamento Strutturato è Superiore: Decomporre il problema in fasi di ragionamento sociale (inferenza dell'intento) ed embodied (pianificazione delle azioni) produce risultati migliori rispetto all'addestramento end-to-end monolitico o al prompting diretto.
Efficienza: Addestrare un modello piccolo e specifico per il dominio da zero è più efficace e affidabile che tentare di utilizzare grandi LLM general-purpose tramite il prompting per questi compiti collaborativi specifici.

Il lavoro stabilisce che, affinché gli agenti IA siano davvero utili negli ambienti umani, devono andare oltre il semplice ancoraggio del linguaggio per incorporare il ragionamento sociale che inferisce il "perché" dietro le azioni umane prima di eseguire l' "come".