Technische Samenvatting: Follow Instructions with Social and Embodied Reasoning (FISER)

Probleemformulering

Het artikel behandelt de uitdaging om AI-agenten in staat te stellen instructies in natuurlijke taal op te volgen in collaboratieve, belichaamde mens-robot-taken. Hoewel standaard grounded language learning instructies naar acties mapt, faalt dit vaak in realistische scenario's waar menselijke instructies inherent ambigu zijn. Mensen gaan ervan uit dat luisteraars over voorkennis beschikken over hun verborgen doelen en intenties, wat leidt tot het weglaten van cruciale informatie voor efficiëntie (Grice 1975; Sperber en Wilson 1986).

De auteurs formaliseren dit als een Human-Robot Markov Decision Process (MDP). In deze setting voert een mens een traject van acties $\tau_{t'}$ uit in een gedeelde omgeving voordat er een instructie in natuurlijke taal $u$ wordt gegeven. De robot moet de verborgen interne beloningsfunctie $R_h$ van de mens en het specifieke subdoel $p^*$ afleiden om de juiste robottaak $G_r$ te bepalen. De kern van de moeilijkheid ligt in het feit dat de instructie $u$ alleen onvoldoende is; de robot moet het gedeeltelijk observeerbare menselijke traject en de context van de omgeving benutten om de aanvraag te disambigueren.

Methodologie: Het FISER-framework

De auteurs stellen Follow Instructions with Social and Embodied Reasoning (FISER) voor, een framework dat de instructie-opvolging expliciet deelt in twee afzonderlijke fasen: Social Reasoning (sociaal redeneren) en Embodied Reasoning (belichaamd redeneren).

1. Modelleren van menselijke intenties

Het framework modelleert het verborgen doel van de mens $G_h$ als een set logische predicaten. De mens selecteert een subdoel $p^*$ (een specifief deel van het algemene plan) dat hulp vereist en genereert een instructie $u$ om een robottaak $G_r$ te specificeren. De robot kan $G_h$, $p^*$ of $G_r$ niet direct observeren; hij moet ze afleiden uit het geobserveerde traject $\tau_{t'}$, de eindtoestand $s_{t'}$ en de instructie $u$.

2. Tweefasig redeneren

• Fase 1: Social Reasoning (Taakherkenning): De robot disambigueert de instructie in natuurlijke taal naar een concrete, uitvoerbare robottaak $G_r$. Deze fase omvat:
  • Robot's Task Recognition: Het schatten van $G_r$ gegeven $s_{t'}$, $\tau_{t'}$ en $u$.
  • Human's Plan Recognition (Optioneel): Een uitgebreidere fase waarin het model expliciet het subdoel $p^*$ van de mens voorspelt (bijv. "boeken in een doos opbergen") voordat het $G_r$ bepaalt. Dit wordt gemodelleerd als het voorspellen van een tuple van logische predicaten (Quantifier, Subjective, Verb, Objective).
• Fase 2: Embodied Reasoning (Gegronde Planning): Zodra $G_r$ is vastgesteld, reduceert het probleem zich tot een standaard doel-geconditioneerde planningstaak. De robot genereert een sequentie van acties $\{a_t\}$ om $G_r$ binnen de omgeving te bereiken.

3. Modelimplementatie

De auteurs implementeren een Transformer-gebaseerd model dat vanaf nul is getraind (vanwege de excessieve tokenlengtes van de inputdata, die de contextlimieten van bestaande kleine pre-trained modellen overschrijden).

• Architectuur: Het model maakt gebruik van $3N$ encoder-lagen. De eerste $2N$ lagen vormen de Social Reasoning-fase, en de laatste $N$ lagen vormen de Embodied Reasoning-fase.
• Modality Interaction: Een gespecialiseerde module fuseert vier inputstromen: World State Description, Human Trajectory, Language Instruction en de eerdere outputs van het model.
• Trainingsstrategieën:
  • End-to-End (E2E): Het model wordt getraind om direct acties te produceren, met een hulp-loss toegepast op tussenliggende voorspellingen.
  • Multi-Staged (MS): De Social Reasoning en Embodied Reasoning modules worden apart getraind. De Social-module voorspelt $G_r$ (en optioneel $p^*$), wat vervolgens als ground-truth input aan de Embodied-module wordt gevoed tijdens de evaluatie.

Experimentele Opzet

Het framework wordt geëvalueerd op de HandMeThat (HMT) benchmark, een tekstgebaseerde huishoudelijke omgeving die ambigue instructie-opvolgingstaken bevat over vier moeilijkheidsgraden:

• Niveau 1: Zuivere planning (geen ambiguïteit).
• Niveau 2: Vereist het afleiden van doelen uit menselijke trajecten.
• Niveau 3: Vereist pragmatisch redeneren om linguïstische ambiguïteit op te lossen.
• Niveau 4: Vereist sterke priors om inherente ambiguïteiten op te lossen waarbij informatie onvoldoende is.

De auteurs vergelijken hun aanpak met:

1. Baselines: Menselijke prestaties, handgecodeerde heuristieken en een Seq2Seq neuraal netwerk.
2. State-of-the-Art (SOTA): De vorige beste methode (Cao et al. 2024) die iteratieve doelinferentie gebruikt.
3. Large Language Models (LLMs): GPT-4 Turbo geprompt met Chain-of-Thought (CoT), inclusief standaard prompting, prompt engineering (PE) en CoT-prompts die de FISER-structuur nabootsen (het voorspellen van tussenliggende stappen).

Belangrijkste Resultaten

De experimenten leveren drie primaire bevindingen op:

1. Scheiding van redeneren verbetert prestaties: Modellen die social en embodied reasoning expliciet scheiden (FISER) presteren significant beter dan end-to-end benaderingen. Het Multi-Staged + FISER model bereikt een gemiddeld succespercentage van 64,5% op de HMT-testset, waarmee een nieuwe state-of-the-art wordt gevestigd.
2. Kleine modellen presteren beter dan geprompte LLM's: Ondanks de toegang van GPT-4 Turbo tot enorme hoeveelheden common-sense kennis, slaagt het er niet in om de prestaties van de vanaf nul getrainde kleine Transformer-modellen te evenaren. Zelfs met CoT-prompting en domeinspecifieke kennis, behaalt GPT-4 minder dan de helft van het succespercentage van het FISER-model op ambigue niveaus (2–4).
3. Analyse van foutmodi:
   • GPT-4 worstelt voornamelijk met Planning Failures (hallucineren van objectlocaties) en Incorrecte Intenties (mismatch tussen common sense en het specifieke menselijke doel).
   • FISER-modellen vermijden planning-fouten en redundante gedragingen effectief, maar hebben nog steeds uitdagingen bij het correct identificeren van het doelobject in zeer ambigue scenario's.
   • Het filteren van irrelevante objecten verbetert de prestaties van GPT-4 licht, maar verkleint de kloof niet, wat aangeeft dat de beperking niet alleen objectselectie is, maar het fundamentele vermogen om het vereiste sociale en belichaamde redeneren uit te voeren.

Betekenis en Claims

Het artikel beweert dat het cruciale inzicht voor het oplossen van ambigue instructie-opvolgingstaken het expliciet modelleren van menselijke intenties als tussenliggende redeneerstappen is. Door de mens te behandelen als een gedeeltelijk observeerbare agent met verborgen doelen, in plaats van slechts een ontlichamde instructiegever, kan het systeem context beter benutten om ambiguïteit op te lossen.

De auteurs stellen dat:

• Pre-training onvoldoende is: Algemene pre-trained LLM's, zelfs met CoT-prompting, missen de specifieke domeinkennis en de redeneerstructuur die vereist zijn voor complexe sociale en belichaamde taken in gedeelde omgevingen.
• Gestructureerd redeneren superieur is: Het opdelen van het probleem in sociale (intentie-inferentie) en belichaamde (actieplanning) redeneerfasen levert betere resultaten op dan monolithische end-to-end training of directe prompting.
• Efficiëntie: Het trainen van een klein, domeinspecifiek model vanaf nul is effectiever en betrouwbaarder dan het proberen te prompten van enorme, algemene LLM's voor deze specifieke collaboratieve taken.

Dit werk vestigt dat voor AI-agenten om werkelijk behulpzaam te zijn in menselijke omgevingen, zij verder moeten gaan dan eenvoudige taal-grounding en sociale redenering moeten integreren die het "waarom" achter menselijke acties afleidt voordat zij het "hoe" uitvoeren.