REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?

Dit paper introduceert REI-Bench, het eerste benchmark voor robottaakplanning dat systematisch de negatieve impact van vage referentiële uitdrukkingen in menselijke instructies analyseert en een effectieve oplossing biedt via taakgerichte contextcognitie om robots toegankelijker te maken voor niet-experts zoals ouderen en kinderen.

De kern

REI-Bench: Waarom robots soms "de pot" niet begrijpen als je zegt "dat ding"

Stel je voor dat je een nieuwe robot in huis hebt. Je zegt tegen hem: "Zet die zware spullen buiten."
Een slimme robot zou moeten weten dat je doelt op de zware pannen in de gootsteen. Maar in dit onderzoek ontdekten de auteurs dat robots vaak de verkeerde dingen pakken, zoals een lichte bord of een kom, omdat ze niet weten wat je precies bedoelt met "die zware spullen".

Dit onderzoek, genaamd REI-Bench, gaat over precies dit probleem: Hoe goed begrijpen robots als mensen vaag praten?

1. Het Probleem: De "Vage Taal" van Mensen

Mensen zijn niet altijd duidelijk. We gebruiken vaak woorden als "het", "dat ding" of "die grote". Taalkundigen noemen dit verwijzende uitdrukkingen.

• Duidelijk: "Pak de pan." (De robot weet precies wat hij moet doen).
• Vaag: "Pak dat ding." (Welk ding? De pan? De pot? De stoel?)

In het echte leven, vooral bij ouderen of kinderen, gebruiken we heel vaak vage taal. We vertrouwen erop dat de luisteraar de context begrijpt (bijvoorbeeld: "We zaten net te koken, dus 'dat ding' is waarschijnlijk de pan"). Robots missen echter vaak die "contextgeheugen". Ze denken dat "dat ding" een willekeurig object is, en dat leidt tot fouten.

2. De Test: Een Speciale Keuken voor Robots

Om dit te testen, hebben de onderzoekers een speciale testbank gemaakt, genaamd REI-Bench.
Stel je dit voor als een gigantisch toneelstuk in een virtuele keuken (een computerprogramma genaamd AI2-THOR).

Ze hebben een database gemaakt met duizenden scenario's waarin ze de instructies van de mens op drie manieren "vervuild" hebben:

1. Duidelijk: "Pak de pan."
2. Gemengd: "Pak de pan, en zet die op het aanrecht." (De robot moet weten dat "die" de pan is).
3. Heel Vaag: "Pak het en zet dat op het aanrecht." (Geen enkele naam, alleen "het" en "dat").

Daarnaast hebben ze de "context" (wat er eerder in het gesprek is gezegd) veranderd:

• Normaal: Alles wat je nodig hebt om te begrijpen wat "het" is, is er.
• Met Ruis: Ze voegden verwarrende namen toe. Bijvoorbeeld, er is een pan, maar er is ook een persoon genaamd "Pan". De robot moet niet denken dat hij de persoon moet pakken!
• Kort: Ze haalden belangrijke informatie uit het gesprek weg, zodat de robot moet raden.

3. De Resultaten: Robots Struikelen over Vage Taal

Toen ze de beste robot-robots (die op grote taalmodellen draaien) op deze test lieten, was het resultaat schokkend:

• Als de instructies duidelijk waren, werkten de robots redelijk goed.
• Zodra de instructies vaag werden ("dat ding"), daalde het succespercentage met wel 37%.
• De robots maakten vooral één grote fout: ze vergeten het juiste object. Ze dachten dat "het" een bord was in plaats van de pan, en pakten het verkeerde ding.

Het is alsof je een kok vraagt: "Gebruik dat ingrediënt voor de soep", maar de kok pakt per ongeluk suiker in plaats van zout, omdat hij niet weet wat "dat ingrediënt" is.

4. De Oplossing: TOCC (De "Vertaler")

De onderzoekers probeerden eerst standaard trucs, zoals de robot vragen om "eerst na te denken" (Chain-of-Thought) of voorbeelden te geven. Dat hielp een beetje, maar niet genoeg.

Daarom bedachten ze een slimme nieuwe methode: TOCC (Task-Oriented Context Cognition).
Je kunt dit zien als het inhuren van een tussenpersoon of een vertaler.

• Hoe het werkt: Voordat de robot de daadwerkelijke taak uitvoert (bijv. lopen en pakken), sturen ze de instructie eerst naar een "vertaler".
• De taak van de vertaler: "Kijk naar wat de mens eerder gezegd heeft. Als hij zegt 'zet dat ding neer', vertaal dat dan naar 'zet de pan neer'."
• Het resultaat: De robot krijgt daarna een heel duidelijke opdracht: "Pak de pan en zet hem neer."

Dit klinkt simpel, maar het werkt wonderbaarlijk goed. Door de vage taal eerst op te lossen voordat de robot gaat plannen, stijgt het succespercentage weer enorm. Het is alsof je eerst de vertaling van een recept maakt voordat je begint met koken, zodat je niet per ongeluk suiker in de soep doet.

Conclusie

Dit onderzoek laat zien dat robots niet alleen slim moeten zijn in het uitvoeren van taken, maar ook slim moeten zijn in het begrijpen van onze menselijke onduidelijkheid.

Als we robots echt willen laten helpen bij ouderen of kinderen (die vaak vaag praten), moeten we ze niet alleen leren wat ze moeten doen, maar ook leren wat we bedoelen met onze vage woorden. De methode TOCC is een belangrijke stap in die richting: eerst de boodschap helder maken, dan pas de robot aan het werk zetten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "REI-BENCH: CAN EMBODIED AGENTS UNDERSTAND VAGUE HUMAN INSTRUCTIONS IN TASK PLANNING?" in het Nederlands.

Titel: REI-BENCH: Kunnen geëmbodieerde agenten vage menselijke instructies begrijpen in taakplanning?

Auteurs: Chenxi Jiang, Chuhao Zhou, Jiangfei Yang (Nanyang Technological University)
Publicatie: ICLR 2026

---

1. Het Probleem

Hoewel Large Language Models (LLM's) indrukwekkende prestaties leveren in robotische taakplanning, gaan bestaande systemen uit van een idealistische aanname: menselijke instructies zijn altijd helder, compleet en eenduidig. In de realiteit, vooral bij niet-expert gebruikers zoals ouderen en kinderen, zijn instructies vaak vaag.

De kern van dit probleem ligt in coreferentiële vaagheid (coreferential vagueness). Mensen gebruiken vaak impliciete verwijzende uitdrukkingen (Referring Expressions of REs), zoals "het", "dit zware ding" of "de verwarmde", in plaats van expliciete objectnamen (bijv. "de pan").

• Huidige uitdaging: LLM-based planners falen vaak omdat ze deze impliciete verwijzingen niet correct kunnen oplossen op basis van de context. Dit leidt tot het selecteren van het verkeerde object (bijv. een bord in plaats van de pan) en het mislukken van de taak.
• Onderzoeksvraag: Hoe beïnvloedt de vaagheid van REs in menselijke instructies de prestaties van LLM-based robotplanners, en hoe kunnen we dit probleem oplossen?

2. Methodologie

De auteurs introduceren een systematische aanpak bestaande uit een nieuwe dataset, een benchmark en een nieuwe oplossing.

A. REI-Dataset en REI-Bench Benchmark

Om het probleem te bestuderen, hebben de auteurs de REI-Bench (Referring Expressions Instruction Benchmark) ontwikkeld, gebaseerd op de AI2-THOR simulator en het ALFRED-dataset.

• Data Generatie: Ze hebben een automatisch proces opgezet om instructies te genereren met verschillende niveaus van vaagheid.
• Twee Dimensies van Vaagheid:
  1. Type Referentie (REs):
     • Expliciet: Directe objectnamen (bijv. "de pan").
     • Gemengd: Een mix van expliciete en impliciete termen.
     • Impliciet: Alleen vage termen (bijv. "die pan" of "het ding").
  2. Contextgeheugen (Context Memory):
     • Standaard: Volledige, relevante dialogen.
     • Geroosterd (Noised): Dialogen met irrelevante informatie of naamverwarring (bijv. het woord "Apple" als merknaam vs. het fruit).
     • Kort (Short): Dialogen waarbij cruciale informatie ontbreekt.
• Resultaat: Een dataset van 2.700 instructies verdeeld over 9 niveaus van moeilijkheid (combinatie van RE-type en context).

B. Evaluatie Framework

De auteurs evalueren 4 state-of-the-art planning frameworks (SayCan, DAG-Plan, HPE, LLM+P) met 6 verschillende LLM's (waaronder GPT-4o-mini, LLaMA3.1-8B, Qwen2.5-7B). Ze meten de succespercentages bij het uitvoeren van taken onder de verschillende vaagheidscondities.

C. Oplossing: Task-Oriented Context Cognition (TOCC)

Na analyse van de fouten (waarbij planners vaak het verkeerde object kiezen in plaats van de hele planreeks verkeerd te maken), stellen de auteurs TOCC voor.

• Principe: TOCC ontkoppelt het begrijpen van de instructie van het daadwerkelijke plannen.
• Werkwijze:
  1. De LLM analyseert eerst de vage instructie in combinatie met het contextgeheugen.
  2. De LLM herschrijft de vage instructie naar een duidelijke, expliciete instructie (bijv. van "zet het erop" naar "zet de verwarmde aardappel in de gootsteen").
  3. Deze herschreven instructie wordt vervolgens gebruikt als input voor de planner om de actie te genereren.
• Voordeel: Dit voorkomt dat de planner te veel aandacht besteedt aan het oplossen van vaagheid tijdens het genereren van complexe actieplannen, wat de robuustheid verhoogt.

3. Belangrijkste Resultaten

• Prestatieverval door Vaagheid: Bestaande planners presteren aanzienlijk slechter bij vage instructies. De succespercentages dalen met 7,4% tot 36,9% afhankelijk van het model en het niveau van vaagheid.
• Oorzaak van Falen: De analyse toont aan dat de meeste fouten (tot wel 40% meer) worden veroorzaakt door object-omissie (het planner herkent het doelobject niet), niet door fouten in de uitvoering van de acties zelf.
• Effectiviteit van TOCC:
  • TOCC behaalt de State-of-the-Art (SOTA) prestaties, met een gemiddelde stijging van 6,5% in succespercentage ten opzichte van de baseline (LLaMA3.1-8B + SayCan).
  • TOCC presteert beter dan andere methoden zoals Aware Prompting (AP), Chain-of-Thought (CoT) en In-Context Learning (ICL).
  • CoT en ICL leiden vaak tot langere prompts en hogere latentie, wat minder geschikt is voor op robotapparatuur draaiende kleine modellen, terwijl TOCC efficiënter is.
• Impact van Context: Interessant genoeg heeft het toevoegen van ruis (Noised Context) of het weglaten van informatie (Short Context) minder invloed op de prestaties dan het gebruik van impliciete REs. De vaagheid van de taal zelf is de grootste bottleneck.

4. Bijdragen

1. Systematische Studie: Dit is het eerste werk dat systematisch de impact van instructie-vaagheid (specifiek coreferentiële vaagheid) op robotische taakplanning modelleert.
2. REI-Bench Benchmark: Een nieuwe benchmark met 9 niveaus van moeilijkheid die realistische HRI-scenario's (Human-Robot Interaction) nabootst, inclusief multi-turn dialogen en vage uitdrukkingen.
3. TOCC Methode: Een eenvoudige maar effectieve methode die de interpretatie van vaagheid ontkoppelt van de planning, waardoor de robuustheid van planners aanzienlijk wordt verbeterd zonder complexe architectuurwijzigingen.

5. Betekenis en Toekomstperspectief

Dit werk is cruciaal voor de ontwikkeling van toegankelijke robots voor niet-expert gebruikers (zoals ouderen en kinderen), die vaak vage taal gebruiken. Het toont aan dat het simpelweg een LLM in een robot plaatsen niet voldoende is; systemen moeten specifiek worden ontworpen om contextuele vaagheid te hanteren.

De auteurs benadrukken dat toekomstig werk zich moet richten op:

• Het uitbreiden naar langere horizon-taken.
• Het integreren van visuele en ruimtelijke waarneming (multimodale informatie) om ook andere vormen van vaagheid (zoals deictische uitdrukkingen: "daar", "hier") op te lossen.
• Validatie op fysieke robots in plaats van alleen simulatoren.

Samenvattend biedt REI-Bench een fundamenteel inzicht in de beperkingen van huidige LLM-planners en biedt TOCC een praktische route naar robuustere, mensvriendelijke robots.