REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?

Das Paper stellt REI-Bench vor, den ersten Benchmark für robotische Aufgabenplanung, der systematisch vage Referenzäußerungen in menschlichen Anweisungen modelliert, und schlägt eine kontextbasierte kognitive Methode vor, um die durch diese Mehrdeutigkeiten verursachten Planungsfehler zu minimieren und Roboter für nicht-experte Nutzer zugänglicher zu machen.

Das Wesentliche

Stell dir vor, du hast einen hochmodernen Roboter-Hausmeister, der alles verstehen soll, was du sagst. Er ist super schlau, kann kochen, aufräumen und sogar den Abwasch machen. Aber es gibt ein kleines, aber riesiges Problem: Er versteht nicht, was du meinst, wenn du nicht ganz genau bist.

Dieses Papier von Chenxi Jiang und seinem Team an der Nanyang Technological Universität (veröffentlicht bei ICLR 2026) nennt sich REI-BENCH. Es untersucht genau dieses Problem: Was passiert, wenn Menschen dem Roboter vage Anweisungen geben?

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "Es"-Roboter

Stell dir vor, du bist in der Küche und sagst zu deinem Roboter:

• Klare Anweisung: "Nimm den Topf vom Herd und stell ihn auf die Insel."
  • Roboter: "Alles klar, Topf gefunden. Mach ich." (Erfolg!)
• Vage Anweisung: "Nimm den Topf... äh, nimm das schwere Ding und stell es auf die Insel."
  • Roboter: "Hmm, 'schweres Ding'? Ist das der Topf? Oder die schwere Pfanne daneben? Oder vielleicht der schwere Mixer?"

Der Roboter stolpert hier. In der echten Welt sprechen wir oft so: Wir benutzen Wörter wie "es", "das Ding" oder "der schwere Brocken", weil wir denken, der andere weiß genau, was wir meinen. Aber für einen Roboter ist das wie ein Rätsel ohne Lösungsschlüssel.

Das Papier zeigt: Wenn Roboter solche vagen Anweisungen bekommen, versagen sie bis zu 37 % öfter. Das ist, als würde ein Koch 37 % der Gerichte verbrennen, nur weil er nicht genau wusste, welches Gewürz gemeint war.

2. Der Test: REI-BENCH (Die Prüfungsstation)

Die Forscher haben eine neue Testumgebung namens REI-Bench gebaut. Stell dir das wie einen Flug-Simulator für Roboter vor, aber statt Flugzeugen testen sie, wie gut Roboter mit menschlicher Sprache umgehen.

Sie haben drei Schwierigkeitsgrade eingeführt:

• Der "Klare" Modus: Alles wird beim Namen genannt (Topf, Teller, Löffel).
• Der "Gemischte" Modus: Manchmal sagen sie "Topf", manchmal "das Ding".
• Der "Vage" Modus: Alles wird durch "es", "das" oder Beschreibungen wie "das rote Obst" ersetzt.

Außerdem haben sie den Kontext verändert:

• Standard: Der Roboter weiß, worüber ihr gesprochen habt.
• Verwirrt (Noised): Der Roboter bekommt falsche Hinweise (z. B. ihr redet über eine Person namens "Apple", aber im Raum liegt auch ein Apfel-Frucht). Der Roboter muss dann entscheiden: Meint er die Person oder die Frucht?
• Kurz (Short): Der Roboter hat nur einen Teil des Gesprächs mitbekommen und muss raten.

3. Die Entdeckung: Warum Roboter scheitern

Die Forscher haben herausgefunden, dass die Roboter nicht dumm sind, sondern zu sehr auf das "Was" und zu wenig auf das "Wer" achten.

Stell dir vor, der Roboter ist ein sehr schneller Übersetzer, der sofort eine Liste von Aufgaben schreibt ("Nimm X, bringe Y"). Aber er überspringt den Schritt, in dem er nachdenkt: "Moment, was ist eigentlich 'X'?"
Wenn du sagst "Nimm das schwere Ding", denkt der Roboter sofort: "Okay, ich suche nach etwas Schwerem!" und greift vielleicht die falsche Sache, weil er nicht erst in die Vergangenheit schaut, um zu sehen, dass ihr vorher über den Topf gesprochen habt.

4. Die Lösung: TOCC (Der "Denk-und-Schreib"-Ansatz)

Die Forscher haben eine einfache, aber geniale Lösung gefunden, die sie TOCC (Task-Oriented Context Cognition) nennen.

Stell dir vor, du hast einen Assistenten, der zwischen dir und dem Roboter sitzt.

1. Du sagst: "Nimm das schwere Ding."
2. Der Assistent (TOCC) denkt: "Okay, wir haben vorher über den Topf gesprochen. 'Schweres Ding' bedeutet 'Topf'. Ich schreibe das für den Roboter um."
3. Der Assistent sagt zum Roboter: "Nimm den Topf."
4. Der Roboter: "Ah! Jetzt verstehe ich! Topf. Mach ich."

Das ist der Trick: Sie trennen das Verstehen (Was meinte der Mensch?) vom Handeln (Was muss der Roboter tun?).

• Andere Methoden (wie "Chain of Thought") versuchen, den Roboter dazu zu bringen, alles in einem Satz zu denken und zu planen. Das ist wie ein Marathonläufer, der gleichzeitig ein Gedicht schreiben muss – er stolpert.
• TOCC ist wie ein Dolmetscher, der erst die Botschaft klar macht, bevor er sie weitergibt.

5. Das Ergebnis

Mit dieser "Dolmetscher-Methode" (TOCC) konnten die Roboter ihre Erfolgsrate drastisch verbessern. Sie wurden robuster und verstanden auch die "alten" oder "kleinen" Menschen besser, die oft nicht so präzise sprechen wie Technik-Experten.

Zusammenfassung in einem Satz

Dieses Papier sagt uns: Roboter sind super, wenn wir sie wie Computer behandeln, aber sie brauchen einen "Dolmetscher", wenn wir sie wie Menschen behandeln, die oft vage sprechen. Mit der neuen Methode TOCC können Roboter endlich verstehen, was wir meinen, auch wenn wir nur sagen: "Mach das Ding da."

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „REI-BENCH: CAN EMBODIED AGENTS UNDERSTAND VAGUE HUMAN INSTRUCTIONS IN TASK PLANNING?" auf Deutsch:

1. Problemstellung

Roboter-Aufgabenplanung (Task Planning) zielt darauf ab, menschliche Anweisungen in ausführbare Aktionssequenzen zu zerlegen. Obwohl Large Language Models (LLMs) hier beeindruckende Fortschritte erzielt haben, basieren bestehende Ansätze oft auf der idealisierten Annahme, dass menschliche Anweisungen klar, vollständig und unmissverständlich sind.

In der realen Welt, insbesondere bei nicht-experten Nutzern wie Kindern oder älteren Menschen, sind Anweisungen jedoch häufig vage. Ein zentrales Problem ist die ko-referenzielle Vagheit (coreferential vagueness) durch implizite Referenzierungen (Implicit Referring Expressions, REs).

• Explizite REs: Direkte Nennungen (z. B. „den Topf").
• Implizite REs: Pronomen oder beschreibende Ausdrücke, die Kontextwissen erfordern (z. B. „den schweren Gegenstand", „es", „das Gebackene").

Die Studie zeigt, dass aktuelle LLM-basierte Planer bei solchen impliziten Anweisungen versagen, da sie den Kontext nicht korrekt nutzen, um die Referenz auf das richtige Objekt im Simulator zu schließen. Dies führt zu einem signifikanten Rückgang der Erfolgswahrscheinlichkeit (bis zu 36,9 %).

2. Methodik

A. REI-Bench: Ein neues Benchmark-Framework

Die Autoren stellen REI-Bench vor, den ersten systematischen Benchmark, der ko-referenzielle Vagheit in der Robotik-Planung modelliert. Das Framework basiert auf dem ALFRED-Datensatz und dem AI2-THOR-Simulator.

Der Datensatz (REI-Dataset) wird durch eine automatisierte Pipeline generiert und umfasst 2.700 Beispiele mit neun Schwierigkeitsstufen, definiert durch zwei Faktoren:

1. Typ der Referenzierung (REs):
   • Explizit: Alle Objekte werden direkt benannt.
   • Gemischt (Mixed): Anweisungen enthalten implizite REs, der Kontext bleibt explizit.
   • Implizit: Sowohl Anweisung als auch Kontext nutzen weitgehend implizite REs (z. B. Pronomen), was eine tiefe kontextuelle Inferenz erfordert.
2. Kontextgedächtnis (Context Memory):
   • Standard: Vollständige, relevante Dialoghistorie.
   • Verrauscht (Noised): Einführung von „Ambiguous Names" (z. B. ein Familienmitglied namens „Rose" in einer Szene mit einer Blume „Rose"), um die Zuordnung zu erschweren.
   • Kurz (Short): Teilweise Entfernung relevanter Informationen aus dem Kontext, um die Inferenz weiter zu erschweren.

B. Evaluierung bestehender Planer

Es wurden vier führende Frameworks (SayCan, DAG-Plan, HPE, LLM+P) mit sechs verschiedenen LLMs (darunter GPT-4o-mini, LLaMA3.1-8B, Qwen2.5-7B) getestet.

• Ergebnis: Die Planer leiden massiv unter Vagheit. Die Erfolgswahrscheinlichkeit sinkt drastisch, wenn explizite durch implizite REs ersetzt werden.
• Fehleranalyse: Der Hauptfehlergrund ist das Überspringen von Objekten (Object Omission). Der Planer identifiziert das falsche Objekt oder ignoriert das Zielobjekt komplett, anstatt den Kontext zur Klärung zu nutzen.

C. Lösung: Task-Oriented Context Cognition (TOCC)

Um das Problem zu lösen, schlagen die Autoren TOCC vor. Im Gegensatz zu herkömmlichen Prompting-Methoden (wie Chain-of-Thought oder In-Context Learning), die den Planungsprozess verlangsamen oder den Kontext überladen, entkoppelt TOCC das Verständnis von der Planung:

1. Schritt 1 (Kognition): Ein LLM analysiert den Kontext und die vage Anweisung, identifiziert die impliziten Referenzen und schreibt die Anweisung explizit um (z. B. aus „das Gebackene" wird „der heiße Kartoffel").
2. Schritt 2 (Planung): Der eigentliche Planer erhält nur diese klare, umgeschriebene Anweisung und generiert die Aktionssequenz.

Dieser Ansatz vermeidet, dass der Planer während der Generierung der Aktionen gleichzeitig komplexe linguistische Inferenzen durchführen muss.

3. Wichtige Beiträge

1. Systematische Modellierung: Erster Benchmark, der die Auswirkungen von Referenzierungs-Vagheit in der Robotik-Planung systematisch quantifiziert.
2. REI-Dataset: Ein umfassender Datensatz mit 2.700 Beispielen, der verschiedene Kombinationen aus Referenzierungsart und Kontextqualität abdeckt.
3. TOCC-Methode: Eine einfache, aber hocheffektive Methode, die die Robustheit von Planern gegenüber vagen Anweisungen signifikant erhöht, ohne die Rechenzeit massiv zu steigern (im Vergleich zu Chain-of-Thought).
4. Erkenntnisse: Die Studie widerlegt die Annahme, dass das bloße Einbetten eines LLMs in einen Roboter ausreicht, um menschliche Sprache vollständig zu verstehen. Es zeigt, dass LLMs zwar implizite REs verstehen können, dies aber im Planungskontext oft unterdrückt wird, wenn sie nicht explizit dazu aufgefordert werden.

4. Ergebnisse

• Leistungsabfall: Bei Verwendung von impliziten REs sank die Erfolgswahrscheinlichkeit der Baseline-Modelle (z. B. LLaMA3.1-8B + SayCan) um 16,8 % bis 36,9 %.
• Fehlerursache: Der Anstieg der Fehlerrate ist primär auf Objekt-Überschneidungen (Object Omission) zurückzuführen, nicht auf Fehler in der Aktionsausführung.
• Vergleich der Methoden:
  • Aware Prompt (AP): Zeigte nur begrenzte Verbesserungen und führte bei klaren Anweisungen zu Halluzinationen.
  • Chain-of-Thought (CoT): Verbesserte die Ergebnisse, erhöhte aber die Token-Nutzung und Latenz erheblich (ineffizient für Edge-Geräte).
  • In-Context Learning (ICL): Führte bei kleinen Modellen oft zu Leistungsverschlechterungen.
  • TOCC: Erzielte den State-of-the-Art. Auf dem Modell LLaMA3.1-8B + SayCan konnte die Erfolgswahrscheinlichkeit im Durchschnitt um 6,5 % gesteigert werden. TOCC reduzierte die Gesamtfehlerquote und speziell die Objekt-Überschneidungsrate signifikant, bei nur geringfügigem Overhead (ca. 4 % mehr Token, 26 % mehr Latenz im Vergleich zum Baseline, aber deutlich effizienter als CoT).

5. Bedeutung und Ausblick

Diese Arbeit adressiert eine kritische Lücke in der Mensch-Roboter-Interaktion (HRI). Da Roboter zunehmend für vulnerable Gruppen (Kinder, Ältere) eingesetzt werden sollen, die oft vage oder kontextabhängig sprechen, ist die Fähigkeit, implizite Referenzen zu verstehen, essenziell.

• Praktische Relevanz: TOCC bietet einen leicht implementierbaren Weg, um bestehende Robotersysteme robuster zu machen, ohne neue Hardware oder massive Modellgrößen zu benötigen.
• Forschungsbeitrag: Die Studie lenkt den Fokus von reinen Planungsarchitekturen hin auf die Notwendigkeit einer expliziten „Kontext-Kognition" vor der Planung.
• Zukunft: Die Autoren planen, die Forschung auf multimodale Szenarien (visuelle Wahrnehmung) und komplexere, langfristige Aufgaben auszuweiten, da der aktuelle Fokus auf kurzfristigen, einzieligen Aufgaben lag.

Zusammenfassend demonstriert REI-Bench, dass Vagheit ein systemisches Hindernis für aktuelle LLM-Planer ist, und TOCC bietet einen vielversprechenden, effizienten Lösungsansatz, um Roboter für den Einsatz im echten Alltag mit nicht-experten Nutzern zu befähigen.