💬 NLP

Infer Human's Intentions Before Following Natural Language Instructions

Das Paper schlägt FISER vor, ein Framework, das die Leistung von Embodied AI bei kollaborativen Aufgaben verbessert, indem es durch soziales Schließen explizit menschliche Intentionen erschließt, bevor es Aktionen plant, und dadurch Standard-End-to-End-Methoden sowie starke Baselines auf dem HandMeThat-Benchmark übertrifft.

Ursprüngliche Autoren: Yanming Wan, Yue Wu, Yiping Wang, Jiayuan Mao, Natasha Jaques

Veröffentlicht 2026-08-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yanming Wan, Yue Wu, Yiping Wang, Jiayuan Mao, Natasha Jaques

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Roboter vor, der im Haushalt helfen soll. Damit diese Maschine wirklich nützlich ist, muss sie die alltäglichen, oft unvollständigen Aufforderungen verstehen, die wir untereinander austauschen. Wenn ein Mensch beim Aufräumen sagt: „Könntest du mir das von der Couch reichen?“, spricht er nicht im luftleeren Raum. Er setzt voraus, dass der Zuhörer weiß, worauf sich „das“ bezieht, basierend auf dem gemeinsamen Kontext und der Vorgeschichte dessen, was gerade geschehen ist. Wenn die Person gerade Bücher in eine Kiste gesammelt hat, sollte der Roboter verstehen, dass „das“ ein Buch bedeutet und nicht ein Kissen oder eine Fernbedienung. Diese Fähigkeit, zwischen den Zeilen zu lesen und verborgene Ziele aus beobachteten Handlungen abzuleiten, ist die Kernherausforderung, um Künstliche Intelligenz zu einem echten Partner in menschlichen Umgebungen zu machen. Ohne diese Fähigkeit würde ein Roboter Anweisungen zwar wörtlich befolgen, aber dennoch nicht hilfreich sein, da er die Lücke zwischen einer vagen Aufforderung und der spezifischen Handlung, die nötig ist, um eine gemeinsame Aufgabe abzuschließen, nicht überbrücken kann.

Forscher der University of Washington und des MIT haben dieses Problem mit einem neuen Ansatz namens FISER angegangen, was für „Follow Instructions with Social and Embodied Reasoning“ steht. Ihre Arbeit konzentriert sich auf eine spezifische Schwierigkeit: Menschliche Anweisungen sind von Natur aus mehrdeutig, weil Menschen Details weglassen, von denen sie annehmen, dass sie offensichtlich sind. Das Team testete ihre Ideen in einer digitalen Umgebung namens HandMeThat, einer textbasierten Simulation eines Haushalts, in der ein Mensch und ein Roboter zusammenarbeiten müssen. In diesem Szenario könnte ein Mensch gerade Gegenstände ordnen und mitten im Prozess den Roboter mit einer vagen Bitte um Hilfe ansprechen. Die Aufgabe des Roboters besteht darin, genau herauszufinden, was der Mensch möchte – nicht nur durch das Zuhören auf die Worte, sondern indem er beobachtet, was der Mensch getan hat, und dessen zugrunde liegenden Plan errät.

Die Forscher fanden heraus, dass der erfolgreichste Weg zur Lösung darin besteht, das Problem in zwei getrennte Schritte zu unterteilen. Zuerst betreibt der Roboter „soziales Denken“ (social reasoning), wobei er innehält, um explizit die Absicht des Menschen zu erahnen. Er betrachtet die Historie der Handlungen des Menschen und die aktuelle Situation, um zu entscheiden, was die Person tatsächlich erreichen will. Wenn der Mensch beispielsweise gerade Bücher in eine Kiste gelegt hat, schließt der Roboter daraus, dass das Ziel darin besteht, die Bücher zu verstauen. Erst nachdem er diese Schlussfolgerung gezogen hat, geht der Robot zum zweiten Schritt über, dem „verkörperten Denken“ (embodied reasoning), bei dem er die physischen Bewegungen plant, die nötig sind, um das richtige Objekt zu übergeben. Dieser zweistufige Prozess ist entscheidend, da er das System dazu zwingt, die Mehrdeutigkeit der Sprache aufzulösen, bevor es versucht, sich zu bewegen.

Um dies zu testen, baute das Team Computermodelle, die diese Schritte ausführen konnten. Sie verglichen ihre Methode mit anderen Ansätzen, darunter das einfache Anweisen eines großen, vortrainierten Sprachmodells, die Aufgabe in einem Schritt zu erledigen, oder die Verwendung einer Technik namens „Chain of Thought“, um das Modell durch Denkprozesse zu leiten. Die Ergebnisse waren eindeutig: Die Modelle, die das soziale Denken explizit vom physischen Planen trennten, schnitten signifikant besser ab. Bei den anspruchsvollsten Tests, bei denen die Anweisungen hochgradig mehrdeutig waren, erreichte die neue Methode eine Erfolgsquote von 64,5 Prozent und setzte damit einen neuen Rekord für diese Art von Aufgabe. Im Gegensatz dazu hatten selbst die leistungsfähigsten vortrainierten Sprachmodelle, selbst wenn sie sorgfältig instruiert wurden, Schwierigkeiten, das gleiche Leistungsniveau zu erreichen, da sie oft nicht in der Lage waren, die verborgenen Ziele des Menschen zu verstehen oder sich in den Details der Umgebung zu verlieren.

Die Studie zeigte auch auf, warum die leistungsstarken vortrainierten Modelle Schwierigkeiten hatten. Diese Modelle, die riesige Mengen an Text aus dem Internet gelesen haben, besitzen zwar allgemeines Wissen, aber es fehlt ihnen die spezifische Fähigkeit, über den unmittelbaren, physischen Kontext einer gemeinsamen Aufgabe zu urteilen. Als die Forscher versuchten, diesen Modellen zu helfen, indem sie irrelevante Objekte aus der Umgebung filterten, scheiterten die Modelle dennoch bei der effektiven Planung. Dies deutet darauf hin, dass das Problem nicht nur eine Übermenge an Informationen war, sondern eine grundlegende Schwierigkeit, soziale Hinweise mit physischen Handlungen zu verknüpfen. Die Forscher kamen zu dem Schluss, dass Roboter, um wirklich hilfreiche Assistenten zu sein, darauf trainiert werden müssen, menschliche Absichten als einen spezifischen, beobachtbaren Teil des zu lösenden Problems zu behandeln, anstatt darauf zu hoffen, dass ein allgemeines Sprachmodell dies von selbst herausfindet. Indem sie dem System beibrachten, zuerst den Geist des Menschen zu verstehen und dann auf Basis dieses Verständnisses zu handeln, haben die Forscher einen Weg zu fähigeren und kooperativeren künstlichen Agenten aufgezeigt.

Technisches Resümee: Follow Instructions with Social and Embodied Reasoning (FISER)

Problemformulierung

Die Arbeit befasst sich mit der Herausforderung, KI-Agenten zu befähigen, natürlichen Sprachinstruktionen in kollaborativen, verkörperten Mensch-Roboter-Aufgaben zu folgen. Während das Standard-Grounded-Language-Learning Instruktionen auf Aktionen abbildet, scheitert es oft in realen Szenarien, in denen menschliche Instruktionen von Natur aus mehrdeutig sind. Menschen setzen voraus, dass Zuhörer über Vorwissen bezüglich ihrer verborgenen Ziele und Intentionen verfügen, was dazu führt, dass sie kritische Informationen zur Effizienzsteigerung auslassen (Grice 1975; Sperber und Wilson 1986).

Die Autoren formalisieren dies als einen Human-Robot Markov Decision Process (MDP). In diesem Setting führt ein Mensch eine Trajektorie von Aktionen $\tau_{t'}$ in einer gemeinsamen Umgebung aus, bevor er eine natürliche Sprachinstruktion $u$ gibt. Der Roboter muss die verborgene interne Belohnungsfunktion $R_h$ des Menschen und das spezifische Teilziel $p^*$ inferieren, um die korrekte Roboteraufgabe $G_r$ zu bestimmen. Die Kernschwierigkeit liegt darin, dass die Instruktion $u$ allein unzureichend ist; der Roboter muss die teilweise beobachtbare menschliche Trajektorie und den Kontext der Umgebung nutzen, um die Anfrage aufzulösen.

Methodik: Das FISER-Framework

Die Autoren schlagen Follow Instructions with Social and Embodied Reasoning (FISER) vor, ein Framework, das das Problem des Befolgens von Instruktionen explizit in zwei distinkte Phasen zerlegt: Social Reasoning (Soziales Denken) und Embodied Reasoning (Verkörpertes Denken).

1. Modellierung menschlicher Intentionen

Das Framework modelliert das verborgene Ziel des Menschen $G_h$ als eine Menge logischer Prädikate. Der Mensch wählt ein Teilziel $p^*$ (einen spezifischen Teil des Gesamtplans), für das Unterstützung benötigt wird, und generiert eine Instruktion $u$ , um eine Roboteraufgabe $G_r$ zu spezifizieren. Der Roboter kann $G_h$ , $p^*$ oder $G_r$ nicht direkt beobachten; er muss sie aus der beobachteten Trajektorie $\tau_{t'}$ , dem Endzustand $s_{t'}$ und der Instruktion $u$ ableiten.

2. Zwei-Phasen-Reasoning

Phase 1: Social Reasoning (Aufgabenerkennung): Der Roboter disambiguiert die natürliche Sprachinstruktion in eine konkrete, ausführbare Roboteraufgabe $G_r$ $G_{r}$ . Diese Phase umfasst:
- Robot's Task Recognition: Schätzung von $G_r$ gegeben $s_{t'}$ , $\tau_{t'}$ und $u$ .
- Human's Plan Recognition (Optional): Eine erweiterte Stufe, in der das Modell explizit das Teilziel $p^*$ des Menschen vorhersagt (z. B. „Bücher in eine Box legen“), bevor es $G_r$ bestimmt. Dies wird als Vorhersage eines Tupels logischer Prädikate (Quantor, Subjektiv, Verb, Objekt) modelliert.
Phase 2: Embodied Reasoning (Grounded Planning): Sobald $G_r$ etabliert ist, reduziert sich das Problem auf eine Standard-zielgerichtete Planungsaufgabe. Der Roboter generiert eine Sequenz von Aktionen $\{a_t\}$ , um $G_r$ innerhalb der Umgebung zu erreichen.

3. Modellimplementierung

Die Autoren implementieren ein Transformer-basiertes Modell, das von Grund auf neu trainiert wurde (aufgrund der extrem langen Token-Längen der Eingangsdaten, welche die Kontextlimits existierender kleiner vortrainierter Modelle überschreiten).

Architektur: Das Modell nutzt $3N$ Encoder-Layer. Die ersten $2N$ Layer bilden die Social-Reasoning-Phase, und die finalen $N$ Layer bilden die Embodied-Reasoning-Phase.
Modalitätsinteraktion: Ein spezialisiertes Modul fusioniert vier Eingangsströme: Weltzustandsbeschreibung, menschliche Trajektorie, Sprachinstruktion und die vergangenen Ausgaben des Modells.
Trainingsstrategien:
- End-to-End (E2E): Das Modell wird trainiert, Aktionen direkt auszugeben, wobei ein Hilfsverlust (Auxiliary Loss) auf intermediäre Vorhersagen angewendet wird.
- Multi-Staged (MS): Die Module für Social Reasoning und Embodied Reasoning werden separat trainiert. Das Social-Modul sagt $G_r$ (und optional $p^*$ ) voraus, welches dann während der Evaluierung als Ground-Truth-Input an das Embodied-Modul übergeben wird.

Experimentelles Setup

Das Framework wird auf dem HandMeThat (HMT) Benchmark evaluiert, einer textbasierten Haushaltsumgebung, die mehrdeutige Instruktionsfolgetasks über vier Schwierigkeitsgrade hinweg enthält:

Level 1: Reines Planning (keine Mehrdeutigkeit).
Level 2: Erfordert die Ableitung von Zielen aus menschlichen Trajektorien.
Level 3: Erfordert pragmatisches Denken, um linguistische Mehrdeutigkeiten aufzulösen.
Level 4: Erfordert starke Priors, um inhärente Mehrdeutigkeiten aufzulösen, bei denen Informationen unzureichend sind.

Die Autoren vergleichen ihren Ansatz mit:

Baselines: Menschliche Leistung, handkodierte Heuristiken und ein Seq2Seq-neuronales Netzwerk.
State-of-the-Art (SOTA): Die bisher beste Methode (Cao et al. 2024), die iterierte Zielinferenz verwendet.
Large Language Models (LLMs): GPT-4 Turbo, das mittels Chain-of-Thought (CoT) gepromptet wurde, einschließlich Standard-Prompting, Prompt Engineering (PE) und CoT-Prompts, die die FISER-Struktur nachahmen (Vorhersage intermediärer Schritte).

Kernergebnisse

Die Experimente liefern drei primäre Erkenntnisse:

Trennung des Reasonings verbessert die Leistung: Modelle, die Social und Embodied Reasoning explizit trennen (FISER), übertreffen End-to-End-Ansätze signifikant. Das Multi-Staged + FISER Modell erreicht eine durchschnittliche Erfolgsquote von 64,5 % auf dem HMT-Testset und setzt damit einen neuen State-of-the-Art.
Kleine Modelle übertreffen gepromptete LLMs: Trotz des Zugriffs auf riesiges Common-Sense-Wissen versagt GPT-4 Turbo dabei, die Leistung der von Grund auf neu trainierten, kleinskaligen Transformer-Modelle zu erreichen. Selbst mit CoT-Prompting und domänenspezifischem Wissen erreicht GPT-4 weniger als die Hälfte der Erfolgsquote des FISER-Modells bei mehrdeutigen Levels (2–4).
Fehlermodi-Analyse:
- GPT-4 kämpft primär mit Planning Failures (Halluzination von Objektlokationen) und Incorrect Intentions (Fehlalignment von Common Sense mit dem spezifischen menschlichen Ziel).
- FISER-Modelle vermeiden effektiv Planning Failures und redundante Verhaltensweisen, stehen aber dennoch vor der Herausforderung, das Zielobjekt in hochgradig mehrdeutigen Szenarien korrekt zu identifizieren.
- Das Filtern irrelevanter Objekte verbessert die Leistung von GPT-4 leicht, schließt die Lücke jedoch nicht, was darauf hindeutet, dass die Limitation nicht nur die Objektauswahl ist, sondern die grundlegende Fähigkeit zum erforderlichen sozialen und verkörperten Denken.

Signifikanz und Behauptungen

Das Paper behauptet, dass die entscheidende Erkenntnis zur Lösung von Aufgaben mit mehrdeutiger Instruktionsfolge darin liegt, menschliche Intentionen explizit als intermediäre Reasoning-Schritte zu modellieren. Indem der Mensch als ein teilweise beobachtbarer Agent mit verborgenen Zielen betrachtet wird (statt nur als körperloser Instruktionsgeber), kann das System den Kontext besser nutzen, um Mehrdeutigkeiten aufzulösen.

Die Autoren stellen fest, dass:

Pre-training allein nicht ausreicht: Allgemeine vortrainierte LLMs, selbst mit CoT-Prompting, mangelt es an dem spezifischen Domänenwissen und der Reasoning-Struktur, die für komplexe soziale und verkörperte Aufgaben in geteilten Umgebungen erforderlich sind.
Strukturiertes Reasoning überlegen ist: Die Zerlegung des Problems in soziale (Intent-Inferenz) und verkörperte (Aktionsplanung) Reasoning-Phasen liefert bessere Ergebnisse als monolithisches End-to-End-Training oder direktes Prompting.
Effizienz: Das Training eines kleinen, domänenspezifischen Modells von Grund auf ist effektiver und zuverlässiger, als zu versuchen, massive, allgemeine LLMs für diese spezifischen kollaborativen Aufgaben zu prompten.

Die Arbeit etabliert, dass KI-Agenten, um in menschlichen Umgebungen wirklich hilfreich zu sein, über einfaches Language Grounding hinausgehen müssen und Social Reasoning integrieren müssen, das das „Warum“ hinter menschlichen Handlungen inferiert, bevor es das „Wie“ ausführt.