🤖 AI

Beyond Needle(s) in the Embodied Haystack: Environment, Architecture, and Training Considerations for Long Context Reasoning

Die Arbeit stellt das $\infty$ -THOR-Framework vor, das durch die Synthese skalierbarer Langzeit-Trajektorien, eine neue „Needle(s) in the Embodied Haystack"-Aufgabe und architektonische Anpassungen wie Context Parallelism die Fähigkeit von Embodied-AI-Systemen zu robustem Langzeit-Reasoning und -Planen grundlegend erweitert.

Ursprüngliche Autoren: Bosung Kim, Prithviraj Ammanabrolu

Veröffentlicht 2026-02-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bosung Kim, Prithviraj Ammanabrolu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du betrittst ein riesiges, unendliches Haus, in dem du eine Aufgabe erfüllen musst. Aber es gibt ein Problem: Die Aufgabe verlangt von dir, dich an Dinge zu erinnern, die du vor Stunden gesehen hast, während du in der Zwischenzeit hunderte von anderen Dingen getan hast.

Das ist im Grunde die Herausforderung, die das Team um Bosung Kim und Prithviraj Ammanabrolu in ihrer neuen Arbeit „Beyond Needle(s) in the Embodied Haystack" (Jenseits der Nadel im Heuhaufen) angeht. Sie haben ein neues System namens ∞-THOR entwickelt, um künstliche Intelligenz (KI) beizubringen, wie man über lange Zeiträume hinweg logisch denkt und handelt.

Hier ist eine einfache Erklärung der wichtigsten Punkte, verpackt in ein paar anschauliche Bilder:

1. Das Problem: Die Nadel im Heuhaufen (aber viel schlimmer)

Bisher gab es Tests für KI, bei denen man eine „Nadel im Heuhaufen" finden musste. Das war wie ein Text, in dem ein einziger Satz versteckt war.
∞-THOR macht das viel schwieriger:

Der Heuhaufen ist ein ganzer Film: Stell dir vor, du siehst einen 10-stündigen Film über das Leben eines Roboters.
Die Nadeln sind verstreut: Der Roboter muss sich an Details erinnern, die er vor 5 Stunden gesehen hat (z. B. „Wo habe ich die Tomate gesehen?"), und sie mit etwas verbinden, das er gerade erst gesehen hat (z. B. „Ah, hier ist die Arbeitsplatte!").
Die Aufgabe: „Bringe die Tomate auf die Arbeitsplatte."
Das Dilemma: Um das zu schaffen, muss der Roboter sich an die Tomate erinnern, die er vor 500 Schritten gesehen hat, und an die Arbeitsplatte, die er vor 100 Schritten gesehen hat. Dazwischen hat er hunderte andere Dinge getan. Die meisten KIs verlieren hier den Faden und vergessen alles.

2. Die Lösung: ∞-THOR (Das unendliche Trainingslager)

Die Forscher haben eine neue Umgebung gebaut, die wie ein riesiger Spielplatz für Roboter ist.

Unendliche Geschichten: Sie können automatisch unendlich lange Szenarien generieren, in denen Roboter Aufgaben erfüllen.
Der Test: Am Ende jeder langen Geschichte gibt es eine Frage oder eine Aufgabe, die nur lösbar ist, wenn man sich an alles erinnert, was davor passiert ist. Das nennen sie „Needle(s) in the Embodied Haystack" (Nadeln im verkörperten Heuhaufen).
Warum „verkörpert"? Weil der Roboter nicht nur Text liest, sondern durch eine 3D-Welt läuft, Dinge sieht, greift und bewegt. Er muss sich an Sehen und Handeln gleichzeitig erinnern.

3. Wie man dem Roboter das Lernen beibringt (Die Architektur)

Das Team hat herausgefunden, dass normale KI-Modelle bei solchen langen Geschichten versagen. Sie haben zwei neue Methoden ausprobiert:

Methode A: Das „Alles-inklusive"-Gedächtnis (Interleaved Goal-State-Action)
Stell dir vor, du liest ein Buch, bei dem jede Seite aus Bildern und Text besteht. Diese Methode gibt dem Roboter den kompletten Film von Anfang bis Ende als Eingabe.
- Vorteil: Er sieht alles.
- Nachteil: Das Buch ist so dick (über 1 Million Wörter/Bilder), dass es in den Kopf des Roboters gar nicht passt. Es ist wie ein Elefant, der versucht, in ein Miniauto zu passen.
Methode B: Das „Zusammenfassungs"-Gedächtnis (Memory-Augmented)
Hier fasst der Roboter die Vergangenheit zusammen. Statt den ganzen Film zu sehen, bekommt er nur eine kurze Zusammenfassung oder die wichtigsten Fotos aus der Vergangenheit.
- Vorteil: Es passt in den Kopf.
- Nachteil: Er verliert Details. Wie wenn man versucht, sich an einen ganzen Urlaub zu erinnern, aber nur an ein paar Postkarten denkt.

Das Ergebnis: Die Forscher haben herausgefunden, dass es am besten funktioniert, wenn man dem Roboter beibringt, den ganzen Film zu verarbeiten, aber ihm dabei hilft, den Kopf groß genug zu machen (durch spezielle Techniken wie „Context Parallelism", die wie ein Team von Arbeitern sind, die das Buch gemeinsam lesen).

4. Der große Durchbruch: Vom Simulator zur Realität (Sim2Real)

Das Coolste an der Arbeit ist, dass sie nicht nur im Computer getestet haben.

Sie haben den Roboter im Simulator trainiert (in der virtuellen Welt).
Dann haben sie ihn auf eine echte Kamera losgelassen, die echte Fotos macht (z. B. von einem echten Tisch mit echten Gegenständen).
Ergebnis: Der Roboter, der nur im Simulator trainiert wurde, war plötzlich 11 % besser darin, reale Objekte zu erkennen und ihre Reihenfolge zu verstehen, als ein Roboter ohne dieses Training.
Die Analogie: Es ist so, als würde man jemanden in einem Videogame trainieren, wie man Auto fährt, und dann stellt man fest, dass er auch auf der echten Straße besser fährt als jemand, der nur auf der echten Straße geübt hat, aber ohne das intensive Training.

5. Wo stehen wir heute?

Obwohl ∞-THOR ein riesiger Schritt nach vorne ist, ist die Aufgabe noch nicht perfekt gelöst.

Die KIs werden immer noch verwirrt, wenn die Geschichten wirklich extrem lang werden.
Die Roboterarme in der echten Welt tun sich schwer, feine Bewegungen auszuführen (wie einen Löffel genau zu greifen), weil die Simulation nicht 100 % der Realität entspricht.

Fazit

Diese Arbeit ist wie der Bau einer neuen Bibliothek für Roboter. Sie zeigt uns, dass wir KI nicht nur lehren müssen, was sie sehen, sondern auch, wie sie sich an lange Geschichten erinnern können. Mit ∞-THOR haben sie den ersten Baustein gelegt, damit Roboter in der Zukunft komplexe Aufgaben wie „Hol mir das Buch aus dem Regal, das ich vor drei Tagen gesehen habe, und bring es in die Küche" wirklich verstehen und ausführen können.

Es ist ein wichtiger Schritt von „kurzen Befehlen" hin zu „langfristiger Planung" – genau wie wir Menschen es tun.

1. Problemstellung

Die zentrale Herausforderung, die in diesem Paper adressiert wird, ist die langfristige (long-horizon) reasoning in embodied AI (künstliche Intelligenz mit physischer oder simulierter Körperlichkeit).

Kontext: Reale embodied Aufgaben erfordern sequenzielle Entscheidungsfindung über lange Zeiträume, bei denen der Erfolg davon abhängt, Ereignisse zu merken und zu verknüpfen, die weit auseinanderliegen (z. B. ein Objekt bei $t=16$ sehen und es erst bei $t=670$ an einen bestimmten Ort bringen).
Limitierungen bestehender Ansätze:
- Herkömmliche Benchmarks (wie ALFRED oder VirtualHome) haben oft nur kurze Horizonte (< 50 Schritte).
- Vision-Language-Modelle (VLMs) sind durch feste Kontextfenster begrenzt und können Eingaben von über 1 Million Token oft nicht nativ verarbeiten.
- Bestehende „Needle in a Haystack"-Tests konzentrieren sich meist auf rein textbasierte Erinnerungen und ignorieren die multimodalen, zeitlichen Abhängigkeiten in dynamischen Umgebungen.
Ziel: Ein Framework zu schaffen, das das Verständnis von extrem langen Kontexten in embodied Umgebungen vorantreibt, indem es Umgebungen, Architekturen und Trainingsstrategien für Aufgaben mit Hunderten von Schritten entwickelt.

2. Methodik

Das Paper stellt ∞-THOR vor, ein umfassendes Framework für die Generierung, das Training und die Evaluierung von langfristigen embodied Aufgaben.

A. Das ∞-THOR Framework & Umgebung

Basis: Das System baut auf dem AI2-THOR-Simulator auf.
Trajektorien-Generierung: Es synthetisiert unbegrenzt lange Trajektorien, indem es mehrere einzelne Sub-Aufgaben (z. B. „Objekt aufnehmen", „Platzieren") zu einer einzigen langen Sequenz verketten.
Synthetische Ziele: Ein entscheidendes Merkmal ist die Erzeugung von Zielen, die Objekte erfordern, die nur zu Beginn (erste 20 %) und am Ende (letzte 20 %) der Trajektorie gesehen wurden. Dies erzwingt eine langfristige zeitliche Abhängigkeit.
Datensatz: Es wurden Trainings-, Validierungs- und Testsets erstellt, die Episoden mit durchschnittlich 400 bis über 600 Schritten umfassen (bis zu 1,3 Millionen Token).

B. Neue Benchmark-Aufgabe: Needle(s) in the Embodied Haystack (NiEH)

Das Paper führt eine neue QA-Aufgabe ein, die über das klassische „Needle in a Haystack" hinausgeht:

Unterschiede: Statt eines einzelnen Text-Hinweises gibt es multiple, verstreute Hinweise (Needles) in einer multimodalen Umgebung (Visuell + Linguistisch).
Aufgabentypen:
- Single-evidence: Eine Antwort basiert auf einem einzelnen Beobachtungsschritt.
- Multi-evidence: Die Antwort erfordert das Verknüpfen von Informationen aus weit entfernten Zeitpunkten (z. B. „Wo war das Objekt, bevor es auf den Tisch gelegt wurde?").
Validierung: Die generierten Fragen wurden durch einen Ensemble aus vier multimodalen LLMs (LLaVA-OneVision, Qwen2.5-VL, Deepseek-VL, Pixtral) validiert, um sicherzustellen, dass sie beantwortbar sind.

C. Architekturen & Trainingsstrategien

Um mit extrem langen Sequenzen umzugehen, wurden zwei Policy-Architekturen und spezifische Trainingstechniken untersucht:

Interleaved Goal-State-Action Model: Kodiert den gesamten Wahrnehmungs-Aktions-Verlauf als eine einzige, durchmischte multimodale Sequenz ( $g_0, s_0, a_0, \dots$ ). Dies ermöglicht ein gemeinsames Reasoning über die gesamte Historie.
Memory-Augmented Goal-State Model: Ersetzt die vollständige Historie durch kompakte Repräsentationen:
- Text-Zusammenfassungen vergangener Zustände.
- Retrievte visuelle Erinnerungen (basierend auf Embedding-Ähnlichkeit).
Kontext-Erweiterung & Parallelismus:
- Kontext-Erweiterung: Anwendung von Techniken wie Linear Interpolation, Dynamic Scaling, YaRN und LongRoPE, um Modelle auf längere Sequenzen zu generalisieren, ohne sie von Grund auf neu zu trainieren.
- Context Parallelism (Ring Attention): Ermöglicht das effiziente Fine-Tuning und Inferenz auf Sequenzen > 1M Token durch zyklischen Austausch von Key-Value-Shards über mehrere Geräte.

3. Schlüsselergebnisse

A. Statische Evaluierung (NiEH)

Modellgrenzen: State-of-the-Art-Modelle (wie LLaVA-OV, Qwen2.5-VL, Gemini 2.0 Flash) scheitern oft an Kontexten, die ihre Vor-Trainingsgrenzen überschreiten (z. B. > 32K oder 64K Token).
Architekturvergleich:
- Das Interleaved Goal-State-Action-Modell übertraf Memory-Augmented-Ansätze deutlich, da die kontinuierliche Verarbeitung der Historie für das grounded Reasoning effektiver ist als Retrieval-basierte Methoden.
- Text-basiertes Gedächtnis performte besser als reines Bild-Gedächtnis, da Textinformationen dichter und kontextueller sind.
Kontext-Erweiterung: YaRN (mit einem Skalierungsfaktor von x4) erwies sich als robusteste Methode für Sequenzen bis 384K Token, während andere Methoden bei längeren Kontexten versagten.

B. Online Evaluierung (Interaktive Tasks)

Training mit langen Kontexten: Modelle, die mit längeren Kontexten (128K vs. 32K) trainiert wurden, zeigten signifikante Leistungssteigerungen (Success Rate von 6,4 % auf 9,2 %).
Ergebnisse: Selbst mit YaRN-Erweiterung erreichte das beste Modell nur eine Success Rate von 11,5 % für komplexe langfristige Aufgaben. Dies unterstreicht, dass langfristiges Reasoning eine offene Herausforderung bleibt.
Fehleranalyse: Modelle scheiterten oft in frühen Schritten, was dazu führte, dass spätere Ziele (z. B. „Objekt ablegen") nie erreicht wurden.

C. Sim-to-Real Transfer & Low-Level Control

Sim-to-Real: Ein auf synthetischen NiEH-Daten (226K QA-Paare) feinabgestimmtes Qwen2.5-VL-Modell verbesserte seine Leistung auf dem photorealistischen VSI-Bench um +11,2 % bei der Objektreihenfolge. Dies beweist, dass in der Simulation gelerntes zeitliches Reasoning auf reale Bilder übertragbar ist.
Low-Level Manipulation: Die Integration mit ManipulaTHOR für Roboterarm-Steuerung zeigte jedoch geringe Erfolgsraten (< 20 %), hauptsächlich aufgrund von Diskrepanzen zwischen der Simulationsumgebung und den VLA-Modellen sowie der Schwierigkeit, subtile Bewegungen zu erkennen.

4. Signifikanz und Beiträge

Das Paper leistet mehrere wesentliche Beiträge zur Forschung im Bereich Embodied AI:

Neues Framework (∞-THOR): Bietet die erste skalierbare Infrastruktur zur Generierung, zum Training und zur Evaluierung von Aufgaben mit extrem langen Horizonten (bis zu 1M+ Token).
Neuer Benchmark (NiEH): Führt eine rigorose Testumgebung ein, die nicht nur Text, sondern auch visuelle und zeitliche Abhängigkeiten in dynamischen Umgebungen testet.
Technische Erkenntnisse:
- Zeigt, dass Training mit langen Kontexten entscheidender ist als nur Inferenz-Erweiterung.
- Demonstriert, dass Interleaved-Modelle Retrieval-basierten Ansätzen überlegen sind, wenn die gesamte Historie verfügbar ist.
- Validiert die Wirksamkeit von YaRN und Context Parallelism für praktische Anwendungen.
Open Source: Stellt den gesamten Datensatz, den Code und die Benchmarks zur Verfügung, um die Entwicklung robuster, langfristig planender Embodied Agents zu fördern.

Fazit: Obwohl ∞-THOR einen wichtigen Schritt darstellt, um die Grenzen des langfristigen Reasonings zu erweitern, zeigen die Ergebnisse, dass aktuelle VLMs noch weit davon entfernt sind, extrem lange Kontexte zuverlässig zu verarbeiten. Das Framework legt jedoch das Fundament für die nächste Generation von Robotik- und KI-Systemen, die komplexe, mehrstufige Pläne in dynamischen Umgebungen ausführen können.