💻 computer science

Memory Retrieval in Visuomotor Policies for Long-Horizon Robot Control

Das Papier stellt HALO vor, eine visuomotorische Policy, die auf der Distillation von aufmerksamkeitsbasiertem Gedächtnisabruf aus Vision-Language-Modell-Priors und Mechanismen der spärlichen Aufmerksamkeit basiert, um durch die Milderung von Scheinkorrelationen und Fehlerakkumulation eine zuverlässige langfristige Robotersteuerung in teilweise beobachtbaren Umgebungen zu ermöglichen.

Ursprüngliche Autoren: Rutav Shah, Yisu Li, Femi Bello, Yuke Zhu, Roberto Martín-Martín

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rutav Shah, Yisu Li, Femi Bello, Yuke Zhu, Roberto Martín-Martín

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein komplexes Gericht in einer Küche zu kochen. Das Problem ist, dass die Küche riesig ist und der Roboter nur das sehen kann, was direkt vor seinen Augen liegt. Er kann nicht das ganze Zimmer sehen und er kann sich nicht an das erinnern, was vor fünf Minuten passiert ist, es sei denn, Sie geben ihm ein spezielles „Gedächtnis“.

Dieses Papier stellt eine neue Methode vor, um Robotern dieses Gedächtnis zu geben, genannt HALO. Denken Sie an HALO als einen smarten, super organisierten Bibliothekar für das Gehirn eines Roboters. So funktioniert es, unterteilt in einfache Konzepte:

Das Problem: Der Roboter mit Amnesie

Die meisten Roboter von heute sind wie Menschen mit Kurzzeitgedächtnisverlust. Wenn man ihnen sagt: „Leg das Brot in die Mikrowelle und schließe dann die Tür“, führen sie vielleicht den ersten Teil aus, aber wenn man das Licht ausschaltet oder das Brot aus dem Sichtfeld bewegt, vergessen sie, was sie gerade getan haben.

Um dies zu beheben, haben Wissenschaftler versucht, Robotern ein „Notizbuch“ zu geben, in dem sie alles aufschreiben, was sie sehen. Aber es gibt zwei große Probleme bei diesem Ansatz:

Das „Falsche Hinweis“-Problem: Wenn der Roboter sein ganzes Notizbuch liest, könnte er durch nutzlose Details abgelenkt werden. Wenn der Roboter zum Beispiel früher eine Katze in der Küche gesehen hat, könnte er denken: „Oh, die Katze ist hier, also sollte ich mit dem Kochen aufhören!“, obwohl die Katze nichts mit dem Brot zu tun hat. Dies wird als „spurende Korrelation“ bezeichnet – der Roboter verbindet zwei Dinge, die eigentlich nicht miteinander in Zusammenhang stehen.
Der „Schneeball-Effekt“: Wenn der Roboter einen winzigen Fehler macht (wie zum Beispiel das Brot etwas zu fest zu greifen), verändert dieser Fehler das, was er als Nächstes sieht. Wenn er weiterhin sein ganzes Notizbuch liest, während er Fehler macht, häufen sich diese Fehler wie ein Schneeball an, der einen Hügel hinunterrollt, bis der Roboter völlig den Faden verliert und die Aufgabe scheitert.

Die Lösung: HALO (Der smarte Bibliothekar)

Die Autoren entwickelten HALO, um diese zwei Probleme zu lösen. Es nutzt zwei Haupttricks:

Trick 1: Der „Quizmaster“ (KI, um das Gedächtnis zu trainieren)

Stellen Sie sich vor, Sie versuchen, eine neue Sprache zu lernen. Sie könnten einfach ein Wörterbuch lesen, aber Sie lernen schneller, wenn Ihnen jemand gezielte Fragen zu den Wörtern stellt, die Sie gerade brauchen.

HALO macht dies, indem es einen „Quizmaster“ verwendet (eine leistungsstarke KI namens Vision-Language-Modell). Bevor der Roboter versucht zu kochen, schaut sich der Quizmaster die vergangenen Erfahrungen des Roboters an und stellt ihm Fragen wie:

„Wie viele Scheiben Brot lagen auf der Arbeitsplatte?“
„Wann wurde der Herd eingeschaltet?“
„Wo wurde das Olivenöl platziert?“

Der Roboter muss diese Fragen korrekt beantworten, um die „Prüfung zu bestehen“. Um die Fragen zu beantworten, muss der Roboter in sein Gedächtnis eintauchen und die spezifischen, nützlichen Fakten finden. Dies lehrt das Gedächtnissystem des Roboters, das Unwichtige (wie die Katze) zu ignorieren und sich nur auf die Hinweise zu konzentrieren, die tatsächlich beim Kochen helfen.

Trick 2: Das „Spotlight“ (Das Rauschen ignorieren)

Selbst mit dem Quizmaster kann es überwältigend und verwirrend sein, ein ganzes 8-minütiges Video der Vergangenheit des Roboters zu lesen. Es ist, als würde man versuchen, einen bestimmten Satz in einem 500-seitigen Buch zu finden, indem man jedes einzelne Wort liest.

HALO nutzt eine „Spotlight“-Technik. Anstatt das ganze Buch zu lesen, verwendet der Roboter ein spezielles Suchwerkzeug, um nur die 5 oder 10 wichtigsten Sätze aus seiner Vergangenheit zu finden. Alles andere ignoriert er. Dies verhindert den „Schneeball-Effekt“, weil der Roboter nicht durch alte, verrauschte oder irrelevante Informationen verwirrt wird. Er schaut nur auf die spezifischen Momente, die für die Aufgabe, die er gerade ausführt, wichtig sind.

Die Ergebnisse: Wie gut hat es funktioniert?

Die Forscher testeten HALO in Computersimulationen und mit echten Robotern in einem Labor. Sie gaben den Robotern Aufgaben, die erforderten, dass sie sich an Dinge erinnerten, die bis zu 8 Minuten zurücklagen, wie zum Beispiel:

Ein Objekt zu finden, das sie zuvor gesehen hatten, aber jetzt nicht mehr sehen können.
Zu zählen, wie viele Gegenstände in eine Schublade gelegt wurden.
Zu warten, bis ein Herd für eine bestimmte Zeit heiß geworden ist.

Die Ergebnisse waren:

HALO war deutlich besser als bisherige Methoden. Es war bei Aufgaben etwa 41 % der Zeit erfolgreich, während andere Methoden (wie Roboter, die nur Textzusammenfassungen lesen, oder Roboter mit handgeschriebenen Regeln) nur in etwa 18 % bis 29 % der Fälle erfolgreich waren.
Der „Quizmaster“ (VQA) half dem Roboter, die richtigen Hinweise zu finden, was den Erfolg um 10 % verbesserte.
Das „Spotlight“ (Top-k Attention) verhinderte, dass der Roboter durch seine eigenen Fehler verwirrt wurde, was den Erfolg um weitere 9 % steigerte.

Das Fazbeit (The Bottom Line)

HALO lehrt Roboter, ein besseres Gedächtnis zu entwickeln, indem es zwei Dinge kombiniert:

Die richtigen Fragen stellen, um zu lernen, welche Informationen tatsächlich wichtig sind.
Sich nur auf die wichtigsten Erinnerungen zu konzentrieren, um nicht von Rauschen überwältigt zu werden.

Dies ermöglicht es Robotern, lange, komplizierte Aufgaben in unordentlichen, realen Umgebungen zu bewältigen, ohne sich in ihrer eigenen Geschichte zu verlieren oder verwirrt zu werden.

Technisches Resümee: HALO – Geschichtsbewusste visuomotorische Policy für die langfristige robotische Imitationslern-Aufgabe

1. Problemstellung

Allgemeine Roboter, die in teilweise beobachtbaren Umgebungen operieren (z. B. Haushalten), müssen langfristige Manipulationsaufgaben ausführen, die das Abrufen von Informationen erfordern, die in den aktuellen sensorischen Eingaben nicht mehr präsent sind. Beispiele hierfür sind das Erinnern an Objektpositionen, das Verfolgen numerischer Zählungen, das Abrufen von Ereigniszeitpunkten oder das Verständnis relationaler Veränderungen zwischen Objekten.

Standardmäßige reaktive visuomotorische Policies versagen in diesen Szenarien, da ihnen ein Gedächtnis fehlt. Während bestehende Ansätze versuchen, dies durch handgefertigte Gedächtnisrepräsentationen, modalitiespezifische Abrufregeln oder gelernte Kompression (z. B. latente Zustandszusammenfassungen) zu adressieren, haben sie oft Schwierigkeiten mit der Generalisierbarkeit. Sie stützen sich auf aufgabenspezifische Annahmen, die die Skalierbarkeit über diverse Manipulationsaufgaben hinweg einschränken.

Die direkte Anwendung von aufmerksamkeitsbasiertem Gedächtnisabruf (z. B. Transformer) auf Offline-Imitationslernen führt zu zwei grundlegenden Herausforderungen:

Scheinkorrelationen: Die Policy kann lernen, auf vergangene Beobachtungen zu achten, die mit Expertenverhalten in den Trainingsdaten korrelieren, aber nicht kausal relevant für die Aufgabenausführung sind, was zu einer schlechten Generalisierung zur Testzeit führt.
Fehlerakkumulation und Modell-Drift: In der geschlossenen Regelschleife (Closed-Loop) summieren sich kleine Vorhersagefehler über die Zeit auf. Die Konditionierung auf große Mengen an verrauschter historischer Information kann diese Fehler verstärken, was zu kaskadierenden Fehlern und Modell-Drift über lange Zeiträume führt.

2. Methodik: HALO

Die Autoren schlagen HALO vor (History-Aware visuomotor policy for LOng-horizon robotic imitation learning), ein Framework, das darauf ausgelegt ist, die End-to-End-Ausführung von Aufgaben mit einer Dauer von bis zu acht Minuten durch den Abruf relevanter Informationen aus der Historie zu ermöglichen. Die zentrale Erkenntnis ist, dass Aufmerksamkeit zwar einen allgemeinen Abrufmechanismus bietet, sie jedoch auf aufgabenrelevante Informationen gelenkt und eingeschränkt werden muss, um eine Konditionierung auf irrelevante oder verrauschte Historie zu vermeiden.

A. Architektur-Übersicht

HALO parametrisiert eine visuomotorische Policy $\pi_\theta(a_t | \tau_t, l)$ mit drei Hauptkomponenten:

Encoder: Modalitiespezifische Encoder ( $g_{obs}$ , $g_{act}$ ) bilden heterogene Eingaben (RGB, Propriozeption, vergangene Aktionen) in einen gemeinsamen latenten Raum ab.
Policy-Backbone: Ein Transformer-basierter Backbone ( $f_\theta$ ) führt den Gedächtnisabruf über die kodierte Historie $M_t$ durch und verarbeitet die Informationen.
Prädiktions-Heads: Ein aufgabenspezifischer Aktions-Head ( $h_{act}$ ) sagt Low-Level-Steuerbefehle voraus, und ein Text-Prädiktions-Head ( $h_{text}$ ) liefert zusätzliche Supervision.

B. Schlüsselmechanismen

1. Destillation von VLM-Priors via Video Question-Answering (VQA)

Um Scheinkorrelationen zu mildern, nutzt HALO Vision-Language-Modelle (VLMs), um Priors darüber zu destillieren, welche historischen Informationen aufgabenrelevant sind.

Mechanismus: Die Policy wird darauf ko-trainiert, sowohl Expertenaktionen zu imitieren als auch Fragen über die Trajektorienhistorie zu beantworten.
VQA-Generierung: Eine mehrstufige Pipeline generiert hochwertige VQA-Paare aus Langzeit-Trajektorien. Dies beinhaltet:
1. Trajektorie-zu-Text-Zusammenfassung: Kombination von Objektdetektoren und VLMs zur Erstellung textueller Beschreibungen von Szenelementen und Aktivitäten.
2. Fragensynthese: Ein LLM generiert Fragen, die spezifische Gedächtnisanforderungen (z. B. Objektpositionen, Ereignisreihenfolge) prüfen, die mit bestimmten Frames verknüpft sind.
3. Verifizierung: Ein LLM-Verifier filtert fehlerhafte oder schwach relevante Paare heraus.
Trainingsziel: Die Policy minimiert einen gemeinsamen Verlust: $L(\theta) = L_{IL}(\theta) + \lambda L_{VQA}(\theta)$ . Das VQA-Ziel zwingt das Retrieval-Modul, auf spezifische Teile der Historie zu achten, in denen aufgabenrelevante Ereignisse stattfanden, und bietet somit direkte Supervision darüber, was abgerufen werden muss.

2. Top-k Attention Sparsification

Um die Auswirkungen akkumulierter Fehler während der Closed-Loop-Steuerung zu reduzieren, beschränkt HALO die Policy darauf, sich nur auf eine spärliche Teilmenge gespeicherter Informationen zu konditionieren.

Mechanismus: Anstatt auf die gesamte Historie zu achten, berechnet die Policy Query-Key-Ähnlichkeiten und wählt nur die Top- $k$ relevantesten Gedächtniseinträge aus.
Training: Ein Straight-Through-Estimator wird verwendet, um die nicht-differenzierbare Top-k-Operation zu handhaben. Gradienten verstärken die Auswahl von Einträgen, die die Aktionsvorhersage oder die VQA-Genauigkeit verbessern, während irrelevante Einträge abgewertet werden.
Vorteil: Dies begrenzt den Einfluss verrauschter Informationen, reduziert den Modell-Drift und mildert kaskadierende Fehler ab.

3. Wichtigste Beiträge

Allgemeiner Gedächtnisabruf: Führt einen gelernten, End-to-End-Gedächtnisabrufmechanismus ein, der auf keine aufgabenspezifischen Annahmen oder handgefertigten Regeln angewiesen ist.
VQA-gesteuerter Abruf: Schlägt die Verwendung von automatisch generierter Video Question-Answering-Supervision vor, um die Aufmerksamkeit auf aufgabenrelevante Informationen zu lenken und so VLM-Priors auf die visuomotorische Policy zu übertragen.
Sparse Attention für Robustheit: Zeigt, dass Top-k-Sparsification effektiv den Modell-Drift in der langfristigen Closed-Loop-Steuerung reduziert, indem sie akkumulierten Rauschen herausfiltert.
Umfassende Evaluierung: Validiert den Ansatz auf dem REMEMBENCH-Benchmark und fünf realen Aufgaben auf zwei Roboterplattformen (feststehend und mobil manipulierend).

4. Experimentelle Ergebnisse

Simulation (REMEMBENCH)

Evaluierung auf Aufgaben, die räumliches, relationales, numerisches und zeitliches Gedächtnis erfordern:

Gesamtleistung: HALO erreichte eine durchschnittliche Erfolgsrate von 41% und übertraf damit den Standard-Transformer (22%), SAM2Act++ (20%), ReMemBer (18%) und Hand-Designed Features (29%).
Ablationsstudien:
- Das Entfernen der VQA-Supervision reduzierte den durchschnittlichen Erfolg um 10% (auf 31%), was die Bedeutung von VLM-Priors für die Identifizierung relevanter Historie hervorhebt.
- Das Entfernen der Top-k-Sparsification (unter Verwendung von Full Attention) reduzierte die Leistung um 9%, was deren Rolle bei der Reduzierung von Drift bestätigt.
- Das Ko-Training von VQA und Aktionsvorhersage übertraf einen Pretrain-then-Finetune-Ansatz um 20% (64% vs. 44%), was darauf hindeutet, dass gemeinsames Training entscheidend für die effektive Formung des Abrufs ist.
Vergleiche: HALO übertraf alternative Sparsification-Methoden (Window, Strided, Hierarchical, Gated Attention) sowie nicht-assoziative Gedächtnismodelle (LSTM, Mamba, Transformer-XL).

Realwelt-Evaluierung

Evaluierung auf fünf realen Aufgaben (einschließlich Mensch-Roboter-Kollaboration):

HALO erreichte eine durchschnittliche Erfolgsrate von 55%, im Vergleich zu 36% für die Standard-Transformer-Baseline.
Bemerkenswerte Verbesserungen wurden bei anspruchsvollen langfristigen Aufgaben beobachtet, wie etwa dem Erhitzen eines Herdes für bis zu acht Minuten und dem Verstauen mehrerer Objekte.
Eine Analyse der Aufgabe „Objekt abrufen“ zeigte, dass HALO Manipulationsfehler um 8% und Gedächtnisfehler um 25% im Vergleich zur Baseline reduzierte.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass HALO eine allgemeine Lösung für die langfristige Steuerung in teilweise beobachtbaren Umgebungen bietet, indem es lernt, aufgabenrelevante Informationen direkt aus Daten abzurufen.

Vielseitigkeit: Im Gegensatz zu früheren Methoden, die auf festen Repräsentationen (z. B. objektzentriert) oder textuellen Zusammenfassungen basieren, passt sich HALO an diverse Informationstypen (räumlich, numerisch, temporal) ohne manuelles Engineering an.
Notwendigkeit der Erdung (Grounding): Die Autoren betonen, dass VLM-Priors zwar nützlich sind, um relevante Informationen auszuwählen, aber für die Low-Level-Steuerung allein nicht ausreichen (sie erreichten nur 18% Erfolg ohne Aktions-Erdung). Die Kombination aus VLM-gesteuertem Abruf und aktions-geerdeter Imitation ist entscheidend.
Robustheit: Die Arbeit zeigt, dass selektiver Abruf via Top-k-Sparsification eine praktische und effektive Strategie ist, um die inhärenten Fehler der langfristigen Closed-Loop-Ausführung zu mildern.

Die Autoren kommen zu dem Schluss, dass ihr Ansatz eine zuverlässige Steuerung über verlängerte Zeiträume (bis zu acht Minuten) ermöglicht, indem er die Notwendigkeit eines reichen historischen Kontextes mit der Notwendigkeit der Filterung von Rauschen und irrelevanten Korrelationen ausbalanciert. Zukünftige Arbeiten sollen aktive Abfragemethoden und das Lernen über Episoden hinweg untersuchen.