💻 computer science

Remember what you did?: Learning Behavioral Memories for Partially Observable Object Manipulation

Dieses Paper stellt die Compressed Action Memory Policy (CAMP) vor, einen neuartigen Ansatz, der es Robotern ermöglicht, langfristige, kontaktreiche Manipulationsaufgaben unter partieller Beobachtbarkeit zu meistern, indem eine selbstüberwachte, komprimierte Repräsentation ihrer eigenen Aktionshistorie erlernt wird, um Fortschritte implizit zu verfolgen und ohne externe Überwachung von Fehlern zu erholen.

Ursprüngliche Autoren: Kuancheng Wang, Seungho Yeom, Jinglin Cao, Yuheng Zhi, Nikhil Shinde, Michael Yip

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kuancheng Wang, Seungho Yeom, Jinglin Cao, Yuheng Zhi, Nikhil Shinde, Michael Yip

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der Roboter mit Amnesie

Stellen Sie sich vor, Sie versuchen, ein Puzzle zu lösen, aber jedes Mal, wenn Sie einen Zug machen, wird Ihnen für eine Sekunde die Sicht versperrt. Wenn Sie die Augen wieder öffnen, sehen Sie das Puzzle, aber Sie wissen nicht mehr, wie Sie dorthin gekommen sind. Haben Sie gerade versucht, ein Teil nach links zu bewegen und sind gescheitert? Haben Sie dieses Teil bereits nach rechts bewegt?

Dies ist das Problem, mit dem Roboter bei „kontaktreichen“ Aufgaben konfrontiert sind (Aufgaben, bei denen sie Dinge drücken, schieben oder berühren müssen). Die Kamera eines Roboters sieht das aktuelle Bild, aber sie weiß nicht, was die Historie dessen ist, was sie gerade versucht hat.

Das Ergebnis: Der Roboter wird verwirrt. Er drückt vielleicht einen Block gegen eine Wand, merkt, dass er feststeckt, und drückt ihn dann erneut gegen die Wand, weil er vergessen hat, dass er es bereits versucht hat. Er leidet unter „Amnesie“.

Die Lösung: CAMP (Das mentale Notizbuch des Roboters)

Die Autoren haben ein neues System namens CAMP (Compressed Action Memory Policy) entwickelt. Betrachten Sie CAMP nicht als einen Roboter, der besser sieht, sondern als einen Roboter, der besser erinnert.

Anstatt zu versuchen, sich jedes einzelne Pixel der Vergangenheit zu merken (was zu viele Daten wären), führt CAMP ein „mentales Notizbuch“ seiner eigenen Handlungen. Es fragt sich selbst: „Was habe ich gerade versucht zu tun?“

So funktioniert es, unterteilt in einfache Schritte:

1. Das „komprimierte“ Gedächtnis (Die Zusammenfassung)

Wenn Sie jede einzelne Bewegung aufschreiben würden, die Sie an einem Tag gemacht haben, wäre Ihr Notizbuch riesig und unüberschaubar. CAMP ist klug bei dieser Sache. Es nutzt einen mathematischen Trick (genannt DCT), um eine Zusammenfassung seiner vergangenen Handlungen zu schreiben.

Analogie: Stellen Sie sich vor, Sie beschreiben einem Freund einen Film. Sie listen nicht jeden einzelnen Frame auf; Sie sagen: „Zuerst rannte der Held nach links, dann sprang er über einen Zaun, dann fiel er hin.“ Sie behalten die Form der Geschichte bei, werfen aber die winzigen Details weg.
Warum es hilft: Diese Zusammenfassung ist klein genug, um in das „Gehirn“ des Roboters zu passen, aber detailliert genug, um ihm zu sagen: „Hey, du hast schon versucht, den Block nach links zu drücken, also mach das nicht noch einmal.“

2. Das Training (Lernen aus Fehlern)

CAMP wird mit einer „selbstüberwachten“ Methode trainiert. Das bedeutet, der Roboter lernt, indem er seine eigene Vergangenheit betrachtet, anstatt von einem menschlichen Lehrer gesagt zu bekommen, was er tun soll.

Das Spiel: Dem Roboter wird ein Video gezeigt, in dem ein Mensch eine Aufgabe ausführt. Er versucht zu erraten, was die vergangenen Handlungen des Menschen waren, basierend auf dem aktuellen Bild.
Die Lektion: Wenn der Roboter falsch rät, lernt er daraus. Mit der Zeit wird er sehr gut darin, die aktuelle Szene zu betrachten und zu sagen: „Ah, basierend darauf, wo die Dinge jetzt liegen, muss ich vorhin versucht haben, den Block hierher zu drücken.“

3. Das „Zwei-Schritte“-Training (Aufwärmen, dann Verfeinern)

Das Paper stellte fest, dass eine bestimmte Art des Lehrens am besten funktioniert:

Warm-up (Aufwärmen): Zuerlich übt der Roboter nur darin, sich an die vergangenen Handlungen zu erinnern. Er baut ein starkes Gedächtnisarchiv auf.
Freeze & Learn (Einfrieren & Lernen): Dann wird dieses Gedächtnis festgeschrieben (eingefroren), damit es nicht verwirrt wird.
Fine-tune (Feinabstimmung): Schließlich lässt man den Roboter lernen, wie er dieses Gedächtnis nutzt, um tatsächlich seinen Arm zu bewegen.

Analogie: Es ist wie ein Schüler, der zuerst die Regeln eines Spiels auswendig lernt (Warm-up), dann das Spiel übt, ohne die Regeln zu ändern (Freeze), und schließlich lernt, das Spiel strategisch zu spielen (Fine-tune). Wenn man versucht, die Regeln und das Spiel gleichzeitig zu lernen, wird man verwirrt und vergisst die Regeln.

Die Ergebnisse: Von 0 % bis 70 %

Die Forscher testeten dies an Robotern bei schwierigen Aufgaben, wie zum Beispiel das Drücken eines „T“-förmigen Blocks in drei verschiedene Positionen, ohne zweimal dieselbe Stelle zu treffen, oder das Finden eines versteckten Knopfs.

Ohne Gedächtnis (Alte Roboter): Sie scheiterten fast an allem. Sie drückten den Block, blieben stecken und drückten ihn erneut, wodurch sie im Kreis liefen. Erfolgsquote: 0 %.
Mit CAMP: Der Roboter erinnerte sich: „Ich habe die linke Stelle schon probiert, das hat nicht funktioniert. Ich werde die mittlere Stelle probieren.“ Erfolgsquote: Bis zu 94 % in Simulationen und 70 % an echten Robotern.

Warum das wichtig ist

Die meisten Roboter verlassen sich auf „Vision-Language-Action“-Modelle, was so ist, als würde man einem Menschen sagen: „Erinnere dich daran, den roten Block zu drücken.“ Aber man muss ihnen jedes Mal genau sagen, woran sie sich erinnern sollen.

CAMP ist anders. Es lehrt den Roboter, für sich selbst zu erinnern. Es lernt, dass seine eigene Historie der Bewegungen der wichtigste Hinweis ist, um das Rätsel zu lösen. Es verwandelt ein „teilweise beobachtbares“ Problem (bei dem man nicht das ganze Bild sieht) in ein „klares“ Problem, indem es die fehlenden Lücken mit dem Gedächtnis füllt.

Zusammenfassung

Das Problem: Roboter vergessen, was sie gerade versucht haben, und wiederholen daher Fehler.
Die Lösung: CAMP gibt dem Roboter ein „komprimiertes Gedächtnis“ seiner eigenen vergangenen Handlungen.
Die Magie: Es braucht keinen Menschen, der ihm sagt, was er sich merken soll; es lernt, sich zu erinnern, indem es versucht, seine eigene Vergangenheit zu rekonstruieren.
Das Ergebnis: Roboter können endlich komplexe, mehrstufige Rätsel lösen, bei denen sie aus Fehlern lernen müssen, genau wie ein Mensch es tun würde.

Technisches Resümee: Compressed Action Memory Policy (CAMP)

Problemstellung

Langfristige, kontaktreiche Robotermanipulationsaufgaben sind von Natur aus teilweise beobachtbar (partially observable). In diesen Szenarien erfasst eine einzelne visuelle Beobachtung selten den vollständigen Aktionskontext des Roboters, einschließlich vorangegangener Versuche, physischer Interaktionen oder der aktuellen Phase des Aufgabenfortschritts. Infolgedessen leiden Standard-Visuomotorik-Policies und Vision-Language-Action (VLA)-Modelle unter „Amnesie“, indem sie auf aliasierten Signalen agieren, die nicht in der Lage sind, Zustände zu unterscheiden, die visuell identisch aussehen, sich aber in ihrer Interaktionshistorie unterscheiden.

Bestehende Lösungen stehen vor erheblichen Einschränkungen:

Gedächtnislose Policies: Sie versagen dabei, den Fortschritt zu verfolgen oder aus fehlgeschlagenen Versuchen in kontaktreichen Umgebungen zu lernen.
VLA-basierte Ansätze: Erfordern oft mühsame, nicht skalierbare menschliche Prompts, um festzulegen, was erinnert werden soll, oder verlassen sich auf die Vorhersage hochdimensionaler zukünftiger/vergangener visueller Beobachtungen, was rechentechnisch prohibitiv ist und dazu neigt, aufgabenirrelevante Details zu erlernen.
Visuelles Gedächtnis: Methoden, die auf visuellen Token-Speichern oder Keyframe-Retrieval basieren, haben Schwierigkeiten, wenn die kritischen Informationen in der physischen Kontakt-Historie statt im visuellen Erscheinungsbild kodiert sind.

Methodik: Compressed Action Memory Policy (CAMP)

CAMP adressiert diese Herausforderungen, indem es die eigene Aktionshistorie des Roboters als ein hochinformatives, selbstüberwachtes Signal nutzt. Die Kernidee besteht darin, dass durch das Erlernen der Rekonstruktion vergangener Aktionen eine Policy natürlich in der Lage ist, die kritischsten Verhaltensinformationen zu extrahieren und zu bewahren, die zur Disambiguierung teilweise beobachtbarer Zustände erforderlich sind.

Die CAMP-Architektur besteht aus drei primären Komponenten:

1. Pretraining des Memory-Moduls (Selbstüberwacht)

Ein rekurrentes Gedächtnismodul (implementiert als zweischichtiges LSTM) wird vortrainiert, um die Interaktionshistorie zusammenzufassen.

Input: Das Modul verarbeitet Beobachtungs-Aktions-Paare, wobei es spezifisch eine feste Third-View-Kamera (für eine konsistente räumliche Referenz) und Propriozeption nutzt.
Zielsetzung: Anstatt rohe Aktionssequenzen zu memorieren, sagt das Modul eine komprimierte Repräsentation der vergangenen Aktions-Trajektorie mittels der Diskreten Kosinustransformation (DCT) voraus.
Verlustfunktion (Loss Function): Das Trainingsziel kombelt:
- Rekonstruktionsverlust ( $L_{rec}$ ): Überwacht die Vorhersage von DCT-Koeffizienten im Frequenzbereich. Ein Frequenzgewicht reduziert hochfrequente Koeffizienten, wodurch das Gedächtnis gezwungen wird, die niederfrequente Struktur (Form) der Trajektorie zu erfassen und schrittspezifisches Rauschen zu verwerfen.
- Temporale Konsistenz ( $L_{cons}$ ): Stellt sicher, dass die Rekonstruktion einer festen vergangenen Aktion konsistent bleibt, während das Episode voranschreitet, um ein Driften des Gedächtnis-Accounts zu verhindern.
Ergebnis: Der verborgene Zustand $h_t$ wird zu einer kompakten, latenten Zusammenfassung der Verhaltenshistorie statt eines rohen Puffers.

2. Diskretisierung (Vector Quantization)

Um die Generalisierung zu verbessern, wird der kontinuierliche verborgene Zustand $h_t$ mittels eines Vector Quantizers (VQ) diskretisiert.

Der Zustand wird der nächstgelegenen Einheit in einem gelernten Codebook zugeordnet.
Diese Diskretisierung zwingt das Gedächtnis dazu, grobkörnige Verhaltenszustände anstatt feinkörniger Trajektorien-Identitäten zu kodieren, was die Autoren als entscheidend für die Generalisierung über Demonstrationen hinweg fanden.
Der quantisierte Zustand wird auf einen Memory-Code $m_t$ projiziert, der als einziges Historien-Signal für den Aktions-Head dient.

3. Diffusion Action Head

Der Aktions-Head folgt dem Diffusion Policy Framework und sagt einen Chunk zukünftiger Aktionen voraus.

Conditioning: Das Diffusionsmodell wird durch die Konkatenation von visuellen Merkmalen (aus Third-Person- und Wrist-Kameras), Propriozeption und dem diskretisierten Memory-Code $m_t$ konditioniert.
Trainingsplan: Ein gestufter Warm-up-dann-Finetune-Plan wird angewendet. Das Gedächtnismodul wird vortrainiert und eingefroren, während der Aktions-Head lernt, sich an dieses anzupassen. Anschließend wird das Gedächtnis aufgetaut und gemeinsam mit dem Aktions-Head feinjustiert. Dies verhindert, dass der Aktionsverlust die während des Pretrainings installierten Langzeit-Informationen erodiert.

Zentrale Beiträge

Selbstüberwachte Memory-Formulierung: Führt die Rekonstruktion der Aktionshistorie via DCT-Kompression als skalierbares, selbstüberwachtes Signal ein, um aufgabenrelevante Verhaltensgedächtnisse ohne externe Supervision zu erfassen.
Die CAMP-Architektur: Ein neuartiges Framework, das ein rekurrentes Gedächtnismodul (trainiert via DCT-Aktionskompression) mit einer Diffusions-Policy integriert, was langfristige, kontaktreiche Manipulation in teilweise beobachtbaren Umgebungen ermöglicht.
Neue Benchmarks: Die Veröffentlichung von Memory-T-Bench (2D kontaktreiche Pushing-Aufgaben) und Memory-Manip-Bench (3D visuelle Manipulationsaufgaben), die speziell darauf ausgelegt sind, gedächtnisabhängige Aufgaben wie das Verfolgen von Fortschritt und das Lernen aus Fehlern zu evaluieren.
Umfassende Validierung: Empirischer Nachweis der Überlegenheit von CAMP gegenüber dem Stand der Technik (State-of-the-Art) über Simulationen und vier Realroboter-Setups hinweg.

Experimentelle Ergebnisse

Simulations-Benchmarks

Memory-T-Bench: CAMP übertrifft die gedächtnislose Diffusion Policy (DP) bei teilweise beobachtbaren Varianten signifikant.
- Multi-Goals: 94,0 % (CAMP) vs. 56,0 % (DP).
- Swap-Shuffle: 92,0 % (CAMP) vs. 48,0 % (DP).
- Bei voll beobachtbaren Aufgaben (Standard Push-T) erzielt CAMP vergleichbare Ergebnisse wie DP (98,0 % vs. 94,0 %), was zeigt, dass das Gedächtnis keinen Nachteil darstellt, wenn es nicht benötigt wird.
Memory-Manip-Bench: CAMP erreicht eine durchschnittliche Erfolgsquote von 64,3 % und übertrifft damit die stärkste Baseline (DP mit 40,9 %) um über 23 %. Es führt in 6 von 7 Aufgaben, mit den größten Margen bei Aufgaben, die die Erinnerung an Zustände erfordern (z. B. Swap-Block: 86,0 % vs. 18,0 %).
Dateneffizienz: Die Erfolgsquote von CAMP skaliert monoton mit der Anzahl der Demonstrationen (42 % bis 94 %, wenn die Demos von 80 auf 320 steigen), während gedächtnislose Policies keinen konsistenten Gewinn zeigen, was darauf hindeutet, dass der Engpass für gedächtnislose Policies die partielle Beobachtbarkeit und nicht das Datenvolumen ist.

Realroboter-Experimente

Evaluierung auf vier Aufgaben: Push-T-Multi-Goals, Swap-Can, Wipe-Plate und Probe-Insert.

Baselines: Alle gedächtnislosen Baselines (ACT, DP, $\pi^{0.5}$ , MemoryVLA) brachen bei Push-T-Multi-Goals, Swap-Can und Wipe-Plate auf 0/10 Erfolg ein.
CAMP: Erreichte 7/10 Erfolg bei allen drei Aufgaben und 11/15 bei Probe-Insert.
Fehlermodi: Baselines scheiterten durch Oszillation zwischen Zielen, Stillstand nach Teil-Swaps oder das Betreten von Endlosschleifen (Wiederverwendung von Pinseln/Platten), da sie nicht verfolgen konnten, welche Teilziele bereits abgeschlossen waren. CAMP löste dies erfolgreich durch das Erinnern an vergangene Interaktionen.

Ablationsstudien

Diskretisierung: Das Entfernen der Vector Quantization senkt die Performance (94 % $\to$ 60 %), was bestätigt, dass grobe Verhaltenszustände besser generalisieren als kontinuierliche Trajektorien-Identitäten.
Kompression: Der Ersatz von DCT durch rohe Wegpunkte oder DFT reduziert die Leistung, was die Notwendigkeit der niederfrequenten Kompression unterstreicht.
Trainingsplan: Ein gemeinsames Training von Grund auf (66 %) oder Pretraining gefolgt von sofortigem Finetuning (46 %) scheitert. Der Warm-up-dann-Finetune-Plan ist entscheidend, um das vortrainierte Gedächtnis zu bewahren und es gleichzeitig an die Policy anzupassen.
Rekonstruktion vs. Nutzen: Das feinjustierte Gedächtnis, welches eine höhere Policy-Erfolgsquote erreicht (94 %), weist einen schlechteren Rekonstruktionsverlust (1,46) auf als das vortrainierte Gedächtnis (0,35). Dies deutet darauf hin, dass die Policy von einer komprimierten Zusammenfassung profitiert, die auf die Entscheidungsfindung ausgerichtet ist, und nicht von einer perfekten Rekonstruktion der Vergangenheit.

Bedeutung und Ansprüche

Das Paper behauptet, dass CAMP nach Kenntnis der Autoren die erste Policy ist, die substanziellen Erfolg bei kontaktreichen, teilweise beobachtbaren Manipulationsaufgaben rein durch gelerntes Gedächtnis demonstriert.

Von den Autoren hervorgehobene Kernerkenntnisse:

Gedächtnis löst partielle Beobachtbarkeit: Durch die Kompression der Aktionshistorie verwandelt CAMP teilweise beobachtbare Probleme effektiv in Markovsche Probleme für die Policy.
Selbstüberwachung ist ausreichend: Roboter können robustes Verhaltensgedächtnis aus ihrer eigenen Aktionshistorie lernen, ohne explizite Aufgaben-Labels oder menschliche Prompts zu benötigen.
Skalierbarkeit: Der Ansatz vermeidet die Rechenkosten der visuellen Vorhersage und die Skalierbarkeitsprobleme des manuellen Prompt-Engineerings.

Die Autoren weisen darauf hin, dass die Methode weiterhin Schwierigkeiten mit extrem langfristigen Gedächtnisanforderungen hat und die Erweiterung auf dexterous Manipulation (geschickte Manipulation) eine offene Forschungsrichtung für die Zukunft bleibt.