💻 computer science

Scaling Short-Term Memory of Visuomotor Policies for Long-Horizon Tasks

Dieses Paper stellt PRISM vor, eine Transformer-basierte Architektur mit Gated Attention und hierarchischer Kompression, die das Kurzzeitgedächtnis in visuomotorischen Policies für Langzeitaufgaben effektiv skaliert, zusammen mit dem ReMemBench-Benchmark zur systematischen Evaluierung, wobei signifikante Leistungssteigerungen gegenüber bestehenden Baselines ohne Rückgriff auf groß angelegtes Pretraining erzielt werden.

Ursprüngliche Autoren: Rutav Shah, Rajat Kumar Jenamani, Xiaohan Zhang, Lingfeng Sun, Roberto Martín-Martín, Yuke Zhu, Deva Ramanan, Karl Schmeckpeper

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rutav Shah, Rajat Kumar Jenamani, Xiaohan Zhang, Lingfeng Sun, Roberto Martín-Martín, Yuke Zhu, Deva Ramanan, Karl Schmeckpeper

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen ein komplexes Gericht zu kochen, aber jedes Mal, wenn Sie den Kopf drehen, um ein Gewürz zu greifen, vergessen Sie sofort, was Sie gerade getan haben. Sie schalten vielleicht den Herd ein, gehen weg, um eine Pfanne zu holen, und vergessen dann, ihn wieder auszuschalten, oder schlimmer noch, Sie vergessen, dass Sie das Salz bereits hinzugefügt haben. Dies ist das Problem, vor dem viele heutige Roboter stehen: Sie sind unglaublich intelligent darin, das zu sehen, was direkt vor ihnen liegt, aber sie besitzen fast kein „Kurzzeitgedächtnis“ dafür, was vor ein paar Sekunden oder Minuten passiert ist.

Dieses Paper stellt ein neues Robotergehirn namens PRISM und einen neuen Test namens REMEMBENCH vor, um dieses Problem zu lösen. So funktioniert es, einfach erklärt:

Das Problem: Roboter mit „Goldfischgedächtnis“

Die meisten modernen Roboter lernen, indem sie Menschen bei Aufgaben beobachten (wie ein Schüler, der seinem Lehrer nachahmt). Sie schauen jedoch meistens nur auf das aktuelle Videobild. Wenn eine Aufgabe erfordert, sich an etwas zu erinnern, das vor 30 Sekunden passiert ist – wie „Ich habe den Herd eingeschaltet, also muss ich zwei Minuten warten, bevor ich ihn ausschalte“ – scheitert der Roboter, weil er kein Gedächtnis für diese vergangene Handlung hat.

Wenn man versucht, dies zu beheben, indem man dem Roboter einfach eine längere Videohistorie zeigt, treten zwei schlechte Dinge auf:

Das Rauschproblem: Der Roboter wird von zu vielen Informationen überwältigt. Er könnte anfangen, zufällige, nutzlose Details (wie ein ablenkendes Objekt im Hintergrund) mit seinen Entscheidungen zu verknüpfen, was zu Fehlern führt.
Das Schwerlastproblem: Das Verarbeiten einer langen Videohistorie erfordert enorme Rechenleistung und Speicherplatz, was den Roboter langsam und teuer in der Ausführung macht.

Die Lösung: PRISM (Der kluge Bibliothekar)

Die Autoren haben PRISM entwickelt, eine Roboter-Policy, die eher wie ein kluger Bibliothekar als wie ein Hortier arbeitet. Anstatt jedes einzelne Blatt eines Buches im Kopf zu behalten, nutzt sie zwei clevere Tricks:

Der „Gated Attention“-Filter (Der Türsteher):
Stellen Sie sich vor, das Gedächtnis des Roboters ist ein überfüllter Raum. PRISM hat einen Türsteher an der Tür, der entscheidet, wer bleiben darf und wer rausgeworfen wird. Wenn der Roboter sich erinnert: „Ich habe einen roten Apfel aufgehoben“, aber die aktuelle Aufgabe mit einer blauen Schüssel zu tun hat, blockiert der Türsteher die Erinnerung an den roten Apfel, damit sie den Roboter nicht ablenkt. Dies verhindert, dass der Roboter unsinnige Verbindungen zwischen irrelevanten vergangenen Ereignissen und aktuellen Handlungen herstellt.
Der „Hierarchische“ Zusammenfasser (Der Nachrichtensprecher):
Anstatt jede einzelne Silbe einer langen Geschichte zu lesen, liest PRISM zuerst kleine Textabschnitte und schreibt für jeden eine kurze Zusammenfassung. Dann liest sie diese Zusammenfassungen, um die gesamte Handlung zu verstehen. Das ist so, als würde ein Nachrichtensprecher die Ereignisse des Tages zusammenfassen, anstatt jeden einzelnen Rohbericht vorzulesen. Dies macht den Roboter viel schneller und benötigt deutlich weniger Rechenleistung und Speicher, wodurch der Roboter eine Historie von bis zu zwei Minuten behalten kann.

Der Test: REMEMBENCH (Die Gedächtnisprüfung für Roboter)

Um zu beweisen, dass ihr Roboter tatsächlich ein Gedächtnis hat, haben die Autoren REMEMBENCH entwickelt. Betrachten Sie dies als eine Art „Führerscheinprüfung“ für das Robotergedächtnis. Es testet nicht nur, ob der Roboter seinen Arm bewegen kann; es testet vier spezifische Arten des Kurzzeitgedächtnisses:

Räumliches Gedächtnis (Spatial Memory): „Wo habe ich diese Frucht hingelegt?“ (Der Roboter muss ein Objekt finden, das er aktuell nicht sehen kann).
Prospektives Gedächtnis (Prospective Memory): „Ich muss den Herd in 2 Minuten ausschalten.“ (Der Roboter muss eine zukünftige Handlung basierend auf einem vergangenen Auslöser im Gedächtnis behalten).
Objekt-assoziatives Gedächtnis (Object-Associative Memory): „Ich habe diesen Apfel gewaschen, also muss ich ihn in diese spezifische Schüssel zurücklegen.“ (Der Roboter erinnert sich, welches Objekt zu welchem Behälter gehört).
Objekt-Mengen-Gedächtnis (Object-Set Memory): „Ich muss alle Grissini bewegen, aber ich muss sie beim Bewegen mitzählen.“ (Der Roboter führt eine laufende Zählung einer Gruppe von Gegenständen).

Die Ergebnisse: Ein klarer Sieger

Als sie PRISM gegen andere Roboter testeten (einschließlich jener mit Standard-„Langzeitgedächtnis“ oder anderen Arten von KI-Gehirnen):

Beim Gedächtnistest: PRISM war der klare Sieger und schlug den nächstbesten Roboter um eine signifikante Marge (5 % bis 12 % besser).
Bei Standardaufgaben: Selbst bei Aufgaben, die das Gedächtnis nicht explizit testen, war PRISM besser. Warum? Weil ein Gedächtnis dem Roboter hilft, den Kontext zu verstehen. Zum Beispiel hilft das Wissen, ob er eine Tasse gerade „aufgehoben hat“ oder sie „gleich abstellen wird“, dabei, Verwirrung zu vermeiden.
In der Realität: Als sie es an einem echten physischen Roboter testeten, versagte der Roboter ohne Gedächtnis völlig (0 % Erfolgsquote), während PRISM in 30 % der Fälle erfolgreich war.

Das Fazit

Das Paper behauptet, dass Roboter durch die Nutzung eines „Türstehers“ zur Filterung von Rauschen und eines „Zusammenfassers“ zur Platzersparnis endlich in der Lage sind, sich an das zu erinnern, was vor ein paar Minuten passiert ist. Dies ermöglicht es ihnen, lange, komplexe Aufgaben im Haushalt zu bewältigen, die eine Abfolge von Schritten erfordern, anstatt nur auf den unmittelbaren Moment zu reagieren. Die Autoren stellen das Robotergehirn (PRISM) und den Test (REMEMBENCH) zur Verfügung, um anderen Forschern dabei zu helfen, bessere, gedächtnisfähigere Roboter zu bauen.

Technisches Resümee: Skalierung des Kurzzeitgedächtnisses von visuomotorischen Policies für Langzeitaufgaben

1. Problemstellung

Robotische Aufgaben erfordern oft ein Kurzzeitgedächtnis (über Sekunden bis Minuten), um Teil-Beobachtbarkeit zu bewältigen, wie etwa das Abrufen von Objekten, die nicht mehr sichtbar sind, oder das Zeiten von Aktionen wie dem Ausschalten eines Geräts. Die meisten aktuellen, auf Transformer-Basis trainierten visuomotorischen Policies, die mittels Imitationslernen trainiert wurden, sind jedoch myopisch (kurzsichtig) und verlassen sich ausschließlich auf unmittelbare sensorische Eingaben, ohne vergangene Erfahrungen zu nutzen.

Die Erweiterung standardmäßiger Transformer-basierter Policies um längere Kontextfenster zur Bewältigung dieses Problems stellt zwei kritische Herausforderungen dar:

Scheinkorrelationen: Das naive Beachten langer Historien führt zur Einbeziehung irrelevanter Informationen (z. B. Standorte früherer Distraktoren), was dazu führt, dass Modelle falsche Korrelationen lernen, die die Leistung verändern, wenn sich der Kontext ändert.
Rechenskalierbarkeit: Der Rechen- und Speicherbedarf standardmäßiger Attention-Mechanismen skaliert linear oder quadratisch mit der Kontextlänge. Die Verarbeitung hochdimensionaler visueller Eingaben über lange zeitliche Sequenzen (z. B. Minuten) wird prohibitiv teuer.

2. Methodik: PRISM

Die Autoren schlagen PRISM (Policy Architecture with Short-Term Memory) vor, eine Transformer-basierte Architektur, die darauf ausgelegt ist, das Kurzzeitgedächtnis durch zwei zentrale Innovationen effektiv zu nutzen:

Gated Attention (Informationsfilterung): Um Scheinkorrelationen zu mildern, führt PRISM einen Post-Attention-Gating-Mechanismus ein. Diese Komponente filtert die abgerufenen Informationen selektiv, indem sie den Ausgang jedes Attention-Blocks mithilfe eines lernbaren Gates moduliert, das auf aktuellen Eingangsmerkmalen basiert. Dies ermöglicht es der Policy, irrelevante Details aus der Historie adaptiv zu unterdrücken und so das Rauschen in der Aktionsvorhersage zu reduzieren.
Hierarchische Architektur (Effizienz): Um die Skalierbarkeit zu adressieren, verwendet PRISM ein hierarchisches Design.
- Lokale Kodierung: Ein lokaler Gedächtnis-Encoder verarbeitet sensorische Eingaben und komprimiert sie mithilfe eines Perceiver-ähnlichen Resamplers in kompakte Token.
- Globale Attention: Ein globaler Gedächtnis-Encoder berechnet die Attention über diese komprimierten Token über die Zeit hinweg.
- Fusion: Die resultierenden globalen Informationen werden zurückgestrahlt und via Residualverbindungen mit den ursprünglichen lokalen Token fusioniert.
- Vorteil: Dieser Ansatz reduziert die Rechenkomplexität von $O((n \cdot k_{tot})^2)$ auf etwa $O(n \cdot k_{tot} \cdot m + (n \cdot k_{tot}/m)^2)$ , wobei $m$ der Kompressionsfaktor ist. Er reduziert zudem den Speicherbedarf zur Testzeit erheblich, da nur die komprimierten Zusammenfassungs-Token zwischengespeichert werden müssen.

PRISM wird mittels standardmäßiges Behavior Cloning (Imitationslernen) trainiert, ohne Hilfsverluste oder externe Gedächtnismodul zu verwenden, wobei Sequenzen vergangener sensorischer Eingaben und Aktionen in einem geschlossenen Regelkreis auf zukünftige Aktionen abgebildet werden.

3. Zentrale Beiträge

PRISM-Architektur: Eine neuartige Policy-Architektur, die Gated Attention und hierarchische Zusammenfassung kombiniert, um das Kurzzeitgedächtnis auf bis zu zwei Minuten (bei 2–3 Hz) zu skalieren und dabei gleichzeitig Recheneffizienz und Robustheit gegenüber Rauschen zu gewährleisten.
REMEMBENCH: Ein neuer Benchmark, der aus acht vielfältigen Haushaltsmanipulationsaufgaben besteht, die vier Kategorien des Kurzzeitgedächtnisses abdecken, welche aus der Kognitionswissenschaft abgeleitet sind:
- Spatial (Räumlich): Erinnern an Objektpositionen (z. B. das Abrufen versteckter Früchte).
- Prospective (Prospektiv): Beibehalten von Intentionen über eine Verzögerung (z. B. das Braten von Fleisch für eine bestimmte Dauer).
- Object-Associative (Objekt-assoziativ): Erinnern an Objekt-Orts-Assoziationen (z. B. das Zurücklegen eines gewaschenen Gegenstands auf seine spezifische ursprüngliche Untertasse).
- Object-Set (Objekt-Set): Beibehalten und Aktualisieren von Mengen mehrerer Objekte (z. B. das Zählen von gezählten Baguettes, die in die Mikrowelle gelegt wurden).
- Im Gegensatz zu bisherigen Benchmarks, die sich auf einzelne Aspekte oder indirekte Gedächtnistests konzentrieren, erfordert REMEMBENCH explizit das Gedächtnis zum Erfolg, da unmittelbare sensorische Eingaben unzureichend sind.

4. Experimentelle Ergebnisse

Das Paper evaluiert PRISM im Vergleich zu rekurrenten Architekturen (LSTM, Mamba), segmentbasierten rekurrenten Transformern (Transformer-XL) und anderen Transformer-Varianten (Linear Attention, Scene Memory Transformer) auf REMEMBENCH und Standard-Benchmarks.

REMEMBENCH-Leistung: PRISM erreicht eine durchschnittliche Erfolgsquote von 41 % und übertrifft damit die stärksten Baselines (SMT bei 36 %, PTP bei 28 %, Mamba bei 25 %) um eine absolute Differenz von 5 %–12 %.
- Skalierung: Die Leistung skaliert mit der Gedächtnisgröße; die Erhöhung des Fensters von 1 auf 512 Zeitschritte verbessert die Erfolgsraten von 16 % auf 42 %, ohne Sättigung.
- Ablation: Das Entfernen des Gating-Mechanismus führt zu einem Einbruch der Leistung um 16 Punkte, was dessen Notwendigkeit zur Filterung irrelevanter Historie bestätigt.
Standard-Benchmarks (ROBOCASA & LIBERO):
- Auf ROBOCASA erreicht PRISM mit Gedächtnis (n=256) 43 % Erfolg, eine absolute Verbesserung von 11 % gegenüber seiner Variante ohne Gedächtnis und eine 11 % Steigerung gegenüber der feinabgestimmten GR00T-N1-2B Baseline.
- Auf LIBERO erreicht PRISM eine durchschnittliche Erfolgsquote von 89 %, was eine Verbesserung von 15 % gegenüber der feinabgestimmten OpenVLA-Baseline und 12 % gegenüber seiner Variante ohne Gedächtnis darstellt.
- Die Autoren merken an, dass das Hinzufügen von Gedächtnis hilft, Aktionsambiguitäten in visuell identischen Zuständen aufzulösen (z. B. Unterscheidung zwischen „gerade gegriffen“ und „bevor platziert wird“), wodurch die Multimodalität selbst in Aufgaben, die nicht explizit auf Gedächtnis getestet wurden, reduziert wird.
Realwelt-Evaluation: In einer Realwelt-Adaption der Aufgabe „Waschen und in Behälter zurücklegen“ erreichte PRISM 30 % Erfolg, verglichen mit 15 % für eine Transformer-Baseline ohne Gedächtnis und 0 % für eine Policy ohne Gedächtnis.
Effizienz: Bei einer Kontextlänge von 512 Schritten reduziert PRISM den Spitzen-GPU-Speicherverbrauch um 80 % und die Laufzeit um 40 % im Vergleich zu Full Global Attention und hybriden Sliding-Window-Ansätzen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass PRISM und REMEMBENCH eine Grundlage für die Entwicklung und Evaluierung von kurzzeitgedächtnis-erweiterten visuomotorischen Policies schaffen, die in der Lage sind, langfristige Aufgaben zu bewältigen.

Generalisierung: Durch die Abdeckung von vier verschiedenen Gedächtniskategorien fördert REMEMBENCH die Entwicklung allgemeiner Gedächtnismechanismen anstelle von isolierten, aufgabenspezifischen Lösungen.
Skalierbarkeit: PRISM zeigt, dass das Kurzzeitgedächtnis auf Minuten der Interaktion skaliert werden kann, ohne die prohibitiven Kosten, die mit naiven Erweiterungen des Kontextfensters verbunden sind.
Robustheit: Der Gated-Attention-Mechanismus erweist sich als essenziell, um zu verhindern, dass das Modell Scheinkorrelationen in verrauschten, langfristigen Daten lernt.

Die Autoren kommen zu dem Schluss, dass auch wenn die aktuellen Erfolgsquoten auf REMEMBENCH (um die 30–40 %) zeigen, dass langfristige Aufgaben weiterhin eine Herausforderung darstellen, die konsistenten Gewinne durch Gedächtniserweiterung über verschiedene Architekturen und Benchmarks hinweg die Validität des Ansatzes bestätigen. Sie identifizieren zukünftige Richtungen wie die Integration von beständigem Langzeitgedächtnis und die Nutzung von Internet-Scale-Pretraining für Gedächtnismodulen, betonen jedoch, dass sich ihre aktuelle Arbeit strikt auf die Mechanik des Kurzzeitgedächtnisses innerhalb des Imitationslern-Frameworks konzentriert.