🤖 machine learning

$μ$ VLA: On Recurrent Memory for Partially Observable Manipulation in VLA Models

Dieses Paper führt $\mu$ VLA ein, eine kontrollierte Studie, die zeigt, dass die Erweiterung eines starken vortrainierten Vision-Language-Action (VLA)-Backbones um einen minimalen Satz lernbarer Memory-Token, die mittels Self-Attention aktualisiert werden, die Leistung bei teilweise beobachtbaren Manipulationsaufgaben signifikant verbessert, ohne dass zusätzliche Hilfslosverluste oder komplexe architektonische Änderungen erforderlich sind, während gleichzeitig die Robustheit unter voller Beobachtbarkeit beibehalten wird.

Ursprüngliche Autoren: Egor Cherepanov, Nikita Kachaev, Daniil Zelezetsky, Aydar Bulatov, Artem Pshenitsyn, Yuri Kuratov, Alexey Skrynnik, Aleksandr I. Panov, Alexey K. Kovalev

Veröffentlicht 2026-06-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Egor Cherepanov, Nikita Kachaev, Daniil Zelezetsky, Aydar Bulatov, Artem Pshenitsyn, Yuri Kuratov, Alexey Skrynnik, Aleksandr I. Panov, Alexey K. Kovalev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Roboter mit Kurzzeitgedächtnis

Stellen Sie sich vor, Sie bringen einem Roboter das Spiel „Schokoladenschachtel“ (oder das Spiel mit den Bechern) bei. Sie zeigen ihm einen Ball unter einem Becher, dann schieben Sie die Becher umher, sodass der Ball versteckt ist. Schließlich fragen Sie den Roboter, welcher Becher der richtige ist.

Standard-Robotergehirne (genannt VLA-Modelle) sind wie Menschen mit einer sehr kurzen Aufmerksamkeitsspanne. Sie schauen darauf, was gerade jetzt passiert, und entscheiden dann, was als Nächstes zu tun ist. Wenn der Ball versteckt ist, haben sie keine Ahnung, wo er ist, weil sie sich nicht an den Moment „erinnern“ können, als sie ihn gesehen haben. Sie sind im Hier und Jetzt gefangen und unfähig, Informationen aus der Vergangenheit zu nutzen, um aktuelle Probleme zu lösen.

Die Lösung: µVLA (Der „Post-it“-Roboter)

Die Forscher hinter µVLA wollten diesen Robotern ein Gedächtnis geben, ohne ihr Gehirn komplett neu aufbauen zu müssen. Sie wollten keine riesige externe Festplatte oder ein komplexes neues System hinzufügen. Stattdessen fügten sie einen winzigen, internen „Notizblock“ hinzu.

Stellen Sie sich das Gehirn des Roboters als eine riesige Bibliothek des Wissens vor. Die Forscher fügten einen kleinen Stapel von 64 „Post-its“ (genannt Memory Tokens) direkt in diese Bibliothek ein.

Wie es funktioniert: Jedes Mal, wenn der Roboter einen Schritt macht, betrachtet er die Welt, schreibt eine kurze Notiz auf eines dieser Post-its und nimmt diese Notiz mit zum nächsten Schritt.
Die Magie: Der Roboter kann diese Notizen später lesen. Wenn er am Anfang den Ball unter dem Becher gesehen hat, schreibt er „Ball ist hier“ auf eine Notiz. Selbst wenn die Becher verschoben werden und der Ball versteckt ist, kann der Roboter die Notiz lesen und weiß, wo er zugreifen muss.

Das Experiment: Die „Post-it“-Theorie testen

Die Forscher waren sehr sorgfältig. Sie haben nicht einfach ein Gedächtnissystem hinzugefügt und gehofft, dass es funktioniert. Sie wollten beweisen, dass die Rekurrenz (der Akt des Weiterleitens von Informationen) die einzige Sache war, die den Roboter intelligenter machte.

Sie behandelten das Gedächtnis wie eine einzelne Variable in einem wissenschaftlichen Experiment:

Die Kontrollgruppe: Ein Roboter ohne Post-its (er schaut nur auf die Gegenwart).
Die Testgruppe: Derselbe Roboter, aber mit den 64 Post-its.
Die Variable: Sie änderten, wie der Roboter auf den Notizen schrieb (z. B. lernte er von den letzten 2 Schritten? Den letzten 8 Schritten? Oder nur vom aktuellen Schritt?).

Was sie herausfanden

1. Der „Sweet Spot“ für das Gedächtnis
Sie fanden heraus, dass der Roboter sich nicht an alles aus der Vergangenheit erinnern musste.

Zu wenig Gedächtnis (1 Schritt): Der Roboter vergisst zu schnell.
Zu viel Gedächtnis (8 Schritte): Der Roboter wird durch zu viel Geschichte verwirrt.
Genau richtig (2 Schritte): Der Roboter schnitt am besten ab. Es war wie ein Mensch, der sich die letzten zwei Sekunden eines Gesprächs perfekt merkt, was es ihm ermöglicht, einer Geschichte zu folgen, ohne überfordert zu werden.

2. Die Ergebnisse: Von tollpatschig zu kompetent
Bei dem „Becher-Spiel“ und ähnlichen Gedächtnisaufgaben:

Ohne Gedächtnis: Der Roboter war nur in 42 % der Fälle erfolgreich. Er hat geraten.
Mit µVLA: Der Roboter war in 84 % der Fälle erfolgreich. Er hat tatsächlich gelernt, versteckte Objekte zu verfolgen.

3. Macht es den Roboter kaputt?
Eine häufige Befürchtung ist, dass das Hinzufügen von Gedächtnis einen Roboter schlecht in einfachen Aufgaben machen könnte, bei denen er nichts erinnern muss (wie das Stapeln von Blöcken in einem gut beleuchteten Raum).

Das Ergebnis: Nein. Der Roboter mit den „Post-its“ war bei einfachen Aufgaben genauso gut wie der Roboter ohne sie. Das Gedächtnissystem war „benigne“ (gutartig) – es half nur, wenn es nötig war, und stand nicht im Weg, wenn es nicht gebraucht wurde.

4. Die Grenzen
Das Gedächtnis ist leistungsstark, aber es ist keine Magie.

Wenn der Roboter darauf trainiert wurde, sich an Farben zu erinnern, wurde er darin gut.
Wenn man ihn dann bat, sich an Formen zu erinnern (ein völlig neues Konzept, das er nie gesehen hatte), hatte er Schwierigkeiten. Das Gedächtnissystem lernte, wie man Informationen hält, aber es lernte nicht automatisch, was man halten soll, wenn sich die Regeln völlig ändern.

Das Fazit

Diese Arbeit beweist, dass man kein massives, komplexes KI-Gehirn braucht, um einem Roboter ein Gedächtnis zu geben. Man braucht nur einen winzigen, internen „Notizblock“, der sich jede Sekunde aktualisiert.

Durch das Hinzufügen dieser kleinen, rekurrenten Schleife hört der Roboter auf, ein „Momentan-Denker“ zu sein, und wird zu einem „Geschichtenerzähler“, der Ursache und Wirkung über die Zeit hinweg versteht. Es verwandelt einen Roboter, der vergisst, sobald man wegsieht, in einen, der Verstecken spielen kann.

Technisches Resümee: µVLA – Über rekurrenten Speicher für teilobservierbare Manipulation in VLA-Modellen

Problemstellung

Vision-Language-Action (VLA)-Modelle formulieren die Robotersteuerung typischerweise als Next-Token-Prediction über multimodale Sequenzen, wobei sie davon ausgehen, dass die aktuelle Beobachtung (potenziell ergänzt durch ein kurzes Kontextfenster) eine hinreichende Statistik für die Steuerung darstellt. Diese Markovsche Annahme gilt in voll beobachtbaren Umgebungen, versagt jedoch unter Teilobservabilität, bei der informationsrelevante Daten transient, verdeckt oder zu einem früheren Zeitpunkt einer Episode etabliert sind.

Bestehende Ansätze zum Gedächtnis in VLAs kombinieren Rekurrenz oft mit anderer komplexer Mechanik, wie etwa externen Retrieval-Systemen, hierarchischen Speicherstrukturen, Hilfszielen (z. B. der Vorhersage vergangener Beobachtungen) oder taskspezifischen architektonischen Änderungen. Infolgedessen bleibt der spezifische Beitrag der Rekurrenz selbst mit diesen umgebenden Mechanismen verstrickt, was es schwierig macht, zu isolieren, ob Leistungssteigerungen aus dem rekurrenten Zustand oder den Hilfskomponenten resultieren.

Methodik: µVLA

Die Autoren präsentieren µVLA, eine kontrollierte Isolationsstudie der Rekurrenz innerhalb eines starken, vortrainierten VLA-Backbones (OpenVLA-OFT). Die Kernformulierung erweitert den Transformer um einen minimalen Satz an lernbaren Memory-Tokens ( $M_t \in \mathbb{R}^{m \times d}$ ), die über Zeitschritte hinweg getragen und via Standard-Self-Attention aktualisiert werden.

Zentrale Designentscheidungen

Minimalistische Architektur: Das Modell fügt der Eingangssequenz lediglich $m$ lernbare Memory-Tokens hinzu (platziert zwischen Propriozeption und Text-Tokens). Es werden keine neuen Schichten, externen Speicherbanken oder Retrieval-Module eingeführt.
Trainingsregime:
- Episodischer Dataloader: Im Gegensatz zum standardmäßigen Shuffled-Training wird das Modell auf zeitlich geordneten Episoden unter Verwendung eines Round-Robin-Dataloaders trainiert, um die Zustandskontinuität aufrechtzuerhalten.
- Truncated Backpropagation Through Time (TBPTT): Das Modell wird end-to-end mittels TBPTT über ein Fenster von $K$ Schritten feinjustiert. Gradienten fließen durch die rekursive Kette innerhalb des Fensters, werden aber an der Grenze abgetrennt.
- Keine Hilfsverluste (Auxiliary Losses): Das Modell wird ausschließlich auf dem Standard-Action-Prediction-Loss (L1-Regression) trainiert, ohne Hilfsziele wie die Vorhersage vergangener Beobachtungen.
Attention Mask Guard: Ein kritisches Designelement ist eine modifizierte Attention-Maske, die verhindert, dass Memory-Tokens auf Action-Tokens aufmerksam werden. Dies verhindert eine degenerative Lösung, bei der das Modell die vorhergesagte Action-Chunk trivial in den Speicher kopiert, und zwingt es stattdessen dazu, taskrelevante Umweltmerkmale zu kodieren.
Receding-Horizon-Inferenz: Um Training und Inferenz in Einklang zu bringen, nutzt das Modell Receding-Horizon-Control, wobei das Modell bei jedem Umgebungsschritt abgefragt wird und nur die erste Aktion eines vorhergesagten Chunks ausgeführt wird. Dies stellt sicher, dass die Speicheraktualisierungen im korrekten Takt erfolgen und vermeidet den Train-Test-Mismatch, der bei Open-Loop-Chunking inhärent ist.

Experimenteller Aufbau

Die Studie evaluiert µVLA auf zwei Benchmarks:

MIKASA-Robo: Ein Benchmark für teilobservierbare Manipulation, der darauf ausgelegt ist, die Abhängigkeit vom Gedächtnis zu isolieren (z. B. Cue-Recall, Okklusions-Tracking, sequenzielles Gedächtnis).
LIBERO: Ein voll beobachtbarer Benchmark, der als Kontrolle dient, um eine Leistungsregression in Markovschen Settings zu testen.

Die Autoren variieren drei Parameter, um eine Familie von Modellen zu erstellen: Speicherbreite ( $m$ ), TBPTT-Länge ( $K$ ) und die Speicher-Update-Regel (TBPTT vs. abgetrennter Exponential Moving Average).

Zentrale Beiträge

Kontrollierte Isolationsstudie: Diese Arbeit liefert die erste kontrollierte Isolation der Rekurrenz innerhalb eines vortrainierten VLA-Backbones, wobei die Rekurrenz als einzelne experimentelle Achse variiert wird, ohne dass Retrieval, Kompression oder Hilfsverluste die Ergebnisse verfälschen.
µVLA-Familie: Die Einführung einer parametrisierten Familie von rekurrenten Fine-Tunes von OpenVLA-OFT, die denselben Backbone, denselben Optimizer und dasselbe Inferenzprotokoll teilen und sich lediglich in ihrer rekurrenten Zustallskonfiguration unterscheiden.
Kalibrierung der Leistungsfähigkeit: Die Arbeit kalibriert das „Leistungsfenster“ (Capability Envelope) minimaler In-Backbone-Rekurrenz und identifiziert spezifische Regime, in denen sie ausreichend ist und in denen sie versagt.

Ergebnisse

Leistung bei teilobservierbaren Aufgaben (MIKASA-Robo)

Trainingsaufgaben: Bei den fünf Trainingsaufgaben (die Cue-Recall, Okklusion und sequenzielles Gedächtnis abdecken) verbesserte die beste µVLA-Konfiguration ( $m=64, K=2$ $m = 64, K = 2$ ) die durchschnittliche Erfolgsrate (Success Rate, SR) von 0,42 (gedächtnisloser Baseline) auf 0,84.
- Signifikante Gewinne wurden bei Cue-Recall-Aufgaben beobachtet (z. B. RememberColor5: 0,04 $\to$ 0,93).
Held-out Aufgaben (Gleiche Semantik): Bei Aufgaben, die dieselbe Gedächtnissemantik wie das Training, aber unterschiedliche Schwierigkeitsgrade aufweisen, erreichte die beste µVLA eine SR von 0,23, verglichen mit 0,07 der gedächtnislosen Baseline.
Held-out Aufgaben (Neue Semantik): Bei Aufgaben, die Gedächtnisstrukturen erfordern, die nicht in der Trainingsmischung vorhanden waren (z. B. Shape-only Memory, wenn auf Farbe trainiert wurde), blieb die Leistung nahe der Baseline, was darauf hindeutet, dass minimale Rekurrenz nicht ohne Retraining auf völlig neue Gedächtnissemanitken generalisiert.
Verkürzungs-Länge ( $K$ ): Es wurde eine U-förmige Leistungskurve beobachtet. $K=2$ übertraf sowohl $K=1$ (keine Gradienten über Schritte hinweg) als auch $K=8$ (längere Gradienten), was auf einen optimalen Punkt zwischen Credit Assignment und Signalauflösung hindeutet.

Leistung bei voll beobachtbaren Aufgaben (LIBERO)

Keine Regression: In der voll beobachtbaren LIBERO-Suite erreichte die stärkste rekurrenten Variante ( $m=64, K=8$ ) eine durchschnittliche SR von 96,2 % und entsprach damit der gedächtnislosen OpenVLA-OFT-Baseline oder übertraf diese sogar. Dies bestätigt, dass das Hinzufügen eines rekurrenten Kanals die Leistung in Markovschen Settings nicht verschlechtert.
Inferenz-Sensitivität: Die Ergebnisse unterstrichen die Bedeutung der Receding-Horizon-Inferenz. Wenn dieselbe µVLA-Modell mit Open-Loop-Chunking evaluiert wurde (Speicheraktualisierung nur einmal pro Chunk), brach die Leistung ein (z. B. sank die SR von Long-10 von 95,8 % auf 5,4 %), was die kritische Abstimmung zwischen Trainings- und Inferenz-Takt demonstriert.

Diagnostik und Interventionen

Kausale Interventionen: Das Ersetzen der Memory-Tokens durch Gaußsches Rauschen während der Inferenz verurste einen scharfen Abfall der Erfolgsraten bei gedächtnisabhängigen Aufgaben (z. B. RememberColor5: 0,94 $\to$ 0,09), was bestätigt, dass die Policy den rekurrenten Zustand aktiv ausliest.
Attention Rollouts: Die Attention-Analyse zeigte, dass die Memory-Tokens während der Beobachtungsphase auf Cue-Regionen (z. B. eine Lampe oder ein Gitter) konzentrieren und während der Okklusion diffundieren, was mit den Phasenübergängen der Aufgabe übereinstimmt.
Generalisierung: Das Modell zeigte eine teilweise Robustheit gegenüber OOD-Cue-Identitäten (z. B. Farbaustausch), verschlechterte sich jedoch signifikant, wenn die Phasenlänge (Verzögerung zwischen Cue und Aktion) das Trainingshorizont überschritt.

Bedeutung und Ansprüche

Die Autoren positionieren µVLA nicht als neue Foundation-Modell-Architektur, sondern als eine Kalibrierung des Leistungsfensters minimaler Rekurrenz.

Rekurrenz ist eine starke Komponente: Die Ergebnisse argumentieren, dass Rekurrenz an sich eine mächtige, unterstudierte Komponente in VLA-Systemen ist. Selbst ein kleiner Satz lernbarer Tokens, die end-to-end ohne Hilfsverluste trainiert wurden, kann das operative Regime eines VLA qualitativ verändern und es in die Lage versetzen, teilobservierbare Aufgaben zu lösen, die für gedächtnislose Policies unmöglich sind.
Grenzen minimaler Rekurrenz: Die Studie zeigt klare Grenzen auf. Minimale Rekurrenz ist ausreichend für Aufgaben, bei denen die Gedächtnisanforderung in der Trainingsverteilung repräsentiert ist und der zeitliche Horizont kurz ist. Sie generalisiert jedoch nicht automatisch auf neue Gedächtnissemanitken oder sehr lange Abhängigkeiten ohne zusätzliche strukturierte Gedächtnismechanismen.
Design-Implikationen: Die Arbeit legt nahe, dass zukünftige gedächtniserweiterte VLAs die Beiträge der Rekurrenz von Retrieval und hierarchischen Strukturen sorgfältig trennen sollten. Die „Sweet Spot“-Länge für TBPTT ( $K=2$ ) und die Notwendigkeit der Attention-Guard sind spezifische, unmittelbar anwendbare Erkenntnisse für das Design effizienter rekurrenter VLAs.

Zusammenfassend lässt sich sagen, dass die Arbeit demonstriert, dass Rekurrenz allein, wenn sie isoliert und korrekt trainiert wird, ein wirkungsvoller Mechanismus zur Bewältigung teilobservierbarer Zustände in der Robotermanipulation ist, vorausgesetzt, die Semantik der Aufgabe liegt innerhalb der gelernten Verteilung und das Inferenzprotokoll stimmt mit dem Trainings-Takt überein.