🤖 AI

Retrieve, Don't Retrain: Extending Vision Language Action Models to New Tasks at Test Time

Dieses Paper schlägt einen Retrieval-Augmented-Ansatz vor, der eingefrorene Vision-Language-Action-Modelle durch das Indizieren von Demonstrationen eines kostengünstigeren Embodiments zur Testzeit auf neue Aufgaben erweitert, wodurch die Notwendigkeit eines pro-Aufgabe-spezifischen Fine-Tunings eliminiert wird, während gleichzeitig eine überlegene Leistung bei ungesehenen Aufgaben und Embodiments erzielt wird.

Ursprüngliche Autoren: Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Roboter, der neue Aufgaben lernen muss. Traditionell ist das Beibringen einer neuen Aufgabe an einen Roboter (wie das Öffnen eines bestimmten Schranks oder das Platzieren einer Flasche in einem Karton) so, als würde man für jede einzelne neue Fertigkeit einen persönlichen Tutor einstellen. Sie müssen:

Den Roboter aufzeichnen, während er die Aufgabe manuell ausführt (was langsam und teuer ist).
Das Gehirn des Roboters neu trainieren, speziell für diese eine Aufgabe (was viel Rechenleistung und Zeit erfordert).

Wenn Sie möchten, dass der Roboter 100 verschiedene Aufgaben erledigt, müssen Sie diesen teuren Trainingsprozess 100 Mal durchführen.

Die große Idee des Papers: „Retrieval statt Retraining“

Die Autoren dieses Papers schlagen einen smarteren Weg vor, der RECAP genannt wird. Anstatt das Gehirn des Roboters jedes Mal neu zu trainieren, geben sie dem Roboter eine Bibliothek mit „günstigeren“ Beispielen und bringen ihm bei, wie er diese nachschlägt.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die zwei „Körper“ (Embodiments)

Stellen Sie sich vor, der Roboter ist ein schwerfälliger, tollpatschiger Bauarbeiter (das „Ziel“). Es ist schwierig, ihn neue Aufgaben demonstrieren zu lassen, da er langsam ist und teure Ausrüstung zur Steuerung benötigt.

Stellen Sie sich nun eine flink geschickte menschliche Hand vor (den „Pool“). Es ist einfach, einen Menschen bei Aufgaben zu filmen. Sie sind schnell, kostengünstig zu protokollieren und können fast alles tun.

Das Problem ist, dass sich die menschliche Hand anders bewegt als der Bauarbeiter. Wenn Sie den Arbeiter nur anweisen würden, „dem Menschen zu kopieren“, könnte er Dinge beschädigen, weil seine Arme anders sind.

2. Der alte Weg vs. der neue Weg

Der alte Weg (Retrain): Jedes Mal, wenn Sie wollen, dass der Arbeiter eine neue Aufgabe lernt, stellen Sie einen Trainer ein, der neben ihm steht, ihm die Aufgabe zeigt, und verbringen dann Stunden damit, sein Gehirn anzupassen, damit er sie ausführen kann. Das ist langsam und teuer.
Der neue Weg (RECAP):
1. Einmal trainieren: Sie bringen dem Gehirn des Arbeiters ein einziges Mal bei, wie man „Menschliche Handbewegung“ in „Bauarbeiter-Bewegung“ übersetzt. Sie lehren ihn: „Wenn du siehst, dass die menschliche Hand X macht, mach du Y.“
2. Das Gehirn einfrieren: Sobald diese Übersetzungsfertigkeit gelernt wurde, sperren Sie das Gehirn. Kein weiteres Training mehr.
3. Die Bibliothek (Retrieval): Sie erstellen eine Bibliothek von Videos, die zeigen, wie eine menschliche Hand viele verschiedene Aufgaben ausführt.
4. Die Magie: Wenn der Arbeiter eine neue Aufgabe erledigen muss, die er noch nie gesehen hat, trainieren Sie ihn nicht neu. Stattdessen fragen Sie die Bibliothek: „Haben wir ein Video davon, wie ein Mensch etwas Ähnlicheses macht?“
5. Das Ergebnis: Der Arbeiter findet das passendste menschliche Video, schaut es sich an und nutzt seine „Übersetzungsfertigkeit“, um herauszufinden, wie er sich bewegen muss, um das gleiche Ergebnis zu erzielen.

3. Der „Residual“-Trick (Das Geheimrezept)

Das Paper verwendet einen speziellen Typ von KI-Modell (einen sogenannten „World-Action Model“), das wie ein prädiktiver Geschichtenerzähler fungiert.

Das menschliche Video (Der Plan): Das abgerufene Video liefert dem Roboter einen „grob geschätzten Plan“. Es sagt: „Das Ziel ist es, das Objekt von hier nach dort zu bewegen.“
Die Aufgabe des Roboters (Die Korrektur): Der Roboter versucht nicht, den Menschen exakt zu kopieren. Stattdessen berechnet er den Unterschied (das „Residual“) zwischen der Bewegung des Menschen und der Bewegung, die er selbst benötigt.
- Analogie: Stellen Sie sich vor, der Mensch ist ein Tänzer, der eine Pirouette dreht. Der Roboter ist ein Gabelstapler. Der Roboter versucht nicht, wie ein Tänzer zu wirbeln. Er sieht den Plan des Tänzers („Drehe nach links“) und berechnet: „Okay, ich muss meine Räder nach links drehen, um das gleiche Ergebnis zu erzielen.“

Das KI-Modell ist darauf trainiert, nicht nur den nächsten Schritt des Roboters vorherzusagen, sondern auch, wie die Szene als Nächstes aussehen wird. Dies dient als „Realitätscheck“. Wenn der Plan des Roboters dazu führen würde, dass ein Chaos entsteht (wie das Fallenlassen der Flasche), fängt das Modell es ab und korrigiert die Bewegung.

4. Was sie herausgefunden haben

Die Forscher haben dies auf drei Arten getestet:

Ein einfaches 2D-Spiel (PushT): Sie ließen einen Roboter einen Block in verschiedene Winkel schieben. Indem sie der Bibliothek mehr menschliche Videos hinzufügten, wurde der Roboter besser darin, den Block in neue Winkel zu schieben, die er zuvor noch nie gesehen hatte – und das ohne zusätzliches Training.
Eine komplexe Simulation (RoboTwin): Sie testeten einen zweiarmigen Roboter bei komplexen Aufgaben. Die „Retrieval“-Methode war besser als andere Methoden, die versuchten, den Roboter für jeden neuen Job neu zu trainieren.
Ein echter Roboter: Sie setzten dies auf einen echten physischen Roboter um. Sie trainierten ihn auf eine Aufgabe (das Öffnen eines Schranks) unter Verwendung von menschlichen Videos. Dann frierten sie das Gehirn ein. Als sie den Roboter baten, neue Aufgaben zu erledigen (den Schrank zu schließen, eine Flasche zu platzieren), fügten sie einfach menschliche Videos dieser Aufgaben zur Bibliothek hinzu. Der Roboter konnte sie erfolgreich ausführen, während ein Standard-Roboter völlig versagt hätte.

Das Fazit

Dieses Paper zeigt, dass man nicht das Gehirn eines Roboters für jeden neuen Job neu trainieren muss. Stattdessen kann man ihn einmal trainieren, um zu verstehen, wie er „günstige menschliche Beispiele“ in „teure Roboter-Aktionen“ übersetzt. Um ihm dann einen neuen Job beizubringen, fügt man einfach ein neues Video zur Bibliothek hinzu.

Es verwandelt das Lernen von Robotern von „ein neues Gehirn für jeden Job bauen“ in „ein Rezept in einem Kochbuch nachschlagen“.

Technisches Resümee: Retrieve, Don't Retrain (RECAP)

Problemstellung

Die Erweiterung von Vision-Language-Action (VLA)-Policies auf neue Aufgaben oder neue Roboter-Embodiments (z. B. von einer menschlichen Hand auf einen spezifischen Roboterarm) erfordert typischerweise das Sammeln teurer, aufgabenspezifischer teleoperierter Demonstrationen und das Durchführen eines pro-Aufgabe-spezifischen Fine-Tunings. Dieser Prozess verursacht zwei signifikante Kosten:

Kosten der Datenerhebung: Teleoperierte Roboterdaten sind langsam zu akquirieren (etwa 18-mal langsamer als menschliche Hand-Demonstrationen) und an die Hardware gebunden.
Rechenkosten: Das Fine-Tuning moderner World-Action-Modelle (WAMs) oder großer VLA-Policies für jede neue Aufgabe ist rechenintensiv (z. B. ~24 GPU-Stunden pro Aufgabe für die Cosmos Policy) und skaliert mit der Modellgröße und der Kontextlänge.

Die Autoren argumentieren, dass diese Kosten der Anpassung pro Aufgabe vermeidbar sind. Anstatt neu zu trainieren, kann verhaltensbezogenes Wissen aus einer günstigen, datenreichen Quelle (dem „Pool“-Embodiment, z. B. menschliche Hände) über ein retrieval-basiertes Paradigma auf das Ziel-Embodiment (das „Query“-Embodiment) übertragen werden.

Methodik: RECAP

Das Paper schlägt RECAP (Retrieval-Conditioned Action Policy) vor, ein Framework, das die Anpassung von der Parameteroptimierung zum Daten-Retrieval verschiebt. Die Kernprämisse ist, dass sich Embodiments zwar in der Ausführungsdynamik unterscheiden, sich aber weitgehend in den hohen Anforderungen einer Aufgabe einig sind.

1. Trainingsphase

Backbone: Die Methode nutzt ein World-Action-Modell (WAM), spezifisch die Cosmos Policy, welche Aktionen und zukünftige visuelle Beobachtungen als eine einzige gedenoisierte Videosequenz behandelt.
Retrieval-Augmented Conditioning: Die Policy wird einmalig auf gepaarten Demonstrationen vom Query- (Zielroboter) und Pool-Embodiment (z. B. menschliche Hand) trainiert.
Residual-Parametrisierung: Anstatt die vollständige Aktionssequenz vorherzusagen, sagt die Policy ein Residuum ( $\Delta a$ $Δ a$ ) zusätzlich zur abgerufenen Pool-Trajektorie voraus:
- $\hat{a}^{query} = a^{pool}_{retrieved} + \Delta a$
- Dies zwingt das Modell dazu, nur die embodiment-spezifischen Korrekturen (Dynamik, Kontaktgeometrie) zu lernen, anstatt den gesamten Bewegungsplan.
Gemeinsames Ziel (Joint Objective): Das Modell wird mit einem Flow-Matching-Loss trainiert, der sowohl die vorhergesagte Aktion als auch den vorhergesagten zukünftigen Zustand (Bild) gemeinsam überwacht. Das Ziel der zukünftigen Bildvorhersage dient als visuelles Konsistenzsignal, um sicherzustellen, dass die abgerufene Trajektorie mit der physikalischen Entwicklung der Szene auf dem Zielroboter übereinstimmt.

2. Testzeit-Anpassung (Inferenz)

Gefrorene Policy: Einmal trainiert, bleiben die Parameter der Policy eingefroren. Es finden keine Gradienten-Updates statt.
Dynamischer Retrieval-Pool: Neue Aufgaben werden gehandhabt, indem relevante Demonstrationen des Pool-Embodiments (z. B. menschliche Videos) einem Retrieval-Pool hinzugefügt werden.
Schrittweise Abfrage (Step-by-Step Retrieval): Zu jedem Kontrollschritt $t$ $t$ führt das System folgende Schritte aus:
1. Beobachtet den aktuellen Query-Zustand $s^{query}_t$ .
2. Ruft den ähnlichsten State-Action-Chunk $(s^{pool}_{t':t'+H}, a^{pool}_{t':t'+H})$ aus der Pool-Datenbank basierend auf einem zusammengesetzten Deskriptor (Sprachziel, Objektpose, Propriozeption und visuelle Merkmale) ab.
3. Speist die aktuelle Beobachtung und den abgerufenen Chunk in die gefrorene Policy ein.
4. Die Policy gibt den nächsten Aktions-Chunk für den Zielroboter aus, konditioniert auf den abgerufenen High-Level-Plan.

Zentrale Beiträge

Testzeit-Anpassungsparadigma: Eine Methode, um Policies durch das Erweitern eines Retrieval-Pools mit günstigen Demonstrationen vollständig zur Testzeit an neue Aufgaben anzupassen, wobei die Policy eingefroren bleibt.
Retrieval-Conditioned Residual Policy auf WAMs: Eine spezifische Architektur, bei der das Retrieval die grobe High-Level-Bewegung liefert und das WAM nur die embodiment-spezifische Korrektur lernt. Die Autoren heben hervor, dass das Future-Image-Vorhersageziel des WAMs hier besonders vorteilhaft ist, da es ein visuelles Alignment-Signal liefert, das die retrieval-konditionierten Aktionen stärkt.
Empirische Validierung: Nachgewiesene konsistente Gewinne gegenüber Cross-Embodiment-Baselines in drei Settings:
- PushT (2D): Generalisierung auf ungesehene Zielwinkel.
- RoboTwin 2.0 (Simulation): Multi-Task, Dual-Arm Manipulation.
- Real Robot: Transfer von menschlichen Hand-Videos auf einen physischen Roboterarm.

Experimentelle Ergebnisse

PushT Benchmark (Cross-Embodiment Generalization)

Setup: Ein Dreiecksschieber (Target), trainiert auf $\pm 45^\circ$ Winkeln, evaluiert auf 9 Winkeln (7 davon ungesehen). Der Pool bestand aus Disc-Pusher-Demonstrationen.
Ergebnisse:
- Pool-Progression: Die Erweiterung des Retrieval-Pools zur Testzeit ohne Retraining verbesserte den Erfolg bei ungesehenen Winkeln monoton von 6,0 % (ohne Retrieval) auf 34,9 % (voller Pool).
- Backbone-Vergleich: Retrieval verbesserte sowohl die Standard-VLA ( $\pi0.5$ ) als auch die WAM (Cosmos) Backbones, aber der Gewinn war beim WAM signifikant größer (25,1 % vs. 34,9 %), was die Synergie zwischen Retrieval und dem Future-Image-Objective bestätigt.
- Mechanismus: Die Attentions-Analyse zeigte, dass die Policy frühe Schichten nutzt, um auf die abgerufene Trajektorie zu achten, und spätere Schichten, um den Plan an die Ziel-Dynamik anzupassen.

RoboTwin 2.0 Simulation

Setup: Target (Aloha-Agilex) vs. Pool (UR5). Trainiert auf 5 gepaarten Aufgaben, evaluiert auf 5 ungesehenen Aufgaben.
Ergebnisse:
- Performance: RECAP erreichte 31,5 % Erfolg bei ungesehenen Aufgaben und übertraf damit die stärkste Baseline (Cosmos Policy ohne Retrieval) mit 26,0 % sowie „Retrieval Only“ (naive Ausführung) mit 26,0 %.
- Pool-Wachstum: Die Erfolgsraten stiegen monoton an, als der Pool von 11 auf 35 Aufgaben wuchs, und erreichten 31,5 % mit dem vollen Pool.
- Qualitativ: Bei Aufgaben wie „Hand-over-mic“ versagte naives Retrieval (Kollision mit Objekten), während RECAP die Grifforientierung erfolgreich anpasste.

Real Robot Experimente

Setup: Target-Roboter trainiert auf „Open Cabinet“ (25 gepaarte Demos). Evaluiert auf gehaltenen Aufgaben: „Place Bottle“ und „Close Cabinet“.
Ergebnisse:
- Die Baseline (nur auf Open Cabinet trainiert) scheiterte bei den gehaltenen Aufgaben (0 % und 10 % Erfolg), da sie lediglich die Trainings-Trajektorie replizierte.
- RECAP, unter Verwendung von nur 10 menschlichen Hand-Demonstrationen pro neuer Aufgabe im Pool, erreichte 80 % Erfolg beim Platzieren der Flasche und 30 % beim Schließen des Schranks.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Indizierung günstigerer Pool-Embodiment-Daten zum Zeitpunkt des Einsatzes die Sammlung neuer Ziel-Roboter-Demonstrationen ersetzen kann.

Kostensenkung: Die Methode ersetzt die ~24 GPU-Stunden/Aufgabe für das Fine-Tuning und die 18-mal langsamere Teleoperation durch einen Retrieval-Prozess.
Skalierbarkeit: Durch das Einfrieren der Policy kann das System neue Aufgaben einfach durch Hinzufügen von Daten zum Retrieval-Pool absorbieren, wodurch die kumulativen Kosten des traditionellen Fine-Tunings vermieden werden.
Synergie mit WAMs: Die Arbeit zeigt, dass World-Action-Modelle, wenn sie mit Retrieval kombiniert werden, die „grobe“ Planung eines anderen Embodiments effektiv nutzen können, um die „feine“ Dynamik eines anderen zu lernen – eine Fähigkeit, die Standard-Action-only-Policies fehlt.

Die Autoren räumen Einschränkungen ein und merken an, dass die Methode geteilte Aktionsräume (z. B. Endeffektor-Pose) erfordert und dass die aktuellen Retrieval-Deskriptoren (die Sprache, Pose und Vision kombinieren) für komplexere oder zeitlich nicht übereinstimmende Szenarien weiter verfeinert werden müssen. Dennoch deuten die Ergebnisse auf einen gangbaren Weg zu universellen Roboter-Policies hin, die sich durch Retrieval statt durch Retraining anpassen.