💻 computer science

Adaptation of Generalist Robot Policies with Minimal Data

Dieses Paper stellt MiDAS vor, ein einfaches Offline-to-Online-Reinforcement-Learning-Framework, das es generalistischen Roboter-Policies ermöglicht, sich schnell an neue Aufgaben anzupassen und eine robuste autonome Verbesserung zu erreichen, ausgehend von so wenig wie einer einzigen menschlichen Demonstration.

Ursprüngliche Autoren: Shreyas Kowshik, Sreyas Venkataraman, Leo Wang, Niharika Pant, Max Simchowitz, Aviral Kumar

Veröffentlicht 2026-08-13

📖 8 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shreyas Kowshik, Sreyas Venkataraman, Leo Wang, Niharika Pant, Max Simchowitz, Aviral Kumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Roboter nicht nur einem starren Skript folgen, das ein menschlicher Ingenieur geschrieben hat, sondern stattdessen lernen und sich selbst verbessern, genau wie wir es tun. Dies ist der heilige Gral der Robotik: Maschinen zu bauen, die in einen neuen Raum laufen, herausfinden können, was zu tun ist, und dies durch Versuch und Irrtum immer besser machen. Um zu verstehen, wie das funktioniert, stellen Sie sich das Gehirn eines Roboters als bestehend aus zwei Hauptteilen vor. Erstens benötigt er eine „allgemeine Wissensbasis“, wie eine Bibliothek darüber, wie die Welt funktioniert, die er lernt, indem er Millionen von Videos von Menschen beim Handeln beobachtet. Zweitens muss er spezifische Fähigkeiten erlernen, wie zum Beispiel das Öffnen eines bestimmten Glases oder das Stapeln eines bestimmten Satzes von Blöcken. Die große Herausforderung, vor der Wissenschaftler stehen, ist, dass Roboter zwar gut im allgemeinen Wissen werden, aber immer noch schrecklich darin sind, neue spezifische Aufgaben eigenständig zu erlernen. Wenn man einen Roboter bittet, etwas zu tun, das er noch nie zuvor gesehen hat, erstarrt er oft oder fängt an wild herumzufuchteln, weil er nicht weiß, wo er anfangen soll. Es ist, als würde man einem Menschen eine Karte der ganzen Welt geben, aber keine Ahnung haben, in welcher Straße er sich gerade befindet; er hat alle Werkzeuge zur Navigation, aber er kann den ersten Schritt ohne ein wenig Hilfe nicht machen.

Dies ist die Geschichte einer neuen Methode namens MiDAS, die versucht, dieses „ersten Schritt“-Problem zu lösen. Die Forscher stellten eine einfache Frage: Was wäre, wenn wir dem Roboter nur ein einziges Video zeigen würden, in dem jemand die Aufgabe erfolgreich ausführt, und ihn dann versuchen ließen, den Rest von selbst herauszufinden? Normalerweise reicht ein Video nicht aus. Es ist, als würde man jemandem einmal dabei zusehen, wie er einen Zauberwürfel löst, und ihm dann sagen, er solle ihn selbst lösen; man kennt vielleicht die allgemeine Idee, aber man wird wahrscheinlich oft scheitern, bevor man es richtig macht. Das Paper legt nahe, dass ein Roboter durch die Kombination dieses einzelnen Videos mit einer intelligenten Art des Lernens aus Fehlern tatsächlich lernen kann, die Aufgabe zuverlässig auszuführen. Sie testeten dies in Computersimulationen und an einem echten Roboter mit zwei Armen und fanden heraus, dass der Roboter selbst mit nur einem Beispiel nach ein paar Stunden Übung lernen konnte, die Aufgabe erfolgreich zu bewältigen, während andere Methoden sofort aufgegeben hätten.

Das Problem: Der „leere Blick“ des Roboters

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Sandwich zuzubereiten. Sie haben einen superintelligenten Roboter, der Millionen von Videos von Menschen beim Kochen gesehen hat. Er weiß, wie Brot aussieht, was Käse ist und wie ein Messer funktioniert. Dies ist sein „vortrainiertes“ Gehirn. Aber wenn Sie in die Küche gehen und sagen: „Mach mir ein Sandwich mit dem Blauschimmelkäse auf der linken Seite“, starrt der Roboter Sie vielleicht nur an. Er kennt die Zutaten, aber er weiß nicht, dass es dieses spezifische Sandwich ist.

Wenn Sie den Roboter versuchen lassen, es selbst zu lernen (autonomes Lernen), wird er wahrscheinlich immer wieder scheitern. Er könnte das falsche Brot greifen, den Käse fallen lassen oder versuchen, das Messer in den Toaster zu stecken. In der Welt der Robotik werden diese Fehler als „Sparse Rewards“ (dünnbesetzte Belohnungen) bezeichnet. Es ist wie ein Videospiel, bei dem man erst ganz am Ende eine „Du hast gewonnen!“-Nachricht erhält und keine Hinweise oder Punkte bekommt, wenn man dem Ziel näher kommt. Wenn der Roboter 99 von 100 Mal scheitert, erhält er nie das „Du hast gewonnen!“-Signal, also lernt er nie, was zu tun ist. Er steckt in einer Schleife des Scheiterns fest.

Die Lösung: Ein Video und ein „Residualer“ Helfer

Die Forscher hinter MiDAS entwickelten ein kluges zweistufiges Rezept, um diese Schleife zu durchbrechen.

Schritt 1: Das „Anker“-Video
Zuerst zeigen sie dem Roboter nur ein einziges erfolgreiches Video der Aufgabe. Sie lassen den Roboter nicht nur zusehen; sie nutzen eine Technik namens „Behavior Cloning“ (Verhaltensnachahmung). Betrachten Sie dies als eine kurze, intensive Lerneinheit des Roboters. Er betrachtet das eine Video und versucht, die Bewegungen zu kopieren.

Was passiert: Der Robt wird viel besser. Er starrt nicht mehr nur leer vor sich hin. Er weiß, dass er das Brot greifen muss, dann den Käse, dann das Messer.
Der Haken: Er ist immer noch ungeschickt. Er greift das Brot vielleicht korrekt, lässt aber den Käse fallen, weil sein Griff zu fest ist, oder er verfehlt den Teller, weil er leicht versetzt ist. Er hat die Idee der Aufgabe, aber es fehlt ihm an Präzision. In den Tests des Papers konnte dieser „Ein-Video“-Roboter dem Ziel zwar nahe kommen, scheiterte aber oft daran, die Aufgabe abzuschließen.

Schritt 2: Der „Residuale“ Coach
Hier geschieht die Magie. Anstatt zu versuchen, dem Roboter alles von Grund auf neu beizubringen, fügt MiDAS einen winzigen, leichtgewichtigen „Coach“ oben auf das Gehirn des Roboters hinzu.

Wie es funktioniert: Das Hauptgehirn des Roboters (das durch das eine Video trainiert wurde) sagt: „Ich denke, ich sollte den Arm auf diese Weise bewegen.“ Der neue „Coach“ (eine sogenannte „Residual Policy“) hört dieser Empfehlung zu und sagt: „Tatsächlich, bewege ihn nur ein kleines Stück weiter nach links.“
Das Lernen: Der Roboter probiert diese angepasste Bewegung dann aus. Wenn er Erfolg hat, bekommt der Coach einen Punkt. Wenn er scheitert, lernt der Coach, sich beim nächsten Mal anders anzupassen.
Warum es besonders ist: Das Hauptgehirn bleibt eingefroren (es ändert sich nicht), sodass der Roboter nicht vergisst, was er aus dem Video gelernt hat. Der Coach ist klein und schnell; er lernt nur die winzigen Korrekturen, die nötig sind, um aus einem „guten Versuch“ einen „perfekten Erfolg“ zu machen.

Die Ergebnisse: Von einem Versuch zur Meisterschaft

Das Team testete diese Idee in zwei verschiedenen virtuellen Welten (genannt LIBERO-Long und RoboCasa) und an einem echten Roboter mit zwei Armen (genannt YAM).

In den Simulationen:
Die Ergebnisse waren überraschend stark. Mit nur einem Demonstration:

Standardmethoden, die versuchten, aus dem Nichts zu lernen oder einfach nur das Video zu kopieren, scheiterten fast vollständig (0 % Erfolgsquote).
Andere fortgeschrittene Methoden, die versuchten, das Verhalten des Roboters anzupassen, erreichten etwa 30 % bis 40 % der Aufgaben korrekt.
MiDAS war bei durchschnittlich 91 % der Aufgaben erfolgreich. In bestimmten spezifischen Aufgaben, wie dem Aufstellen eines Topfes auf einem Herd, erreichte es 98 % Erfolg.

In der realen Welt:
Sie übertrugen die Methode auf einen echten Roboter mit zwei Armen.

Aufgabe 1: Einen grünen Block in einen Behälter und einen blauen Block in einen anderen legen. Der Robot startete mit einer Erfolgsquote von 40 %, nachdem er das eine Video gesehen hatte. Nach etwa 6 Stunden eigenständiger Übung verbesserte er sich auf 67 %.
Aufgabe 2: Ein Messer und einen Donut auf einen Teller legen. Dies war schwieriger. Der Roboter startete mit nur 27 % Erfolgsquote. Aber nach 5 bis 6 Stunden autonomer Interaktion sprang er auf eine Erfolgsquote von 80 %.

Das Paper legt nahe, dass dies funktioniert, weil das vortrainierte Gehirn des Roboters bereits weiß, wie er seine Arme bewegen muss und wie Objekte aussehen. Das einzelne Video sagt ihm, was er tun soll. Das Online-Lernen (der Coach) füllt lediglich die Lücken darin aus, wie man es perfekt macht.

Was dies bedeutet (und was es nicht tut)

Die Forscher weisen vorsichtig darauf hin, was diese Methode kann und was sie nicht kann.

Was sie gut kann:

Sie verwandelt ein „Vielleicht“ in ein „Ja“ für Aufgaben, für die der Roboter bereits überes allgemeines Wissen verfügt.
Sie ermöglicht es dem Roboter zu generalisieren. Wenn man die Objekte leicht verschiebt oder das Licht ändert, kann der Roboter es immer noch bewältigen, da sein „Gehirn“ klug genug ist, um mit diesen Änderungen umzugehen.
Sie funktioniert mit sehr wenig menschlicher Hilfe. Man muss nicht 100 Videos aufnehmen; eines reicht aus, um den Anfang zu machen.

Was sie (noch) nicht kann:

Sie kann den Roboter nicht lehren, etwas völlig Neues zu tun, wofür er keinerlei Vorwissen hat. Wenn der Robot noch nie ein Messer oder einen Donut gesehen hat, wird ein einzelnes Video nicht ausreichen.
Sie hat Schwierigkeiten, wenn die Aufgabe eine völlig andere Art der Bewegung erfordert. Wenn der Roboter beispielsweise die Positionen zweier Objekte auf eine Weise tauschen muss, die dem Video widerspricht, könnte er verwirrt werden.
Die „6 Stunden“ Übungszeit sind immer noch eine lange Zeit für einen Roboter. Das Paper legt nahe, dass dies zwar ein riesiger Schritt nach vorn ist, wir aber immer noch das Lernen schneller und effizienter gestalten müssen.

Das große Ganze

Betrachten Sie MiDAS als eine Brücke. Vor diesem Stand es eine riesige Lücke zwischen „Robotern, die im Allgemeinen alles wissen“ und „Robotern, die eine spezifische Aufgabe erledigen können“. Man musste entweder einen Menschen programmieren, der jede einzelne Bewegung vorgibt, oder man benötigte hunderte Stunden voller Versuch und Irrtum. MiDAS zeigt, dass man diese Lücke selbst überbrücken kann, wenn man dem Roboter ein winziges Stück menschlicher Anleitung (ein Video) gibt und ihn mit einem intelligenten, leichtgewichtigen Coach üben lässt.

Die Autoren legen nahe, dass dies das erste Mal ist, dass jemand gezeigt hat, dass ein Roboter zuverlässig an eine neue Aufgabe herangeführt werden kann, beginnend mit nur einer einzigen Demonstration. Es ist kein Zauberstab, der jedes Problem löst, aber es ist ein leistungsstarkes neues Werkzeug, das darauf hindeutet, dass wir der Entwicklung näher kommen, dass Roboter wirklich von uns lernen können – mit nur ein wenig Hilfe.

Technisches Resümee: Anpassung von generalistischen Roboter-Policies mit minimalen Daten

Problemdefinition: Minimal-Data Adaptation (MDA)

Die Arbeit adressiert die Herausforderung, generalistische Roboter-Policies zu befähigen, sich an neue Aufgaben mit minimaler menschlicher Aufsicht anzupassen. Während jüngste Vision-Language-Action (VLA) Modelle, die auf diversen Datensätzen vortrainiert wurden, breite Priors bieten, scheitern sie oft als Zero-Shot-Lerner in neuen Umgebungen aufgrund spärlicher Belohnungen (sparse rewards) und schwacher Exploration. Im Gegensatz dazu ist ein voll autonomes Lernen von Grund auf für aktuelle Policies nicht praktikabel.

Die Autoren schlagen das Minimal-Data Adaptation (MDA) Regime als einen handhabbaren Proxy für eine voll autonome Verbesserung vor. In diesem Setting muss eine vortrainierte Policy eine neue Aufgabe unter Verwendung von nur $K$ erfolgreichen Demonstrationen (wobei $K=1$ der extremste Fall ist) lernen, gefolgt von autonomer Online-Interaktion. Das Ziel ist nicht, die Aufgabe allein aus den Demonstrationen zu lösen, sondern diese als Gerüst zu nutzen, um das anschließende autonome Lernen erst möglich zu machen. Die zentrale Herausforderung besteht darin, dass die Policy bei $K=1$ oft zu schwach ist, um konsistent belohnungsführende Regionen zu erreichen, was unter spärlichen Belohnungen zu einem Policy-Kollaps führt.

Methodik: MiDAS

Die Autoren führen MiDAS (Minimal-Data Adaptation Strategy) ein, ein zweistufiges Offline-to-Online Reinforcement Learning Rezept, das darauf ausgelegt ist, die Lücke zwischen einer schwachen vortrainierten Policy und einem robusten, aufgabenspezifischen Controller zu schließen.

Stufe I: Behavior Cloning (BC) für das Task-Anchoring

Ziel: Transformation der Zero-Shot vortrainierten Policy ( $\pi_{base}$ ) in eine aufgabengerichtete Policy ( $\pi^K_{base}$ ), die die Aufgabe grob versuchen kann, selbst wenn die Ausführung brüchig ist.
Mechanismus: Der vortrainierte VLA-Backbone wird mittels Low-Rank Adaptation (LoRA) auf den $K$ Demonstrationen feinjustiert, während der Action-Head mittels Standard-Flow-Matching feinjustiert wird.
Ergebnis: Diese Stufe stellt grobe, aufgabenrelevante Verhaltensweisen wieder her (z. B. Annäherung an das korrekte Objekt), scheitert jedoch an einer zuverlässigen Kontrolle (z. B. präzises Greifen oder Ausrichtung). Sie dient dazu, die Policy an der Aufgabe zu „verankern“ (anchoring) und den Suchraum für das Online-Lernen einzugrenzen.

Stufe II: Online-Verbesserung via Residual RL

Ziel: Erlernen feingranularer Korrekturen, um die Brüchigkeit von $\pi^K_{base}$ durch autonome Interaktion zu überwinden.
Mechanismus:
- Frozen Backbone: Die aufgabenverankerte Policy $\pi^K_{base}$ wird eingefroren.
- Residual Actor: Ein leichtgewichtiger Residual-Actor ( $\pi^{res}_{\theta}$ ) wird auf Basis der eingefrorenen Repräsentationen trainiert. Im Gegensatz zu additiven Residual-Formulierungen, die kleine Offsets vorhersagen, sagt MiDAS die ausgeführte Aktion direkt an, bedingt auf dem Vorschlag der Base-Policy ( $a_{exec} \sim \pi^{res}_{\theta}(\cdot | s, a_{base})$ ). Dies ermöglicht es der Policy, die Aktionsverteilung bei Bedarf über die unmittelbare Nachbarschaft des Base-Vorschlags hinaus zu verschieben.
- Value-Based Learning: Das System nutzt Policy-Agnostic RL (PA-RL) mit einem Critic-Ensemble, das mittels Temporal Difference (TD) Learning trainiert wird. Der Actor wird über ein „Best-of-N“-Distillation-Ziel aktualisiert, bei dem Kandidaten-Aktionen mittels Gradientenaufstieg auf der Q-Funktion verfeinert werden, bevor sie zurück in die Policy destilliert werden.
Stabilisierungstechniken:
1. Offline Warmup: Der Residual-Actor und der Critic werden unter Verwendung eines Buffers initialisiert, der die $K$ Demonstrationen und einige Rollouts von $\pi^K_{base}$ enthält. Der Actor wird so initialisiert, dass er die Aktionen der Base-Policy reproduziert ( $\mathcal{L}_{warm}$ ), um sicherzustellen, dass die frühe Exploration aufgabenrelevant bleibt.
2. Success Balancing: Um der Spärlichkeit der Belohnungen entgegenzuwirken (wo die Erfolgsraten bei nur 2-5 % liegen können), wird der Replay-Buffer in einen allgemeinen Buffer ( $\mathcal{B}$ ) und einen Success-Buffer ( $\mathcal{B}_{succ}$ ) aufgeteilt. Die Critic-Updates sampeln aus einer Mischung dieser Buffer und übersampeln erfolgreiche Trajektorien, um zu verhindern, dass die Value-Funktion von Misserfolgen dominiert wird.

Wichtigste Beiträge

Definition von MDA: Die Arbeit formalisiert das MDA-Regime und identifiziert es als den kritischen Schwellenwert, an dem minimale Aufsicht ( $K=1$ ) das autonome Online-Lernen für generalistische Policies handhabbar macht.
MiDAS Algorithmus: Ein neuartiges Rezept, das Few-Shot Behavior Cloning mit Frozen-Backbone Residual RL kombiniert. Es zeigt, dass eine einzige Demonstration das autonome Lernen durch die Kombination von vortrainierten Repräsentationen und wertgeleiteter Korrektur ankurbeln kann.
Empirische Validierung:
- Simulation: Auf LIBERO-Long und RoboCasa erreicht MiDAS hohe Erfolgsraten (z. B. ~91 % auf LIBERO) aus einer einzigen Demonstration und übertrifft damit Baselines wie Filtered BC, Diffusion-Steering RL (DSRL) und DICE-RL deutlich.
- Realwelt: Die Methode wurde erfolgreich auf eine bimanuale YAM-Plattform übertragen. Ausgehend von einer fragilen Policy mit ~27 % Erfolg bei einer komplexen Aufgabe (Platzieren eines Messers und eines Donuts) verbesserte MiDAS die Robustheit auf 80 % nach etwa 6 Stunden autonomer Interaktion.
Mechanistische Erkenntnisse: Die Autoren validieren empirisch, dass:
- Vortrainierte VLA-Repräsentationen essenziell für die Stichproben-Effizienz sind; generisches visuelles Pretraining (z. B. DINO) oder Training von Grund auf scheitert bei $K=1$ an der Konvergenz.
- Behavior Cloning zwar grobe Aufgabenbindung bietet, aber keine zuverlässige Kontrolle ermöglicht.
- Online Residual RL notwendig ist, um Aktionen zu lernen, die außerhalb des effektiven Supports der Few-Shot-Policy liegen – eine Fähigkeit, die Baselines wie DSRL fehlt.

Ergebnisse und Generalisierung

Performance: MiDAS stellt konsistent eine starke Performance über diverse Long-Horizon-Aufgaben wieder her. In der „One Demonstration“-Einstellung erreicht es eine nahezu perfekte Erfolgsquote bei vielen LIBERO-Aufgaben, bei denen Zero-Shot- und Standard-Baselines vollständig versagen.
Generalisierung:
- Beobachtungs-Shifts: Die Methode erbt die Robustheit gegenüber visuellen (Farbe, Textur) und sprachlichen Shifts vom eingefrorenen VLM-Backbone.
- Zustands-Shifts: Online RL verbessert die Robustheit gegenüber moderaten Zustands-Shifts (z. B. Änderungen der Objektposition oder -form), bei denen die benötigte Manipulationsstrategie ähnlich bleibt. Die Performance sinkt jedoch bei Shifts, die grundlegend neue Strategien erfordern (z. B. Austausch von Objekten oder Kategorien), was die Grenzen einer einzelnen Demonstration aufzeigt.
- Curriculum Learning: Die Arbeit zeigt, dass das progressive Aufweiten der Reset-Distribution während des Online RL eine Generalisierungsleistung erreichen kann, die mit Policies vergleichbar ist, die auf 50 Demonstrationen trainiert wurden, ohne zusätzliche menschliche Daten zu benötigen.

Bedeutung und Behauptungen

Die Arbeit beansprucht, die erste Demonstration einer zuverlässigen Anpassung von Roboter-Policies aus einer einzigen Aufgaben-Demonstration unter Verwendung einer generalistischen vortrainierten Policy zu liefern.

Die Autoren argumentieren, dass MDA ein entscheidendes Regime darstellt, in dem das Zusammenspiel von drei Komponenten die autonome Verbesserung ermöglicht:

Pretraining: Liefert wiederverwendbare Features und breite Aktions-Priors.
Demonstrationen: Verankern die Policy an der spezifischen Aufgabe und machen ein aufgabenrelevantes Verhalten erreichbar.
Autonome Interaktion: Liefert die notwendigen Korrekturen, um Robustheit und die Handhabung von Verteilungs-Shifts zu erreichen.

Die Arbeit legt nahe, dass moderne vortrainierte Roboter-Policies ein Reifegrad erreicht haben, bei dem sie „nah genug“ am Aufgabenerfolg sind, dass eine einzige Demonstration das verbleibende Defizit durch Online-Interaktion lernbar macht – vorausgesetzt, die Anpassungsstrategie (MiDAS) ist darauf ausgelegt, den Lernprozess zu stabilisieren und die Aktionsverteilung über den Support der ursprünglichen Few-Shot-Policy hinaus zu erweitieren. Die Arbeit bleibt bescheiden und räumt ein, dass während MDA für Verhaltensweisen funktioniert, die gut in den Pretraining-Verteilungen repräsentiert sind, die Anpassung an Aufgaben, die völlig neue Verhaltensmodi oder dexterous Manipulation erfordern, möglicherweise noch mehr Aufsicht oder andere Mechanismen benötigen.