🤖 AI

Learning Action Priors for Cross-embodiment Robot Manipulation

Dieses Paper schlägt ein zweistufiges Trainingsframework vor, das ein leichtgewichtiges Aktionsmodul auf unkonditionierten Bewegungs-Trajektorien vortrainiert, um körperübergreifende zeitliche Prioren zu erlernen, welche dann mittels Decoder-Reuse und latenter Destillation auf Vision-Language-Action-Modelle übertragen werden, um eine schnellere Konvergenz, höhere Erfolgsraten und eine verbesserte Generalisierung in datenarmen realen Manipulationsaufgaben zu erreichen.

Ursprüngliche Autoren: Dong Jing, Tianqi Zhang, Jiaqi Liu, Jinman Zhao, Zelong Sun, Li Erran Li, Zhiwu Lu, Mingyu Ding

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dong Jing, Tianqi Zhang, Jiaqi Liu, Jinman Zhao, Zelong Sun, Li Erran Li, Zhiwu Lu, Mingyu Ding

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „blinde“ Roboter

Stellen Sie sich vor, Sie stellen einen neuen Lehrling ein, der das Kochen lernen soll. Bei aktuellen Trainingsmethoden für Roboter (genannt Vision-Language-Action oder VLA-Modelle) überreichen Sie dem Lehrling ein riesiges Kochbuch voller Bilder von Zutaten und geschriebener Rezepte (die Vision- und **Language-**Teile).

Das Kochbuch sagt jedoch nichts darüber aus, wie man die Hände tatsächlich bewegt. Der Lehrling hat noch nie ein Messer gehalten, hat nie das Gewicht einer Pfanne gespürt und hat keine Ahnung, wie man schneidet, rührt oder wendet. Er muss die Physik des Kochens erst in dem Moment verstehen, in dem er gleichzeitig versucht, das Rezept zu lesen.

Das Ergebnis? Der Lehrling ist verwirrt. Er schneidet vielleicht in die Luft, lässt die Pfanne fallen oder erstarrt, weil er versucht, zwei unglaublich schwere Dinge gleichzeitig zu lernen: „Was steht im Rezept?“ und „Wie bewege ich meine Muskeln?“

Dieses Paper argumentiert, dass heutige Roboter genau unter diesem Problem leiden. Sie sind großartig darin, Sprache zu verstehen und Bilder zu sehen, aber ihre „Muskeln“ (das Action-Modul) beginnen bei Null, ohne jegliches Vorwissen darüber, wie man sich bewegt.

Die Lösung: Erst „blindes“ Üben

Die Autoren schlagen eine zweistufige Trainingsmethode vor. Anstatt den Roboter sofort mit einem Rezept in die Küche zu werfen, lassen sie den Roboter zuerst Bewegungen üben, ohne Rezepte oder Bilder.

Denken Sie an einen Tanzschüler. Bevor er eine bestimmte Tanzchoreografie zur Musik lernt (das Rezept), verbringt er Zeit im Studio, um einfach nur die Grundschritte, das Gleichgewicht und den Rhythmus in Stille zu üben. Er lernt, wie sein Körper sich bewegt, wie er sich dreht und wie er stoppt.

Die zwei Phasen:

Phase 1: Die „blind geführte“ Bewegungsklasse
- Was passiert: Dem Roboter werden nur Daten darüber gegeben, wie Roboterarme sich bewegen (Trajektorien). Er sieht keine Bilder und hört keine Anweisungen.
- Die Analogie: Es ist wie ein blind geführter Lehrling, der immer wieder die physischen Bewegungen des Rührens, Hebens und Platzierens von Objekten übt. Er versucht nicht, ein bestimmtes Gericht zu kochen; er lernt nur das „Gefühl“ der Bewegung.
- Das Ergebnis: Der Roboter baut ein „Muskelgedächtnis“ oder einen Motion Prior auf. Er lernt die allgemeinen Regeln der Physik: „Wenn ich meinen Arm so bewege, wandert das Objekt dorthin.“ Er lernt den flüssigen Ablauf der Bewegung.
Phase 2: Die Kochklasse
- Was passiert: Nun bekommt der Roboter das Kochbuch (Bilder und Sprachanweisungen).
- Die Analogie: Der Lehrling ist kein absoluter Anfänger mehr. Er weiß bereits, wie man ein Messer hält und den Arm geschmeidig bewegt. Jetzt muss er nur noch lernen, welches Messer er benutzen soll und wann er basierend auf dem Rezept schneiden muss.
- Das Ergebnis: Da der Roboter bereits weiß, wie man sich bewegt, lernt er neue Aufgaben viel schneller. Er verschwendet keine Zeit damit, die grundlegende Physik zu begreifen; er konzentriert sich darauf, die Anweisungen zu verstehen.

Wie sie die beiden Phasen verbinden

Das Paper nutzt drei kluge Tricks, um sicherzustellen, dass die „Bewegungspraxis“ der „Kochklasse“ hilft:

Wiederverwendung des Muskelgedächtnisses: Der Teil des Roboters, der in Phase 1 gelernt hat, sich zu bewegen, wird in Phase 2 wiederverwendet. Es ist, als würde der Lehrling dieselben Hände und Muskeln behalten, mit denen er geübt hat, anstatt ein neues Set an Händen zu bekommen.
Der „Geisterlehrer“: Zu Beginn von Phase 2 wird der Roboter angewiesen: „Erinnere dich daran, wie du dich in Phase 1 bewegt hast. Versuche, dich so zu bewegen.“ Dies verhindert, dass der Roboter durchdreht oder sich unkontrolliert bewegt, während er noch die neuen Rezepte lernt.
Das „Memory Token“: Roboter vergessen oft, was sie vor einer Sekunde getan haben. Die Autoren haben einen Weg geschaffen, um die jüngste Historie des Roboters (was er getan und gesehen hat) in ein einziges, winziges „Zusammenfassungs-Token“ zu komprimieren. Es ist, als hätte der Lehrling einen Klebezettel, auf dem steht: „Ich habe gerade den Becher gegriffen, jetzt muss ich ihn heben.“ Dies hilft dem Roboter, bei langen Aufgaben bessere Entscheidungen zu treffen.

Warum das wichtig ist (Die Ergebnisse)

Die Forscher testeten dies an 13 verschiedenen Aufgaben mit unterschiedlichen Arten von Robotern (einige in der Simulation, einige echte Roboter).

Schnelleres Lernen: Die Roboter lernten neue Aufgaben viel schneller, da sie nicht erst lernen mussten, wie man sich bewegt, von Grund auf neu zu beginnen.
Besser bei schwierigen Aufgaben: Der größte Gewinn lag bei den „Long-Tail“-Aufgaben – Aufgaben, für die es sehr wenige Daten gibt (wie ein echter Roboter, der mit nur 50 Beispielen Becher stapelt). Ohne den Prior würde der Roboter einfrieren oder ruckartig sich bewegen. Mit dem Prior bewegte er sich flüssig und erfolgreich.
Stabilität: Der Trainingsprozess war wesentlich stabiler. Die „Gradienten“ (die mathematischen Signale, die dem Roboter sagen, wie er sich verbessern kann) waren weniger chaotisch, was bedeutet, dass der Roboter das, was er bereits wusste, nicht wieder „verlernt“ hat.

Das Fazit

Dieses Paper legt nahe, dass wir einem Roboter, bevor wir ihm beibringen, was er tun soll (das Ziel), erst einmal beibringen sollten, wie er sich bewegt (die Bewegung). Indem wir dem Roboter vor seiner „akademischen“ Klasse eine „körperliche Erziehung“ geben, wird er zu einem viel besseren, schnelleren und zuverlässigeren Arbeiter, besonders wenn er mit verschiedenen Arten von Robotern oder in Situationen arbeiten muss, in denen er zuvor kaum Beispiele gesehen hat.

Technisches Resümee: Erlernen von Aktions-Priors für die robotergestützte Manipulation über verschiedene Embodiments hinweg

1. Problemstellung

Aktuelle Vision-Language-Action (VLA)-Modelle konstruieren Robotik-Policies typischerweise, indem sie ein Modul zur Aktionsgenerierung an ein vortrainiertes Vision-Language-Model (VLM)-Backbone anbinden und diese gemeinsam optimieren. Während das VLM-Backbone reiche visuelle und linguistische Priors aus dem Training großskaliger Fundamentmodelle erbt, wird das Aktionsmodul oft zufällig oder mit Parametern aus nicht verwandten Modalitäten initialisiert. Infolgedessen muss das Aktionsmodul die physikalische Bewegungsdynamik und die zeitliche Struktur von Grund auf neu erlernen.

Dies führt zu einem strukturellen Ungleichgewicht: Das frühe VLA-Training muss gleichzeitig die zeitliche Aktionsdynamik entdecken, die cross-modale Ausrichtung (Vision/Sprache zu Aktion) erlernen und die Aktionsverteilung modellieren. In Cross-Embodiment-Szenarien, in denen Roboter heterogene Aktionsräume und Bewegungsverteilungen besitzen, wird diese Herausforderung verstärkt. Das Fehlen eines expliziten Aktions-Priors führt zu instabilen Gradienten, langsamer Konvergenz und schlechter Leistung, insbesondere bei datenarmen Long-Tail-Aufgaben in der realen Welt, bei denen der Aktionskopf nicht auf ausreichende nachgelagerte Supervision zurückgreifen kann, um valide Bewegungsmuster zu erlernen.

2. Methodik

Die Autoren schlagen ein zweistufiges Trainingsframework vor, das das Erlernen der physikalischen Bewegungsstruktur von der cross-modalen Policy-Ausrichtung entkoppelt.

Stufe 1: Erlernen von Aktions-Priors (Aktions-only)

Bevor visuelle oder linguistische Eingaben eingeführt werden, wird ein leichtgewichtiges Encoder-Decoder-Aktionsmodul ausschließlich auf unkonditionierten Aktions-Trajektorien (Zustands-Aktions-Sequenzen) trainiert.

Architektur: Ein Transformer-basierter Encoder-Decoder.
Zielsetzung: Der Encoder komprimiert eine Sequenz aus verschachtelten propriozeptiven Zuständen und Aktionen in ein kompaktes latentes Embedding ( $z$ ). Der Decoder rekonstruiert den ursprünglichen Aktions-Chunk aus diesem Embedding unter Verwendung einer Flow-Matching-Zielsetzung.
Input: Nur Low-Level-Trajektoriendaten (keine Vision oder Sprache).
Ziel: Das Erlernen eines robusten, generalisierbaren Priors über die kontinuierliche Aktionsverteilung und die zeitliche Bewegungsstruktur. Der Encoder lernt, makroskopische Bewegungssemantiken (z. B. Translieren, Greifen) zu erfassen, anstatt isolierter atomarer Aktionen.

Stufe 2: Aktions-Prior-gesteuertes VLA-Training

Das gelernte Aktionsmodul wird durch drei Mechanismen in die VLA-Trainingsphase transferiert:

Decoder-Wiederverwendung: Der Stufe-1-Decoder wird als VLA-Aktionskopf wiederverwendet, wobei die Gewichte bereits Modelle für plausible Roboterbewegungen enthalten.
Latente Alignment-Distillation: Der Stufe-1-Encoder fungt als „Lehrer“. Während des frühen VLA-Trainings sagt das VLM ein latentes Aktions-Embedding ( $z'$ $z^{'}$ ) voraus, das über einen Distillationsverlust ( $L_{align}$ $L_{a l i g n}$ ) mit dem Ground-Truth-Embedding ( $z$ $z$ ) des Encoders abgeglichen wird. Dies verankert die Aktionsmerkmale des VLM im gelernten Bewegungs-Latentraum.
- Decay-Strategie: Ein monoton fallendes Gewicht $\lambda(k)$ wird auf den Distillationsverlust angewendet. Dies ermöglicht es dem Modell, frühzeitig vom Prior zu profitieren, lockert jedoch die Beschränkung später auf, um eine End-to-End-Verfeinerung basierend auf visuellen und linguistischen Inputs zu ermöglichen.
Historien-Kompression: Der Stufe-1-Encoder wird als Historien-Kompressor wiederverwendet. Er bildet vergangene Zustands-Aktions-Trajektorien auf ein einzelnes latentes Token ( $z_{hist}$ ) ab, welches in den VLM-Input injiziert wird. Dies liefert zeitlichen Kontext ohne den Token-Overhead von Rohdaten-Sequenzen.

Die gesamte Trainingszielsetzung kombiniert den primären Vorhersageverlust ( $L_{pred}$ ) mit den fallenden Distillations- und Rekonstruktionsverlusten.

3. Zentrale Beiträge

Identifizierung eines strukturellen Engpasses: Die Arbeit identifiziert das Fehlen von Aktions-Priors als eine Schlüssellimitierung im Standard-VLA-Training, insbesondere für die Generalisierung über verschiedene Embodiments hinweg.
Zweistufiges Framework: Einführung eines dedizierten Lernprozesses für Aktions-Priors, der das Aktionsmodul mit zeitlicher Bewegungsstruktur ausstattet, bevor die cross-modale Ausrichtung erfolgt.
Flow-Matching Encoder-Decoder: Eine spezifische Architektur, die kompakte, bewegungsbewusste Embeddings lernt und diese via Decoder-Wiederverwendung und latenter Distillation transferiert.
Effiziente Historien-Integration: Demonstration, dass der Aktions-Encoder als kompakter Historien-Kompressor dienen kann, was eine kontextsensitive Entscheidungsfindung bei vernachlässigbarem Rechenaufwand ermöglicht.
Empirische Validierung: Umfangreiche Evaluierung über 13 diverse Cross-Embodiment-Aufgaben (simuliert und realweltlich), die eine schnellere Konvergenz, höhere Erfolgsraten und verbesserte Stabilität bei Long-Tail-Aufgaben zeigen.

4. Experimentelle Ergebnisse

Die Methode wurde auf 13 Aufgaben über drei Benchmarks evaluiert: LIBERO (4 Suiten), RoboCasa (5 Aufgaben) und eine Real-world Franka Plattform (4 Aufgaben). Alle Modelle wurden gemeinsam auf heterogenen Embodiments trainiert, ohne embodiment-spezifisches Fine-Tuning.

Leistungssteigerungen: Im Vergleich zu einem Baseline-Modell ohne Aktions-Priors („No Action Prior“) verbesserte der vorgeschlagene Ansatz („Action-State Prior + History“) die durchschnittliche Erfolgsrate insgesamt von 55,3 % auf 68,0 %.
Long-Tail Real-World Performance: Die Gewinne waren bei datenarmen Realwelt-Aufgaben am deutlichsten. Beispielsweise stieg die Erfolgsrate bei der Aufgabe „Stack Cups“ von 25 % auf 75 %, und „Grasp Coke“ verbesserte sich von 5 % auf 35 %.
Konvergenz: Die Analyse der Trainingsdynamik zeigte, dass Aktions-Priors den initialen Vorhersageverlust um fast das 8-fache und die initiale Gradientennorm um das 16-fache reduzierten, was zu einer signifikant schnelleren und stabileren Konvergenz führte.
Skalierbarkeit: Die Erhöhung der Menge der Aktions-only-Daten in Stufe 1 (Skalierung von ~565k auf ~2,3M Transitionen) verbesserte die nachgelagerte VLA-Performance weiter, was darauf hindeutet, dass der Ansatz skalierbar ist.
Effizienz: Das Training der Stufe 1 dauerte nur etwa 2 Stunden (im Vergleich zu 20 Stunden für Stufe 2), bedingt durch das Fehlen von Bild- und Sprach-Tokens sowie größere Batch-Größen, wodurch der Overhead im Verhältnis zu den Leistungssteigerungen vernachlässigbar bleibt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass das vorgeschlagene Framework ein fundamentales Ungleichgewicht im VLA-Training adressiert, indem es dem Aktionsmodul einen „Bewegungs-Prior“ verleiht, der analog zu den semantischen Priors von VLMs ist.

Entkoppeltes Lernen: Durch die Trennung des Lernens von „Wie man sich bewegt“ (Stufe 1) und „Wie man sieht und handelt“ (Stufe 2) verhindert die Methode, dass der Aktionskopf das Fundament-Backbone während des frühen Trainings destabilisiert.
Robustheit in datenarmen Settings: Der Aktions-Prior ist besonders wertvoll, wenn die nachgelagerte Supervision spärlich ist (z. B. Realwelt-Aufgaben mit wenigen Demonstrationen), da er verhindert, dass die Policy instabile oder ruckartige Bewegungen lernt.
Generalisierung: Der Ansatz ermöglicht es einer einzigen Policy, über heterogene Embodiments hinweg zu generalisieren (z. B. von simulierten Tabletop-Robotern zu humanoiden Robotern und echten Franka-Armen), indem eine einheitliche, strukturierte Repräsentation der Bewegungsdynamik gelernt wird.
Skalierbarkeit: Das Framework legt nahe, dass die Skalierung von Aktions-only-Datensätzen direkt zu stärkeren Aktions-Priors führt, die effektiv auf die nachgelagerte VLA-Performance transferierbar sind, was einen Weg zu effizienterem Robotik-Lernen eröffnet.

Die Autoren kommen zu dem Schluss, dass dieser zweistufige Ansatz im Vergleich zum Standard-End-to-End-VLA-Training glattere Trajektorien, schnellere Konvergenz und eine wesentlich stärkere Leistung bei Realwelt-Aufgaben mit geringer Datendichte liefert.