🤖 AI

Imitation from Heterogeneous Demonstrations using Grounded Latent-Action World Models

Dieses Paper stellt Grounded Latent-Action World Models (GLAM) vor, ein Framework, das einen geteilten, prädiktionsbasierten latenten Aktionsraum erlernt, um robustes Imitationslernen aus heterogenen Datenquellen mit variierenden oder fehlenden Aktionsbezeichnungen zu ermöglichen, wobei es bestehende Baselines sowohl in Simulations- als auch in realen Manipulationsaufgaben signifikant übertrifft.

Ursprüngliche Autoren: Tianyou Wang, Anson Lei, Joe Watson, Ingmar Posner

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tianyou Wang, Anson Lei, Joe Watson, Ingmar Posner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboterarm beibringen, eine Tasse aufzuheben und sie in eine Schublade zu legen. Der traditionelle Weg besteht darin, einen Menschen die Bewegung des Roboterarms hunderte Male physisch durchführen zu lassen. Das ist langsam, teuer und mühsam.

Dieser Artikel schlägt einen klügeren Weg vor: Lassen Sie den Roboter aus einer Mischung aus „billiger“ Praxis und „teurem“ echtem Training lernen.

Hier ist die Aufschlüsselung ihrer Lösung, GLAM, unter Verwendung einfacher Analogien.

Das Problem: Verschiedene Sprachen sprechen

Stellen Sie sich vor, Sie haben zwei Arten von Trainingsdaten:

Die „Gold“-Daten: Echte Roboteraufzeichnungen, bei denen wir genau wissen, wie sich die Motoren bewegt haben (die Aktions-Labels). Diese sind selten und schwer zu bekommen.
Die „Silber“-Daten: Unmengen an Videos aus anderen Quellen – Simulationen, Videos von Menschen, die Objekte bewegen, oder Daten von einem anderen Roboterarm. Diese sind reichlich vorhanden und kostenlos, aber sie haben keine Motoranweisungen und sehen anders aus (andere Kameras, andere Roboterformen).

Wenn Sie diese beiden einfach mischen und versuchen, den Roboter damit zu trainieren, wird er verwirrt. Es ist, als würde man versuchen, einem Schüler ein Lehrbuch zu lehren, das auf Englisch geschrieben ist, während die Vorlesung auf Japanisch stattfindet, ohne einen Übersetzer zu haben. Der Roboter weiß nicht, dass „den Arm nach oben bewegen“ in der Simulation dasselbe Ziel ist wie „den Arm nach oben bewegen“ in der realen Welt.

Die Lösung: Der „Universelle Übersetzer“ (GLAM)

Die Autoren haben ein System namens GLAM (Grounded Latent-Action World Model) entwickelt. Betrachten Sie GLAM als einen Universellen Übersetzer, der eine geheime, abstrakte Sprache spricht, die sowohl die „Gold“- als auch die „Silber“-Daten verstehen.

So funktioniert es in zwei Schritten:

Schritt 1: Die geheime Sprache lernen (Das Weltmodell)

Anstatt zu versuchen, die spezifischen Motorbewegungen des Roboters nachzuahmen, konzentriert sich GLAM auf Ursache und Wirkung.

Der Kern der Idee: Wenn eine Aktion (wie das Drücken eines Blocks) dazu führt, dass der Block über den Tisch gleitet, hat diese Aktion eine spezifische „Bedeutung“. Es spielt keine Rolle, ob der Stoß von einer menschlichen Hand, einer Simulation oder einem anderen Roboterarm kam. Wenn das Ergebnis am Objekt dasselbe ist, ist auch die „Bedeutung“ der Aktion dieselbe.
Der Mechanismus: GLAM erstellt ein gemeinsames „Wörterbuch“ (einen latenten Raum).
- Es betrachtet die „Silber“-Daten (Videos ohne Motoranweisungen) und fragt: „Welche unsichtbare Aktion hat dieses Objekt bewegt?“ Es rät die Antwort und schreibt sie in die geheime Sprache.
- Es betrachtet die „Gold“-Daten (echter Roboter) und fragt: „Welche Motorbewegung hat dies verursacht?“ Es übersetzt dies in dieselbe geheime Sprache.
- Die Magie: Es erzwingt, dass diese beiden Übersetzungen übereinstimmen. Es stellt sicher, dass das „Drücken“ im Video und das „Drücken“ durch den Roboter in dieser geheimen Sprache exakt dasselbe bedeuten.

Schritt 2: Den Roboter lehren (Behavioral Cloning)

Sobald das geheime Wörterbuch erstellt ist, kann der Roboter viel schneller lernen.

Das System nimmt alle „Silber“-Daten (die billigen, reichlich vorhandenen Videos) und beschriftet sie neu unter Verwendung der geheimen Sprache. Nun verfügt der Roboter über eine riesige Bibliothek von Anweisungen, obwohl er die ursprünglichen Motorbefehle nie gesehen hat.
Es trainiert den Roboter dann darauf, eine Szene zu betrachten, die benötigte „geheime Aktion“ zu erraten und diese geheime Aktion dann wieder in echte Motorbefehle zu übersetzen, um die Aufgabe auszuführen.

Eine kreative Analogie: Der Tanzlehrer

Stellen Sie sich vor, Sie wollen einem Schüler (dem Roboter) einen bestimmten Tanzschritt beibringen.

Alter Weg: Sie stehen neben dem Schüler und bewegen seine Gliedmaßen 1.000 Mal physisch. (Teuer, langsam).
GLAM-Weg: Sie haben einige Videos von professionellen Tänzern (Gold-Daten) und tausende Videos von Menschen, die in ihren Wohnzimmern, auf Bühnen oder in Cartoons tanzen (Silber-Daten).
- Die Silber-Daten enthalten keine Schritt-für-Schritt-Anweisungen, aber man kann sehen, was die Tänzer mit dem Boden und der Luft machen.
- GLAM fungt wie ein Choreograf, der die spezifischen Schuhe oder die Größe des Raums ignoriert. Stattdessen konzentriert er sich auf den Rhythmus und den Fluss.
- Er erkennt, dass „einen Schritt nach vorne zum Takt machen“ dasselbe Konzept ist, egal ob es von einem Profi im Studio oder einem Kind im Wohnzimmer getan wird.
- Er erstellt einen „Rhythmus-Code“, der die Bewegung repräsentiert.
- Nun lernt der Schüler, indem er all diese Videos sieht, den „Rhythmus-Code“ versteht und ihn dann auf seinen eigenen Körper anwendet. Er lernt den Tanz viel schneller, weil er Zugang zu tausenden Beispielen hatte, nicht nur zu wenigen.

Was sie herausgefunden haben

Die Forscher testeten dies an fünf verschiedenen Aufgaben (wie das Stapeln von Blöcken oder das Umstoßen einer Flasche) sowohl in Computersimulationen als auch in der realen Welt.

Das Ergebnis: Der mit GLAM trainierte Roboter war signifikant besser als Roboter, die nur mit den teuren „Gold“-Daten trainiert wurden.
Der Gewinn: In einigen schwierigen Aufgaben verbesserte der GLAM-Ansatz die Erfolgsraten im Vergleich zu Standardmethoden um fast 50 %.
Der „Object Mask“-Trick: Sie fanden heraus, dass das Lernen noch genauer wurde, wenn sie die KI anwiesen, sich nur auf das Objekt zu konzentrieren, das bewegt wird (und den Hintergrund sowie den Körper des Roboters zu ignorieren). Es ist, als würde man dem Schüler sagen: „Achte nicht auf den Raum, beobachte nur den Ball.“

Das Fazrtit

GLAM löst das Problem der „Datenknappheit“, indem es Robotern beibringt, die Physik der Bewegung zu verstehen, anstatt nur spezifische Motorbefehle auswendig zu lernen. Es ermöglicht Robotern, aus billigen, unordentlichen und vielfältigen Datenquellen (wie Simulationen oder Videos) zu lernen und dieses Wissen auf reale Aufgaben anzuwenden, was sie schneller und intelligenter trainierbar macht, ohne dass tausende teure menschliche Demonstrationen nötig sind.

Technisches Resümee: Imitation von heterogenen Demonstrationen mittels geerdeter latenter Aktions-Weltmodelle

Problemstellung

Das Imitationslernen hat signifikante Erfolge in der visuomotorischen Manipulation erzielt, doch seine Skalierbarkeit wird durch die hohen Kosten und die Knappheit hochwertiger, aktionsgelabelter Demonstrationen auf Zielrobotern begrenzt. Während reichlich vorhandene heterogene Datenquellen existieren (z. B. Simulationen, tragbare Handheld-Geräte, menschliche Videos), stellen diese drei kritische Herausforderungen dar:

Mismatch der Aktionsräume: Unterschiedliche Quellen besitzen oft inkompatible Aktionsräume oder verfügen gänzlich über keine Aktionslabels.
Visuelle und morphologische Variation: Datenquellen weisen erhebliche Unterschiede in Kameraperspektiven, Roboter-Morphologien und Szenenkontexten auf, die die zugrunde liegende Aufgabenphysik nicht widerspiegeln.
Limitierungen bestehender Lösungen: Aktuelle Ansätze zum Co-Training auf heterogenen Daten verlassen sich auf heuristische, handgefertigte Alignment-Techniken (z. B. Optimal Transport Losses, empirisch abgestimmte Mischungsverhältnisse oder spezifische Tokenizer) anstatt auf eine prinzipielle Repräsentationslernung.

Das Paper postuliert, dass ein fundierterer Ansatz erforderlich ist: Aktionen sollten basierend auf ihrer physischen Auswirkung auf die Umgebung repräsentiert werden, anstatt nach ihrer Quelle. Zwei Aktionen, die ein Objekt entlang derselben Trajektorie bewegen, sollten dieselbe Repräsentation teilen, unabhängig davon, ob sie von einem echten Roboter, einer Simulation oder einem Handheld-Gerät stammen.

Methodik: Grounded Latent-Action World Models (GLAM)

Die Autoren schlagen GLAM vor, ein Framework, das heterogene Daten über ein Paar gekoppelter generativer Modelle in einen gemeinsamen, quellenspezifischen latenten Aktionsraum vereinheitlicht. Die Pipeline operiert in zwei Stufen:

Stufe 1: GLAM-Pretraining (Weltmodell)

Die Kerninnovation ist das Erlernen eines gemeinsamen latenten Aktionsraums ( $z_t$ ), der in der Umgebungsdynamik geerdet ist. Dies wird durch zwei gemeinsam trainierte generative Modelle erreicht:

Heterogenes Modell ( $p(X, O, Z)$ ): Trainiert auf der Mischung aus Ziel-Daten ( $D_{tar}$ ) und Hilfsdaten ( $D_{aux}$ ). Da $D_{aux}$ keine Aktionslabels besitzt, behandelt dieses Modell Aktionen als latente Variablen, die allein aus Zustandsübergängen abgeleitet werden.
- Es nutzt ein Inverse Dynamics Model (IDM), $q_\phi(z_t | x_t, x_{t+1})$ , um latente Aktionen direkt aus beobachteten Übergängen abzuleiten (wobei $x_t$ ein latenter Zustand ist, der aus Beobachtungen kodiert wurde).
- Es verwendet ein gemeinsames Forward Dynamics Model, $p_\theta(x_{t+1} | x_t, z_t)$ , um zukünftige Beobachtungen vorherzusagen.
- Prinzip: Durch das Teilen des IDM und des Forward Dynamics Modells über alle Datenquellen hinweg wird erzwungen, dass latente Aktionen dadurch definiert sind, wie sie die Umgebung beeinflussen, was Quellenspezifität sicherstellt (Source Invariance).
Zielmodell ( $p(S, A, Z)$ ): Trainiert ausschließlich auf den gelabelten Ziel-Daten ( $D_{tar}$ ).
- Es beinhaltet einen Aktions-Encoder, $q_\eta(z_t | s_t, a_t)$ , der latente Aktionen aus ausführbaren Roboteraktionen und propriozeptiven Zuständen ableitet.
- Es beinhaltet einen Aktionsrekonstruktionsterm, $\log p_\theta(a_t | z_t)$ , der sicherstellt, dass der latente Raum in der spezifischen Kontrollsemantik des Zielroboters geerdet bleibt.

Alignment-Mechanismus:
Um diese beiden Modelle zu koppeln, führen die Autoren eine asymmetrische KL-Divergenz-Beschränkung ( $C_{KL}$ ) ein. Diese Beschränkung richtet die IDM-Posterior-Verteilung (aus dem heterogenen Modell) an der Action-Encoder-Posterior-Verteilung (aus dem Zielmodell) aus, und zwar spezifisch auf dem Ziel-Datensatz.

Die Asymmetrie (durch Verwendung eines Stop-Gradients auf dem Ziel-Encoder) stellt sicher, dass das IDM die „privilegierten“ Kontrollsemantiken aus den Ziel-Daten absorbiert, ohne durch die mehrdeutigen Signale der Hilfsdaten verzerrt zu werden.
Die kombinierte Zielfunktion minimiert die negativen Evidence Lower Bounds (ELBOs) beider Modelle plus die Alignment-Beschränkung, wodurch ein vereinheitlichter latenter Raum entsteht, in dem jeder Übergang mit einer gemeinsamen, kontrollbewussten latenten Aktion neu gelabelt werden kann.

Hinweis: Die Autoren untersuchen zudem eine Variante, die Objektsegmentierungsmasken als Beobachtungen anstelle von rohen RGB-Frames verwendet, um den Fokus weiter auf die manipulierte Objektdynamik zu schärfen.

Stufe 2: World-Model-Aligned Behavioural Cloning (BC)

Sobald das GLAM-Modell vortrainiert und eingefroren ist, dient es als Anker für latente Aktionen:

Relabelling: Jeder Übergang in sowohl $D_{tar}$ als auch $D_{aux}$ wird unter Verwendung des IDM-Posterior-Mittelwerts mit der inferierten latenten Aktion $z_t$ neu gelabelt.
Policy-Training: Eine nachgeschaltete Behavioural Cloning Policy (speziell MIP, eine leichtgewichtige Regressionspolicy) wird trainiert, um Beobachtungen auf diese latenten Aktions-Chunks abzubilden.
Ausführung: Die Ausgabe der Policy (latente Aktionen) wird über den Action-Decoder des Zielmodells zurück in ausführbare Roboteraktionen dekodiert.

Dieser Ansatz ermöglicht es, ungelabelte Hilfsdaten als direkte Überwachung für die BC-Policy zu nutzen, was den teuren Teleoperationsaufwand für den Zielroboter effektiv ersetzt.

Zentrale Beiträge

Prinzipielle Repräsentationslernung: Das Paper verschiebt das Paradigma von heuristischem Alignment hin zum Erlernen von Aktionsrepräsentationen, die in der physischen Vorhersage geerdet sind. Aktionen werden dann abgeglichen, wenn sie denselben Umweltübergang erzeugen, unabhängig von der Quelle.
GLAM-Architektur: Die Einführung eines dualen generativen Modell-Frameworks (Heterogen + Ziel), das durch asymmetrisches KL-Alignment und geteiltes Forward Dynamics verknüpft ist. Dies schafft einen latenten Raum, der sowohl quellenspezifisch invariant (erlernt aus gemischten Daten) als auch kontrollbewusst (geerdet in den Zielroboter-Aktionen) ist.
Dateneffizienz: Die Methode zeigt, dass heterogene, ungelabelte Daten die Ziel-Roboter-Demonstrationen effektiv ersetzen können, was den Datenbedarf für eine zuverlässige Bereitstellung erheblich reduziert.
Objektzentrierte Erdung: Die Untersuchung der Verwendung von Objektmasken als Eingaben, um die Transferierbarkeit zu verbessern, indem der Fokus auf die Physik des manipulierten Objekts gelegt wird.

Experimentelle Ergebnisse

Die Autoren evaluierten GLAM bei fünf Manipulationsaufgaben: drei in der realen Welt (Heben, Pick-and-Place, Knock-down) und zwei in der Simulation (2-Cube und 3-Cube Stacking).

Leistungssteigerungen: GLAM-ausgerichtete Policies übertrafen die Behavioural Cloning Baselines (MIP) und vorherige latente Aktionsmethoden (CLAM, LAPA) signifikant.
- Erzielte eine durchschnittliche Steigerung der Erfolgsrate um +48 % über die Aufgaben hinweg im gleichen datenarmen Setting.
- Bei der komplexen bimanualen „Stack-Three“-Aufgabe (die typischerweise hunderte Demonstrationen erfordert) erreichte GLAM eine Erfolgsrate von 72,7 %, während alle Baselines scheiterten (≤4 %).
Cross-Source Transfer: Qualitative Experimente bestätigten, dass aus ungelabelten Quellen inferierte latente Aktionen (z. B. UMI Handheld-Simulationen) erfolgreich dekodiert und auf dem Zielroboten (Kinova) ausgeführt werden konnten, ohne dass Aktionslabels vorlagen, was die Ausrichtung des latenten Raums validiert.
Dateneffizienz: In Skalierungsexperimenten entsprach GLAM-O (unter Verwendung von Objektmasken) der Leistung einer Standard-BC-Policy, die mit 500 Ziel-Trajektorien trainiert wurde, unter Verwendung von nur 100 Ziel-Trajektorien, ergänzt durch 400 Hilfs-Trajektorien. Dies deutet darauf hin, dass Hilfsdaten die Ziel-Daten hinsichtlich des Leistungsgewinns nahezu 1:1 ersetzen können.
Objektmasken: Die Verwendung von Objektmasken als Beobachtungen verbesserte die Leistung konsistent, insbesondere bei komplexen Aufgaben wie „Knock-down“ (+25 %) und „Stack-Three“ (+16 %), was die Hypothese stützt, dass objektzentrierte Erdung den Transfer verbessert.

Bedeutung und Ansprüche

Das Paper behauptet, dass GLAM ein Paradigma für das Lernen aus heterogenen Daten bietet, das den Datenengpass beim Imitationslernen überwindet. Indem Aktionen als latente Variablen behandelt werden, die in Umweltübergängen geerdet sind, eliminiert die Methode die Notwendigkeit handgefertigter Alignment-Rezepte.

Die Autoren betonen, dass GLAM:

Gelabelte und ungelabelte Daten in einem einzigen, quellenspezifischen invarianten latenten Raum vereint.
Den direkten Einsatz von günstigen, reichlich vorhandenen Hilfsdaten (wie Simulationen oder Handheld-Geräte-Daten) als Supervision für Zielroboter ermöglicht.
State-of-the-Art-Leistung in datenarmen Settings erreicht, ohne groß angelegtes Pretraining oder massives Online-Interaktion zu benötigen.

Die Arbeit wird als Schritt zur Skalierung fähiger Policies auf den „Long Tail“ realer Aufgaben präsentiert, indem sie diverse, imperfekte Datenquellen durch ein prinzipielles, physikalisch geerdetes Repräsentationslern-Framework nutzt.