💻 computer science

Demo-JEPA: Joint-Embedding Predictive Architecture for One-shot Cross-Embodiment Imitation

Demo-JEPA ist ein neuartiges Imitationslern-Framework für cross-embodiment, das die Notwendigkeit gemeinsamer Aktionsräume umgeht, indem es Demonstrationen als implizite zukünftige Ziele innerhalb einer Joint-Embedding-Vorhersagearchitektur interpretiert und es Zielagenten ermöglicht, gewünschte Zustände allein anhand visueller Beobachtungen und ihrer eigenen Interaktionserfahrung zu inferieren und zu planen.

Ursprüngliche Autoren: Jingyang He, Guangrun Li, Jieyu Zhang, Chengkai Hou, Zhengping Che, Shanghang Zhang

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jingyang He, Guangrun Li, Jieyu Zhang, Chengkai Hou, Zhengping Che, Shanghang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Körpersprache"-Barriere

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man ein Sandwich macht. Sie zeigen ihm ein Video eines Menschen, der es tut.

Der Mensch benutzt Finger, ein Handgelenk, das sich biegt, und einen Griff, der drückt.
Der Roboter hat einen starren Metallarm, eine andere Anzahl von Gelenken und eine Klemme, die sich öffnet und schließt.

Wenn Sie versuchen, dem Roboter beizubringen, indem Sie sagen: „Kopiere genau, wie der Mensch seine Hand bewegt," wird der Roboter scheitern. Es ist, als würde man einen Pinguin bitten, den Tanz eines Affen zu kopieren; die Bewegungen des Affen ergeben für den Körper eines Pinguins keinen Sinn.

Die meisten aktuellen Roboter versuchen, dieses Problem zu lösen, indem sie die Bewegungen des Menschen in ein „Übersetzungswörterbuch" zwingen (mathematische Regeln, um menschliche Gelenke auf Roboter-Gelenke abzubilden). Dies ist zerbrechlich, teuer und bricht oft, wenn sich der Roboter oder die Aufgabe nur geringfügig ändert.

Die Lösung: Demo-JEPA (Der „Träumer")

Die Autoren schlagen einen neuen Weg vor, der Demo-JEPA heißt. Anstatt dem Roboter beizubringen, wie er sich bewegt, bringen sie ihm bei, was er erreichen soll.

Stellen Sie es sich so vor:

Der alte Weg: „Bewege deine Hand 5 Zoll nach links, dann drehe sie um 30 Grad." (Zu spezifisch für den menschlichen Körper).
Der Demo-JEPA-Weg: „Das Ziel ist es, das Sandwich auf dem Teller zu haben." (Das Ziel ist dasselbe, unabhängig davon, wer es tut).

Das System behandelt die Videodemonstration nicht als eine Reihe von Anweisungen, sondern als einen Hinweis auf die Zukunft. Es fragt: „Wenn ich diesen Menschen beobachte, wie sieht die Welt in ein paar Sekunden aus?"

Wie es funktioniert: Der dreistufige „Traum"-Prozess

Das Papier beschreibt einen Rahmen, der in drei Stufen funktioniert, die wir uns als einen Träumer, einen Übersetzer und einen Planer vorstellen können.

1. Der Übersetzer (Der „Traumvorhersager")

Dies ist das Gehirn der Operation. Es betrachtet das Video des Menschen (die Quelle) und die aktuelle Sicht des Roboters (das Ziel).

Die Analogie: Stellen Sie sich einen Übersetzer vor, der weder mit dem Menschen noch mit dem Roboter dieselbe Sprache spricht. Anstatt Wörter zu übersetzen, übersetzt er Absichten.
Was es tut: Es ignoriert die chaotischen Details (wie die Farbe des Hemdes des Menschen, das Licht oder die spezifische Form der menschlichen Finger). Es streift diese ab und findet die „Seele" der Handlung. Dann projiziert es ein zukünftiges Ziel, das für den Körper des Roboters Sinn macht.
Die Magie: Es erstellt ein „latentes Ziel". Stellen Sie sich dies als ein mentales Bild des zukünftigen Zustands vor (z. B. „Die Tasse ist in der Luft"), das der Roboter verstehen kann, obwohl der Roboter den Menschen dies nie tun gesehen hat.

2. Der Planer (Das „aktionsbedingte Weltmodell")

Sobald der Roboter dieses mentale Bild des Ziels hat, muss er herausfinden, wie er dorthin gelangt.

Die Analogie: Stellen Sie sich einen Schachspieler vor, der auf das Brett schaut. Er rät nicht einfach nur Züge; er simuliert die Zukunft in seinem Kopf. „Wenn ich hierhin ziehe, was passiert? Wenn ich dorthin ziehe, was passiert?"
Was es tut: Der Roboter nutzt sein eigenes internes Modell der Physik (wie sich sein eigener Arm bewegt), um verschiedene Aktionen zu simulieren. Es führt Tausende von mentalen Simulationen durch, um die Abfolge von Zügen zu finden, die seine aktuelle Realität in dieses „mentale Bild" (das Ziel) verwandelt, das es vom Übersetzer erhalten hat.

3. Die adaptive Schleife (Das „Taktgeben")

Manchmal bleibt der Roboter stecken oder bewegt sich langsamer als der Mensch im Video.

Die Analogie: Stellen Sie sich vor, Sie folgen einem Reiseleiter. Wenn Sie zurückfallen, springen Sie nicht einfach zur nächsten Position des Leiters; Sie bleiben dort, wo Sie sind, bis Sie aufholen, und bewegen sich dann zur nächsten Stelle.
Was es tut: Das System prüft: „Habe ich das Ziel erreicht, das der Träumer für mich gesetzt hat?" Wenn ja, holt es sich das nächste Ziel aus dem Video. Wenn nein, versucht es weiter, das aktuelle Ziel zu erreichen. Dies verhindert, dass der Roboter verwirrt wird, wenn er hinter der Demonstration zurückfällt.

Warum das eine große Sache ist (Die Ergebnisse)

Das Papier testete dies auf zwei Arten:

Simulation: Eine Computerwelt mit verschiedenen Roboterarmen.
Realwelt: Ein physisches Labor mit einem UR5-Roboterarm (Quelle) und einem Franka-Roboterarm (Ziel).

Die Erkenntnisse:

Besser beim „One-Shot"-Lernen: Der Roboter musste die Aufgabe nur einmal sehen, um sie zu lernen.
Bewältigt „seltsame" Roboter: Es funktionierte sogar dann, wenn die Quell- und Zielroboter überhaupt nicht ähnlich aussahen (unterschiedliche Formen, unterschiedliche Größen).
Zero-Shot-Verallgemeinerung: Das ist der coolste Teil. Der Roboter konnte Aufgaben ausführen, die er noch nie zuvor gesehen hatte (wie das Aufnehmen eines neuen Objekts oder das Bewegen an einen neuen Ort), indem er einfach einen Menschen bei einer ähnlichen Aufgabe zusah.
Vergleich: Frühere Methoden (wie der Versuch, die genauen Bewegungen zu kopieren) versagten kläglich, wenn die Roboter unterschiedlich waren oder sich die Aufgabe änderte. Demo-JEPA funktionierte weiterhin.

Die Einschränkungen (Was das Papier zugibt)

Die Autoren sind ehrlich bezüglich der Nachteile:

Komplexität: Es erfordert viel Rechenleistung, um diese mentalen Simulationen durchzuführen.
Präzision: Obwohl es bei allgemeinen Aufgaben großartig ist, könnte es bei extrem hochpräzisen, empfindlichen Aufgaben (wie dem Fädeln einer Nadel) Schwierigkeiten haben, da das „mentale Modell" noch nicht perfekt ist.
Training: Es benötigt immer noch einige Trainingsdaten, um zu lernen, wie sein eigener Körper sich bewegt, obwohl es keine Daten benötigt, die die Bewegungen des Menschen mit den Bewegungen des Roboters verknüpfen.

Zusammenfassung

Demo-JEPA ist ein Robotersystem zum Lernen, das aufhört, Bewegungen zu kopieren, und beginnt, Absichten zu verstehen. Es agiert wie ein Träumer, der einen Menschen beobachtet, das zukünftige Ergebnis imaginiert und dann herausfindet, wie sein eigener, einzigartiger Körper dasselbe Ergebnis erreichen kann. Dies ermöglicht es Robotern, viel schneller und flexibler als zuvor von Menschen (oder anderen Robotern) zu lernen.

Technische Zusammenfassung: Demo-JEPA

Problemstellung

Das robotische Imitationslernen steht vor einer fundamentalen Engstelle, die als Embodiment-Lücke bekannt ist: die physische und kinematische Diskrepanz zwischen einem Demonstrator (z. B. ein Mensch oder ein anderer Roboter) und dem lernenden System. Traditionelle Ansätze versuchen, diese Lücke durch Ausrichtung auf Aktionsebene zu überbrücken, indem sie auf gemeinsame Aktionsräume, explizite Aktionskorrespondenzen, heuristisches Retargeting oder groß angelegtes Co-Training mit mehreren Embodiments setzen. Diese Methoden sind jedoch für heterogene Agenten grundsätzlich begrenzt, da identische semantische Absichten (z. B. „ein Objekt greifen") je nach spezifischer Morphologie oft radikal unterschiedliche Motorbefehle, Drehmomentprofile und Gelenkkonfigurationen erfordern. Folglich scheitert das Erlernen von Fähigkeiten über Embodiments hinweg durch eine Ausrichtung auf niedrigerer Aktionsebene daran, sich ohne massive Mengen an abgeglichenen Daten auf nicht übereinstimmende Morphologien zu verallgemeinern.

Methodik: Demo-JEPA

Die Autoren schlagen Demo-JEPA (Joint-Embedding Predictive Architecture) vor, ein Framework, das Imitation über Embodiments hinweg nicht als Reproduktion von Aktionen, sondern als latente, zielkonditionierte Planung neu fasst. Die Kernhypothese besagt, dass Demonstrationen als implizite Spezifikationen zukünftiger Ziele (welchen Zustand der Demonstrator zu realisieren versucht) und nicht als Sequenzen von Motorprimitiven (wie sie dies ausführen) betrachtet werden sollten.

Das Framework arbeitet in drei Hauptphasen innerhalb eines gemeinsamen prädiktiven Repräsentationsraums:

1. Weltmodell, konditioniert durch Aktionen

Der Zielagent nutzt ein JEPA-basiertes Weltmodell (speziell V-JEPA 2.1), um die Dynamik seines eigenen Embodiments zu erlernen.

Encoder ( $E$ ): Bildet visuelle Beobachtungen ( $o_t$ ) auf latente Zustände ( $z_t$ ) ab.
Dynamik-Prädiktor ( $F_{wm}$ ): Modelliert Übergänge, konditioniert auf den aktuellen latenten Zustand, den Roboterzustand ( $s_t$ ) und die Aktion ( $a_t$ ): $\hat{z}_{t+1} = F_{wm}(z_t, s_t, a_t)$ .
Planung: Gegeben ein latentes Ziel, optimiert der Agent mittels der Cross-Entropy-Methode (CEM) eine Aktionssequenz, die den Abstand zwischen dem vorhergesagten zukünftigen latenten Zustand und dem Ziel minimiert.

2. Dreamer-Prädiktor (Embodiment-bewusste Zielinferenz)

Dies ist die neuartige Komponente, die für die Übersetzung von Quell-Demonstrationen in zielkompatible Ziele verantwortlich ist.

Eingabe: Die aktuelle Zielbeobachtung ( $o^t_k$ ) und ein Paar von Quellbildern ( $o^s_k, o^s_{k+n}$ ), die eine zeitliche Verschiebung in der Demonstration darstellen.
Mechanismus:
- Ein gemeinsamer JEPA-Encoder bildet Beobachtungen auf latente Repräsentationen ab ( $z^t_k, z^s_k, z^s_{k+n}$ ).
- Cross-Attention-Module: Zwei Module erfassen (1) die Korrespondenz über Embodiments hinweg ( $f_{emb}$ ) und (2) die zeitliche Entwicklung des Verhaltens ( $f_{mot}$ ).
- 3D-Convolutionale Fusion: Die Merkmale werden über eine 3D-Faltung ( $\phi$ ) aggregiert, um die spatiotemporale Struktur zu erhalten, gefolgt von einem Transformer-Prädiktor ( $T$ ), der die fusionierten Merkmale in ein zielkompatibles latentes Ziel ( $\hat{z}^t_{goal}$ ) decodiert.
Training: Der Prädiktor wird in Phase 1 mit aktionsfreien Demonstrationen über Embodiments hinweg trainiert, um den Verlust der latenten Rekonstruktion zu minimieren ( $L_{pred} = \|\hat{z}^t_{goal} - z^t_{k+n}\|^2_2$ ). Auf die Quellbilder wird eine zeitliche Perturbation angewendet, um die Robustheit zu erhöhen.

3. Co-Training von Aktionen (Phase 2)

Sobald der Dreamer-Prädiktor eingefroren ist, wird der Dynamik-Prädiktor des Weltmodells ( $F_{wm}$ ) feinabgestimmt. Das Ziel ist es, die latenten Rollouts des Weltmodells mit der vom Dreamer-Prädiktor bereitgestellten Zielverteilung abzugleichen und dabei einen Planungsverlust ( $L_{plan}$ ) zu optimieren.

Inferenz mit adaptiver Zielaktualisierung

Während der Ausführung schreitet das System die Quellreferenzbilder nicht in einer festen Frequenz voran. Stattdessen berechnet es die latente Diskrepanz ( $D_k$ ) zwischen dem neu beobachteten Zielzustand und dem aktuellen Ziel. Das System schreitet nur zum nächsten Quellreferenzpaar fort, wenn $D_k < \epsilon$ (das Ziel ist erreicht). Dieser adaptive Mechanismus verhindert kumulative Fehler, die durch kinematische Diskrepanzen verursacht werden.

Hauptbeiträge

Neuartige Formulierung: Der Artikel schlägt vor, Imitation über Embodiments hinweg als latente, zielkonditionierte Planung neu zu fassen, wodurch die Engstelle der expliziten Ausrichtung auf Aktionsebene effektiv umgangen wird.
Demo-JEPA-Framework: Einführung eines rein visuell gesteuerten Frameworks mit einem embodiment-bewussten Dreamer-Prädiktor. Diese Komponente überbrückt die morphologische Lücke, indem sie zielkompatible zukünftige latente Zustände aus Quell-Demonstrationen inferiert, ohne dass Korrespondenzen auf Aktionsebene oder gemeinsame Aktionsräume erforderlich sind.
Empirische Validierung: Umfassende Evaluierung sowohl in simulierten (RLBench) als auch in realen robotischen Manipulationsaufgaben zeigt, dass Demo-JEPA eine überlegene Verallgemeinerung auf unbekannte Aufgaben und radikal unterschiedliche Embodiment-Konfigurationen im Vergleich zu früheren Baselines erreicht.

Experimentelle Ergebnisse

Das Framework wurde über drei Suiten mit zunehmenden Verteilungsverschiebungen evaluiert: Behavior Grounding (gesehene Aufgaben), Cross-Embodiment Bridging (ungesehene Aktionen) und Zero-Shot Generalization (ungesehene Konfigurationen).

Simulation (RLBench): Demo-JEPA entsprach bei Behavior Grounding spezialisierten domänenspezifischen Planern, übertraf die Baselines (VPP, XSkill) jedoch signifikant, sobald die Verteilungsverschiebung zunahm. Bei der Zero-Shot Generalization erreichte Demo-JEPA eine durchschnittliche Erfolgsrate von 0,36, während VPP und XSkill lediglich 0,04 bzw. 0,03 erreichten.
Realwelt: In physikalischen Experimenten (Quelle UR5e $\to$ Ziel Franka) erreichte Demo-JEPA bei Cross-Embodiment Bridging eine durchschnittliche Erfolgsrate von 0,55 und bei Zero-Shot Generalization 0,25 und übertraf damit VPP und XSkill, die in Zero-Shot-Szenarien signifikant versagten.
Ablationsstudien:
- Das Entfernen des 3D-convolutionalen Fusionsmoduls verschlechterte die Leistung bei komplexen, artikulierten Aufgaben (z. B. „Kanal wechseln"), was die Bedeutung einer expliziten spatiotemporalen Modellierung unterstreicht.
- Vergleiche mit „Naiven" (direkter latenter Transfer) und „Oracle"-Baselines (Ground-Truth-Zielzustand in der Zukunft) bestätigten, dass der Dreamer-Prädiktor heterogene Demonstrationen erfolgreich in zielkompatible Ziele umwandelt und die Oracle-Leistung ohne privilegierte Informationen annähert.
Skalierung: Die Studie ergab, dass die Aufgabenvielfalt (Exposition gegenüber diversen Aufgabensemantiken) ein kritischerer Treiber für übertragbare latente Abbildungen ist als das Volumen der Trajektorien pro Aufgabe.

Bedeutung und Behauptungen

Der Artikel behauptet, dass Demo-JEPA den abstrakten Aufgabenfortschritt erfolgreich in einen embodiement-kompatiblen Zielraum übersetzt, indem es die zugrunde liegenden prädiktiven Dynamiken einer Demonstration erfasst, anstatt oberflächliche Statistiken auswendig zu lernen.

Robustheit: Die Methode zeigt, dass die Inferenz latenter Ziele effektiver ist als die Verwendung von Demonstrationen als feste Aktionssequenzen oder Skill-Prototypen, insbesondere wenn Verteilungsverschiebungen schwerwiegend sind.
Flexibilität: Durch die Vermeidung einer Ausrichtung auf Aktionsebene unterstützt das Framework eine flexible Imitation über heterogene Embodiments hinweg, wobei nur visuelle Demonstrationen und die eigene Interaktionserfahrung des Zielagenten verwendet werden.
Limitationen: Die Autoren geben bescheiden zu, dass die Leistung derzeit durch die Modellierungsengstellen bestehender aktionskonditionierter Weltmodelle eingeschränkt ist, was die Wirksamkeit bei hochkomplexen, hochpräzisen Aufgaben begrenzt. Darüber hinaus erfordert die aktuelle Pipeline während des Trainings noch eine zeitliche oder fortschrittsbewusste Ausrichtung, und zukünftige Arbeiten zielen darauf ab, vollständig unausgerichtete Lernstrategien zu entwickeln.