🤖 machine learning

XP-JEPA: Cross-Predictive Physics Grounding for Forecastable Latent Dynamics

Das Papier stellt XP-JEPA vor, ein Framework für kreuzprädiktives Lernen, das die visuelle latente Dynamik während des Trainings durch privilegierte physikalische Trajektorien fundiert, um die Vorhersagbarkeit und Steuerungsleistung signifikant zu verbessern, während der physikalische Zweig für den rein visuellen Einsatz verworfen wird.

Ursprüngliche Autoren: Kehan Wen, Ziming Li, Siyuan Luo, Fan Shi

Veröffentlicht 2026-08-26

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kehan Wen, Ziming Li, Siyuan Luo, Fan Shi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Roboter, die vorausplanen können, verlassen sich oft auf eine mentale Abkürzung: Sie bauen eine interne Karte der Welt auf, eine Art Simulation, in der sie verschiedene Bewegungen testen können, bevor sie diese tatsächlich ausführen. Um dies zu tun, macht der Roboter ein Foto seiner Umgebung, wandelt dieses Bild in einen vereinfachten Satz von Zahlen um und bittet dann ein Computerprogramm zu raten, wie diese Zahlen einen Moment später aussehen werden, wenn der Roboter etwas drückt, hebt oder dreht. Wenn die Vermutung mit dem Ziel übereinstimmt, führt der Roboter die Bewegung aus. Dieser Prozess funktioniert gut, wenn die interne Karte des Roboters korrekt widerspiegelt, wie sich die physische Welt verändert. Es tritt jedoch ein häufiges Problem auf, wenn der Roboter lernt, die Zukunft ausschließlich anhand von Bildern vorherzusagen. Er kann zu schlau für sein eigenes Wohl werden und Muster in den visuellen Daten finden, die leicht vorherzusagen sind, aber nichts mit der echten Physik zu tun haben. Zum Beispiel könnte der Roboter lernen, dass ein bestimmter Grauton normalerweise einem bestimmten Blauton folgt, selbst wenn das eigentliche Objekt sich gar nicht bewegt hat. Dies schafft ein fragiles Verständnis, bei dem die Vorhersagen des Roboters von der Realität abweichen, was dazu führt, dass er scheitert, wenn er versucht, mit der Welt zu interagieren.

Ein Team von Forschern an der National University of Singapore hat eine neue Methode entwickelt, um diesen Fehler zu beheben und sicherzustellen, dass die internen Vorhersagen des Roboters in den Gesetzen der Physik verwurzelt bleiben. Sie nennen ihren Ansatz XP-JEPA. Anstatt den Roboter ausschließlich durch das Beobachten von Videos lernen zu lassen, gaben sie ihm während des Trainings einen zweiten Informationsstrom: eine direkte Ausgabe des physischen Zustands der Objekte, wie etwa deren exakte Position, Größe und Orientierung im Raum. Diese physischen Daten sind wie eine verborgene Ebene der Wahrheit, die der Roboter mit seiner Kamera nicht sehen kann, auf die er aber während des Lernens zugreifen kann. Die Forscher entwarfen ein System, in dem das visuelle Gehirn und das physische Gehirn des Roboters zusammenarbeiten. Beide Seiten erhalten dieselbe Historie von Aktionen und versuchen, die Zukunft vorherzusagen. Die visuelle Seite sagt voraus, wie das nächste Bild aussehen wird, während die physische Seite die nächsten Koordinaten vorhersagt. Entscheidend ist, dass das System diese beiden Vorhersagen zur Übereinstimmung zwingt. Wenn die visuelle Seite vorhersagt, dass ein Block nach oben wandert, die physische Seite aber vorhersagt, dass er stillsteht, lernt das System, dass die visuelle Vorhersage falsch ist. Dieser Abgleichprozess lehrt das visuelle System, auf die echten physischen Veränderungen zu achten, die wichtig sind, anstatt nur auf der Grundlage oberflächlicher visueller Muster zu raten.

Die Forscher testeten diese Methode bei einer Vielzahl von Roboteraufgaben, darunter das Drücken von Blöcken, das Stapeln von Objekten und das Werfen von Gegenständen in Behälter. Sie verglichen ihr neues System mit Standardmodellen, die nur aus Bildern lernen. Die Ergebnisse waren beeindruckend. Als die Forscher das neue System eine Simulation einer Aufgabe ausführen ließen, wuchs der Fehler in seiner Vorhersage nur sehr langsam an. Im Gegensatz dazu driftete die Vorhersage des Standardmodells erheblich ab und wurde nach nur wenigen Schritten unzuverlässig. Konkret reduzierte die neue Methode den Vorhersagefehler von einem Wert von 0,361 auf 0,104. Diese Verbesserung der Genauigkeit schlug sich direkt in einer besseren Leistung nieder. Als die Roboter tatsächlich gebeten wurden, die Aufgaben auszuführen, war das neue System in 78,2 Prozent der Fälle erfolgreich, was einen erheblichen Sprung gegenüber der Erfolgsquote von 53,6 Prozent des standardmäßigen, rein visuellen Modells darstellt. Die Verbesserung hielt bei sechs verschiedenen Arten von Interaktionen stand und zeigte, dass die Methode für ein breites Spektrum physikalischer Herausforderungen funktioniert.

Eine der wichtigsten Erkenntnisse der Studie ist, was passiert, wenn der Roboter aufhört, die physischen Daten zu verwenden. Die physischen Informationen sind nur während der Trainingsphase verfügbar; sie sind nichts, was ein echter Roboter während einer Mission messen kann. Die Forscher fanden heraus, dass sie die physischen Sensoren vollständig entfernen konnten, sobald der Roboter das Lernen mit Hilfe der physischen Daten abgeschlossen hatte. Der Roboter arbeitete dann unter Verwendung nur seiner Kamera, genau wie die Standardmodelle. Trotz des Verlusts des Zugriffs auf die physischen Daten behielt der Roboter die verbesserte Fähigkeit, die Zukunft vorherzusagen. Dies deutet darauf hin, dass der Roboter die Regeln der Physik erfolgreich in sein visuelles Verständnis internalisiert hat. Er lernte, die Welt auf eine Weise zu sehen, die die Bewegungen und Interaktionen von Objekten natürlich respektiert, anstatt nur visuelle Tricks auswendig zu lernen.

Die Forscher untersuchten auch, ob es ausreichen würde, den Roboter lediglich dazu zu bringen, zu erkennen, wo sich Objekte befinden. Sie probierten einen anderen Ansatz aus, bei dem der Roboter gezwungen wurde, die Position eines Objekts direkt aus einer einzelnen Momentaufnahme des Bildes zu erraten. Während diese Methode den Roboter sehr gut darin machte, zu identifizieren, wo sich ein Objekt zu einem bestimmten Zeitpunkt befand, half es dem Roboter nicht, vorherzusagen, wie sich dieses Objekt in der Zukunft bewegen würde. Der Roboter konnte die Position zwar immer noch genau bestimmen, aber seine Vorhersagen über den zukünftigen Pfad des Objekts waren jedoch genauso unzuverlässig wie beim Standardmodell. Dieser Unterschied ist entscheidend: Zu wissen, wo etwas jetzt ist, ist nicht dasselbe wie zu verstehen, wie es sich verändern wird. Die neue Methode war erfolgreich, weil sie sich auf die Beziehung zwischen Aktionen und zukünftigen Zuständen konzentrierte und die physischen Daten nutzte, um das Lernen dieser Beziehung zu leiten, anstatt nur den Roboter zu lehren, die aktuelle Szene zu beschriften.

Die Forscher testeten auch, was passieren würde, wenn die Verbindung zwischen den visuellen und physischen Daten unterbrochen würde. In einem Experiment koppelten sie das visuelle Video einer Aufgabe mit den physischen Daten einer völlig anderen, nicht verwandten Aufgabe. In diesem Szenario wurden die Vorhersagen des Roboters chaotisch und seine Fähigkeit zur Steuerung des Roboters brach auf eine Erfolgsquote von nur 16,6 Prozent zusammen. Dieses Ergebnis beweist, dass das System auf die korrekte Paarung von visuellen und physischen Informationen angewiesen ist. Es reicht nicht aus, Zugang zu physischen Daten zu haben; der Roboter muss die spezifische Verknüpfung zwischen dem, was er sieht, und der Art und Weise lernen, wie sich diese Szene physisch entwickelt. Die Studie bestätigt, dass die Verbesserung aus dem Erlernen der korrekten Dynamik der Welt resultiert und nicht bloß daraus, dass mehr Daten zur Verfügung stehen.

Am Ende zeigt die Arbeit einen Weg zu einer zuverlässigeren Roboterplanung auf. Indem die Forscher dem visuellen System des Roboters eine vorübergehende, privilegierte Sicht auf die physische Welt zur Ausbildung gaben, schufen sie ein Modell, das wesentlich besser darin ist, die Zukunft zu imaginieren. Der Roboter lernt, die Folgen seiner Handlungen mit größerer Präzision vorherzusehen, was das Risiko eines Scheiterns bei der Manipulation realer Objekte verringert. Obwohl die aktuellen Experimente in einer simulierten Umgebung durchgeführt wurden, bietet der Ansatz eine klare Strategie, um Maschinen beizubringen, die physische Welt nicht nur als eine Sammlung von Bildern, sondern als ein System beweglicher Teile zu verstehen, die konsistenten Regeln unterliegen. Der Roboter muss keine schweren physischen Sensoren in die reale Welt tragen; er muss nur gelernt haben, auf die richtige Weise zu sehen.

Technisches Resümee: XP-JEPA: Cross-Predictive Physics Grounding für vorhersagbare latente Dynamiken

1. Problemstellung

Latente Weltmodelle ermöglichen die Planung durch die Suche im Repräsentationsraum: Ein Agent kodiert die aktuelle Szene, rollt potenzielle Aktionen durch gelernte Dynamiken vorwärts und wählt Aktionen aus, deren vorhergesagte Ergebnisse sich einem Ziel annähern. Dieser Ansatz beruht auf Repräsentationen mit zuverlässigen, aktionsbedingten Dynamiken.

Selbstvorhersagende Modelle (Self-Predictive Models), bei denen der Encoder und der Prädiktor gemeinsam optimiert werden, leiden jedoch häufig unter einem spezifischen Ausfallmodus: Die Repräsentation und der Prädiktor ko-adaptieren an latente Übergänge, die intern zwar vorhersagbar, aber nur schwach durch die zugrunde liegende physikalische Entwicklung der Szene beschränkt sind. Wie im Paper illustriert, können zwei unterschiedliche physikalische Zustände (z. B. ein Block, der von einem Greifer gehalten wird, gegenüber einem Block, der auf einem Tisch liegt, entlang desselben Kamerastrahls) zu nahezu identischen Bildern projiziert werden. Ein selbstvorhersagendes Ziel erfordert nicht, dass ihre latenten Übergänge diese Unterscheidung treffen, selbst wenn sie sich unter derselben Aktion entgegengesetzt entwickeln. Diese Ambiguität führt zu „Rollout-Drift“, bei dem die vorhergesagten Zukünfte signifikant von der physikalischen Realität abweichen, was die Steuerungsleistung untergräbt.

Obwohl privilegierte physikalische Zustände (z. B. Objektposen, Geschwindigkeiten) eine externe Referenz zur Reduzierung dieser Ambiguität bieten, nutzen bestehende Ansätze diese oft lediglich, um den Inhalt der Repräsentation zu überwachen (via Distillation oder Zustandsregression) oder das nachgeschaltete Verhalten zu steuern. Das Paper argumentiert, dass die bloße Dekodierbarkeit physikalischer Zustände aus einem einzelnen latenten Schnappschuss nicht zwangsläufig sicherstellt, wie sich diese Latenzen über die Zeit unter einer Aktion entwickeln. Die zentrale Herausforderung besteht darin, privilegierte Trajektorien zu nutzen, um den prädiktiven Übergang selbst zu überwachen, um sicherzustellen, dass die gelernten Dynamiken in der physikalischen Realität verankert sind, ohne zum Testzeitpunkt privilegierte Eingaben zu benötigen.

2. Methodik: XP-JEPA

Die Autoren führen Cross-Predictive JEPA (XP-JEPA) ein, ein Framework, das visuelle Beobachtungen und privilegierte physikalische Zustände als zwei Ansichten derselben Trajektorie behandelt. Im Gegensatz zu Methoden, die einen festen physikalischen Zielwert in eine visuelle Repräsentation destillieren, koppelt XP-JEPA die Entwicklung beider Modalitäten durch einen gemeinsamen Prädiktor.

Kernarchitektur und Zielsetzung

XP-JEPA baut auf der LeWM (Joint-Embedding Predictive Architecture) Baseline auf, die einen visuellen Encoder $f_\theta$ und einen aktionsbedingten Prädiktor $g_\psi$ gemeinsam lernt. XP-JEPA erweitert dies um einen physikalischen Zweig:

Duale Encoder: Ein visueller Encoder $f_\theta$ verarbeitet Beobachtungen $o_t$ , und ein physikalischer Encoder $h_\phi$ verarbeitet privilegierte Zustände $s_t$ .
Gemeinsamer Prädiktor: Ein einziger aktionsbedingter Prädiktor $g_\psi$ führt die Historien aus entweder einer Modalität ( $Z^o_t$ oder $Z^s_t$ ) zeitlich vorwärts.
Cross-Predictive Loss: Das Modell optimiert eine Verlustfunktion, die vier Terme enthält:
- Innerhalb-der-Modalität-Terme: Visuelle Selbstvorhersage ( $g_\psi(Z^o_t, a_t) \to z^o_{t+1}$ ) und physikalische Selbstvorhersage ( $g_\psi(Z^s_t, a_t) \to z^s_{t+1}$ ).
- Cross-modale Terme: Eine visuelle Historie sagt die zukünftige physikalische Repräsentation voraus ( $g_\psi(Z^o_t, a_t) \to z^s_{t+1}$ ), und eine physikalische Historie sagt die zukünftige visuelle Repräsentation voraus ( $g_\psi(Z^s_t, a_t) \to z^o_{t+1}$ ).
  Die Verlustfunktion ist definiert als:
  $\mathcal{L}_{\text{XP-JEPA}} = \sum_{m,n \in \{o,s\}} \| g_\psi(Z^m_t, a_t) - z^n_{t+1} \|^2_2 + \beta [\Omega(z^o) + \Omega(z^s)]$
  wobei $\Omega$ ein Isotropie-Regularisierer (SIGReg) ist, um Repräsentationskollaps zu verhindern.

Einheitliche Privilegierter-Zustand-Schnittstelle

Um dies über heterogene Aufgaben hinweg anzuwenden (z. B. Greifen, Schieben, Stapeln), entwerfen die Autoren ein einheitliches Rigid-Body-Schema. Szenen werden durch eine Menge von Token repräsentiert:

Objekt-Token: Enthalten kanonische Geometrie (gepooltes Signed Distance Field), Halbmessungen (half-extents), Pose (Rotation und Position).
Effektor-Token: Endeffektor-Rotation, Position und Fingeröffnung.
Tisch-Token: Ein gelernter Token, der das Set vervollständigt.
Szenen werden auf eine feste Anzahl von Objekt-Slots (z. B. sechs) gepadded, wobei ungenutzte Slots maskiert werden. Dies ermöglicht es einem einzelnen physikalischen Encoder, diverse Konfigurationen ohne aufgabenspezifische Labels zu verarbeiten.

Training vs. Einsatz (Deployment)

Training: Beide Encoder und der gemeinsame Prädiktor werden gemeinsam trainiert. Der physikalische Zweig fungiert als eine zweite Online-Vorhersageansicht, welche die visuelle Dynamik einschränkt.
Einsatz: Der physikalische Encoder $h_\phi$ und der privilegierte Zustand $s_t$ werden verworfen. Das eingesetzte Modell besteht nur aus dem visuellen Encoder und dem Prädiktor. Es erhält dieselben visuellen Beobachtungen wie die Baseline, ohne privilegierte Eingaben während der Inferenz. Die Planung erfolgt durch das Durchspielen (Rollout) potenzieller Aktionssequenzen in der gelernten latenten Dynamik und deren Bewertung gegen ein kodiertes Ziel.

3. Zentrale Beiträge

Cross-Predictive JEPA: Eine neuartige Architektur, die latente Übergänge durch privilegierte physikalische Trajektorien in der vorhersagbaren Dynamik verankert, indem sie visuelle und physikalische Historien durch einen gemeinsamen Prädiktor vorwärtsschiebt und jede Vorhersage mit den Zukünften beider Modalitäten abgleicht. Dies koppelt punktweise Korrespondenz mit aktionsbedingter Vorhersage.
Einheitliche Privilegierter-Zustand-Schnittstelle: Ein Rigid-Body-Schema, das es einem einzelnen physikalischen Encoder ermöglicht, über diverse Objekt-Interaktions-Konfigurationen hinweg zu operieren, ohne Kategorien-Labels oder aufgabenspezifische Zustandsfelder zu benötigen.
Trennung von Eigenschaften: Die Arbeit unterscheidet explizit zwischen Dekodierbarkeit (Wiederherstellung physikalischer Variablen aus einem Schnappschuss), Vorhersagbarkeit (zuverlässige aktionsbedingte Vorhersage über die Zeit) und Planungsnutzen. Sie zeigt auf, dass eine hohe Dekodierbarkeit nicht zwangsläufig eine hohe Vorhersagbarkeit oder den Erfolg der Steuerung garantiert.

4. Experimentelle Ergebnisse

Die Autoren evaluieren XP-JEPA auf einer Multi-Task-Suite (basierend auf Meta-World, 22 Konfigurationen) und vier Single-Task-Umgebungen (Push-T, OGBench-Block, Two-Room, Reacher).

Vorhersagbarkeit (Forecastability)

Rollout-Drift: XP-JEPA reduziert den relativen Rollout-Drift eines neu angepassten Prädiktors signifikant. In der Multi-Task-Suite sinkt der Drift von 0,361 (visuelle Baseline) auf 0,104.
Generalisierung: Diese Verbesserung ist konsistent über alle Single-Task-Umgebungen hinweg (z. B. sinkt der Drift in Two-Room von 0,503 auf 0,221).
Ablation: Das Entfernen der Cross-Prediction (ALIGN-ONLY) reduziert den Drift weniger effektiv (0,158), während das Entfernen des gemeinsamen Priktors (CROSS-ONLY) einen niedrigen Drift beibehält (0,101), was darauf hindeutet, dass die Cross-Modale Vorhersage der primäre Treiber für die Vorhersagbarkeit ist.

Steuerungsleistung (Control Performance)

Erfolgsraten: In der Multi-Task-Suite steigert XP-JEPA die mittlere Steuerungs-Erfolgsrate von 53,6 % auf 78,2 % (+24,6 Prozentpunkte).
Aufgabenabhängigkeit: Während die Vorhersagbarkeit universell verbessert wird, variieren die Steuerungs-Gewinne je nach Aufgabe. Beispielsweise übertrifft XP-JEPA die Baseline in Two-Room und OGBench-Block deutlich, zeigt aber nur marginale Gewinne in Push-T und Reacher.
Vergleich zu Regression: Eine Baseline, die einen umfassenden Pose-basierten Zustandszielwert aus der visuellen Latenz regrediert (REGRESS), erreicht eine hohe Positions-Dekodierbarkeit ( $R^2 = 0,991$ ), scheitert aber daran, die Vorhersagbarkeit (Drift 0,373) oder die Steuerung (53,7 % Erfolg) zu verbessern. Dies bestätigt, dass der Inhalt eines Schnappschots allein keine zuverlässige Rollout-Vorhersage gewährleistet.

Erkenntnisse aus der Ablation

Korrespondenz vs. Vorhersage: Die korrekte visuelle–physikalische Korrespondenz (das Zuordnen der richtigen Trajektorie) ist entscheidend für die Steuerung. Die SHUFFLE-Ablation (gleiche Architektur, aber gemischte Trajektorien) behält einen niedrigen Drift (0,167) bei, lässt aber die Steuerung auf 16,6 % kollabieren, was beweist, dass vorhersagbare Dynamiken allein nicht ausreichen, wenn sie nicht die für die Aktionsauswahl relevanten Unterscheidungen bewahren.
Prädiktor-Sharing: Das bloße Teilen des Prädiktors (SHARE-ONLY) bringt kaum Gewinn (56,7 % Erfolg), was darauf hindeutet, dass die Kopplung der Modalitäten wichtiger ist als die geteilten Gewichte.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass cross-predictive physikalische Verankerung vorhersagbarere latente Dynamiken für die Rollout-basierte Steuerung erzeugt, ohne im Testzeitpunkt privilegierte Eingaben zu benötigen.

Mechanismus: Die Verbesserung resultiert nicht primlich aus der Kodierung von mehr physikalischen Informationen, sondern aus der Beschränkung der prädiktiven Entwicklung der Repräsentation durch korrespondierende physikalische Trajektorien.
Unterscheidung: Die Arbeit klärt, dass „Dekodierbarkeit“ (Können wir den Zustand lesen?) und „Vorhersagbarkeit“ (Können wir die Zukunft vorhersagen?) unterschiedliche Eigenschaften sind. Ein Modell kann hochgradig dekodierbar, aber schlecht vorhersagbar sein, was zu einer schlechten Steuerung führt.
Einschränkungen: Die Autoren merken bescheiden an, dass die Ergebnisse auf Simulationen beschränkt sind, paarweise privilegierte Trajektorien während des Trainings erfordern und auf einem festen Rigid-Body-Zustands-Schema basieren. Die Erweiterung auf reale Beobachtungen und breitere physikalische Interaktionen bleibt zukünftige Arbeit.

Zusammenfassend zeigt XP-JEPA, dass man durch die Behandlung des privilegierten Zustands als eine zweite prädiktiven Ansicht und die Erzwingung der cross-modalen Konsistenz in den Übergangsdynamiken visuelle Weltmodelle lernen kann, die robust gegenüber physikalischen Ambiguitäten sind, was zu einer signifikant verbesserten Planungs- und Steuerungsleistung führt.