💬 NLP

Temporal-Distance JEPA: Plan-Aware Representation Learning for Latent World Model Predictive Control

Dieses Paper schlägt Temporal-Distance JEPA (TD-JEPA) vor, einen World-Model-Ansatz, der gerichtete zeitliche Kosten aus Offline-Trajektorien ohne Belohnung extrahiert, um die Lücke zwischen Repräsentationslernen und Planung zu schließen, wodurch es bestehende JEPA-basierte Planer über mehrere Umgebungen hinweg übertrifft, indem es ein effektiveres Ranking des Zielfortschritts ermöglicht, ohne auf Pixelrekonstruktion oder explizite Belohnungen angewiesen zu sein.

Ursprüngliche Autoren: Jiaxin Bai, Jiaxuan Xiong

Veröffentlicht 2026-07-29

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiaxin Bai, Jiaxuan Xiong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man sich in einer neuen Welt bewegt, aber Sie können ihm weder eine Karte noch eine Liste von Regeln geben. Alles, was Sie haben, ist ein Video eines Menschen, der die Aufgabe perfekt ausführt. Dies ist die Herausforderung des „Offline-Learnings“ in der Robotik: Wie bringt man einer KI bei, ihre zukünftigen Bewegungen zu planen, indem sie einfach nur altes Videomaterial betrachtet? Wissenschaftler nutzen etwas, das sie ein „Weltmodell“ nennen, um dies zu lösen. Betrachten Sie ein Weltmodell als eine Traummaschine im Gehirn des Roboters. Anstatt zu versuchen, jedes Pixel des Videos neu zu zeichnen (was so ist, als würde man versuchen, ein Meisterwerk aus dem Gedächtnis zu malen), lernt der Roboter, die Essenz dessen vorherzusagen, was als Nächstes passiert. Er komprimiert die Welt in einen vereinfachten, abstrakten „latenten Raum“ – eine mentale Landkarte, in der ähnliche Situationen nah beieinander liegen.

Die große Frage ist: Sobald der Roboter diese mentale Landkarte hat, wie entscheidet er, welchen Weg er einschlägt? Normalerweise misst der Roboter einfach die Luftlinie zwischen dem Punkt, an dem er sich befindet, und dem Punkt, an den er gelangen möchte, auf dieser mentalen Landkarte. Aber hier liegt der Haken: In der realen Welt ist die kürzeste Linie auf einer Karte nicht immer der schnellste Weg zum Ziel. Man kann zwar eine gerade Linie durch eine Wand ziehen, aber der Roboter kann nicht durch Wände gehen. Er muss Zeit und Sequenz verstehen. Wenn der Robster nur die Distanz betrachtet, könnte er verwirrt werden, ob er sich dem Ziel nähert oder sich nur im Kreis dreht. Diese Arbeit widmet sich genau diesem Problem: Wie man einem Roboter beibringt, den „Fluss“ der Zeit in seinen Träumen zu verstehen, damit er besser planen kann, ohne zusätzliche Belohnungen oder menschliche Lehrer zu benötigen.

Das Problem mit dem „Geradeaus-Denken“

Die Forscher begannen mit einem leistungsstarken bestehenden System namens LeWM (Latent World Model). Dieses System ist sehr gut darin, vorherzusagen, was als Nächstes in seinem abstrakten mentalen Modell passiert. Wenn es jedoch versucht, einen Pfad zu einem Ziel zu planen, verlässt es sich auf eine einfache Regel: „Je näher das mentale Bild der Zukunft dem Zielbild kommt, desto besser ist es.“ Das ist so, als würde man versuchen, eine Stadt zu navigieren, indem man nur die Luftlinie zwischen zwei Punkten betrachtet. Das funktioniert in offenen Feldern ganz gut, aber wenn man um ein Gebäude herumgehen oder eine Leiter hochklettern muss, täuscht einen diese gerade Linie.

Die Autoren stellten fest, dass das mentale Modell des Roboters zwar gut darin war, den nächsten Schritt vorherzusagen, aber nicht besonders gut darin, zukünftige Möglichkeiten danach zu bewerten, wie viel Fortschritt sie tatsächlich machten. In einem Video eines Menschen, der einen Block schiebt, konnte der Roboter zwar das nächste Frame vorhersagen, aber er wusste nicht von Natur aus, dass Frame 10 „näher“ am Ziel ist als Frame 5, nur weil dies die Reihenfolge der Ereignisse war. Ihm fehlte ein Verständnis für gerichtete Zeit.

Die Lösung: Zeit aus der Vergangenheit gewinnen

Um dies zu beheben, entwickelte das Team ein neues System namens TD-JEPA (Temporal-Distance Joint-Embedding Predictive Architecture). Anstatt den Roboter einfach nur die Distanz schätzen zu lassen, brachten sie ihm bei, das Konzept der Zeit direkt aus den Demonstrationsvideos zu „gewinnen“.

So machten sie es, unter Verwendung einer einfachen Analogie: Stellen Sie sich vor, Sie schauen eine Kochshow. Sie brauchen keinen Timer, um zu wissen, dass das Aufschlagen eines Eies vor dem Verquirlen geschieht, und das Verquirlen vor dem Backen. Die Reihenfolge der Ereignisse ist der Fortschritt. TD-JEPA betrachtet die Trainingsvideos des Roboters und sagt: „Wenn der Mensch Schritt A, dann Schritt B, dann Schritt C gemacht hat, dann ist Schritt C definitiv weiter auf dem Weg zum Ziel als Schritt A.“

Das System lernt eine spezielle „gerichtete Kostenfunktion“. Im Gegensatz zu einer normalen Distanz, die in beide Richtungen gleich ist (wie die Entfernung zwischen Ihrem Haus und dem Park in beide Richtungen gleich ist), versteht diese neue Kostenfunktion die Richtung. Sie weiß, dass der Weg von „Start“ zu „Ziel“ Anstrengung erfordert, aber der Weg vom „Ziel“ zurück zum „Start“ eine andere Art von Reise ist. Durch das Erlernen dieses gerichteten Flusses aus den Videos baut der Roboter eine mentale Landkarte auf, in der die „Distanz“ zum Ziel tatsächlich die Anzahl der benötigten Schritte widerspiegelt und nicht nur zeigt, wie ähnlich sich die Bilder sehen.

Zwei verschiedene Arten, die neue Fähigkeit zu nutzen

Eine der interessantesten Erkenntnisse ist, dass diese neue „zeitbewusste“ Fähigkeit unterschiedlich arbeitet, je nachdem, was der Roboter versucht zu tun. Die Autoren entdeckten, dass die beste Methode, dieses neue Wissen zu nutzen, von der jeweiligen Aufgabe abhängt:

Für Navigation und Erreichen (Topologische Aufgaben): Wenn der Roboter sich durch den Raum bewegen muss, wie etwa durch ein Labyrinth navigieren oder nach einem Objekt in der Luft greifen, ist die neue „gerichtete Zeitkostenfunktion“ das perfekte Werkzeug. Sie wirkt wie ein Kompass, der direkt auf das Ziel zeigt und Sackgassen ignoriert. In ihren Tests half die Verwendung dieser neuen Kostenfunktion dem Roboter, eine „Two-Room“-Navigationsaufgabe zu 100 % der Zeit zu lösen, womit er das alte System übertraf, das nur zu 97,4 % erfolgreich war.
Für kontaktreiche Manipulation (Geometrische Aufgaben): Wenn der Roboter Objekte schieben, gleiten lassen oder stapeln muss (wie bei der „Push-T“-Aufgabe, bei der er einen T-förmigen Block schiebt), wird es knifflig. Hier zählen die genaue Form und der Winkel des Kontakts mehr als die allgemeine Richtung. In diesen Fällen arbeitet das neue zeitbewusste System am besten, wenn es der alten „Geradeaus“-Distanzmethode hilft, anstatt sie zu ersetzen. Es verfeinert die mentale Landkarte des Roboters, sodass die gerade Linien-Distanz präziser wird. Bei der „OGB-Cube“-Aufgabe verbesserte diese Kombination die Erfolgsrate um 14,2 Punkte im Vergleich zum alten System.

Was sie fanden (und was nicht)

Die Forscher führten strenge Tests durch, bei denen alles bis auf die Planungsmethode gleich gehalten wurde. Sie fanden heraus, dass TD-JEPA konsistent die bisher besten Methoden (LeWM und eine Methode namens RC-aux) in allen Umgebungen erreichte oder übertraf.

Sie fanden jedoch auch eine Grenze. Als sie versuchten, nur die neue zeitbasierte Kostenfunktion für die komplexe „Push-T“-Aufgabe zu verwenden, schnitt der Roboter tatsächlich schlechter ab (69 % Erfolg) als bei der Verwendung der alten geometrischen Distanz (86 % Erfolg). Warum? Weil das Schieben eines Blocks eine fein abgestimmte Kontrolle von Winkeln und Kontaktpunkten erfordert. Das „Zeit“-Signal sagte dem Roboter zwar, dass er näher kommt, gab ihm aber nicht genug Details darüber, wie er den Block richtig berühren muss. Der Roboter benötigte die geometrischen „Form“-Informationen, um erfolgreich zu sein. Dies beweist, dass das Verständnis von Zeit zwar entscheidend ist, aber die Notwendigkeit, die physische Geometie in jeder Situation zu verstehen, nicht ersetzt.

Das Fazbeziehungsweise die Kernbotschaft

Die Arbeit zeigt, dass man einem Roboter beibringen kann, den „Fluss“ der Zeit allein durch das Beobachten von Videos zu verstehen, ohne zusätzliche Belohnungen oder menschliches Feedback zu benötigen. Durch das Gewinnen der Ereignisreihenfolge aus den Demonstrationsprotokollen schufen sie ein System, das weiß, welche Zukunft wirklich „näher“ am Ziel liegt. Dieses neue System, TD-JEPA, schließt die Lücke zwischen dem, was der Roboter lernt, und wie er plant. Es legt nahe, dass der Roboter für einige Aufgaben dem Fluss der Zeit wie einem Fluss folgen sollte, während er für andere diesen Fluss nutzen sollte, um seinen Sinn für physische Formen zu schärfen. Das Ergebnis ist ein intelligenterer, anpassungsfähigerer Roboter, der besser planen kann – egal, ob er durch einen Raum navigiert oder einen Block über einen Tisch schiebt.

Technisches Resümee: Temporal-Distance JEPA (TD-JEPA)

Problemstellung

Joint-Embedding Predictive Architectures (JEPAs) haben sich als effektive Backbones für latente Weltmodelle etabliert, die lernen, zukünftige Repräsentationen vorherzusagen, anstatt Pixel zu rekonstruieren. Es besteht jedoch eine strukturelle Lücke zwischen dem Trainingsziel von JEPAs und den Anforderungen der modellprädiktiven Regelung (Model Predictive Control, MPC).

Die Train-Plan-Lücke: Das JEPA-Training optimiert typischerweise die kurzfristige latente Vorhersage. Im Gegensatz dazu erfordert die Planung das Ranking von mehrstufigen, vorgestellten Zukünften basierend auf dem Fortschritt zum Ziel.
Die geometrische Limitierung: Bestehende JEPA-Planer (z. B. LeWM) verlassen sich auf die euklidische Distanz im latenten Raum als de facto Planungswert. Während diese Geometrie in einigen Kontexten mit dem Fortschritt korrelieren mag, ist sie ein Nebenprodukt des Repräsentationslernens und kein Signal, das explizit für „Schritte zum Ziel“ oder gerichtete Erreichbarkeit erschlossen wurde.
Die Herausforderung: Wie können belohnungsfreie Offline-Demonstrationsprotokolle eine zeitliche Fortschrittsstruktur liefern, die diese Lücke schließt? Und wann sollte diese erschlossene Struktur direkt als Planungswert eingesetzt werden, anstatt sie zur Formung von Repräsentationen für die geometrische Planung zu nutzen?

Methodik: TD-JEPA

Die Autoren schlagen Temporal-Distance JEPA (TD-JEPA) vor, welches das LeWM-Encoder-Predictor-Backbone beibehält, aber durch einen Mechanismus zur gerichteten zeitlichen Kostenerschließung erweitert wird. Die Methode besteht aus drei Kernkomponenten:

1. Backbone und Vorhersage

TD-JEPA nutzt die Standard-LeWM-Architektur: einen aktionsbedingten Encoder ( $Enc_\theta$ ) und einen Predictor ( $Pred_\phi$ ), die Beobachtungen auf latente Zustände abbilden und zukünftige Embeddings prognostizieren. Es bewahrt die SIGReg-Regularisierung, um Repräsentationskollaps zu verhindern, sowie den Standard-Ein-Schritt-Vorhersageverlust ( $\mathcal{L}_{pred}$ ).

2. Gerichtete zeitliche Kostenerschließung (Directed Temporal Cost Mining)

Anstatt sich allein auf die euklidische Distanz zu verlassen, lernt TD-JEPA eine gerichtete, nicht-negative Energiefunktion $d_\psi(z_s, z_g)$ , welche die Kosten darstellen, um einen Ziel-Latent $z_g$ von einem Quell-Latent $z_s$ zu erreichen.

Architektur (MRN Head): Der Kosten-Head verwendet eine Metric-Residual Network (MRN) Parametrisierung. Er zerlegt die Kosten in einen symmetrischen Konfigurationsterm und ein asymmetrisches Residuum:
$d_\psi(z_s, z_g) = \|\phi_{sym}(z_s) - \phi_{sym}(z_g)\|_2 + \max_k \text{ReLU}(\phi_{asym, k}(z_s) - \phi_{asym, k}(z_g))$
Dieses Design stellt sicher, dass die Kosten nicht-negativ und inhärent asymmetrisch sind ( $d_\psi(z_s, z_g) \neq d_\psi(z_g, z_s)$ ), was die gerichtete Natur des Zielerreichens widerspiegelt.
Supervision (Zeitliche Labels): Das Modell wird auf Offline-Demonstrationsprotokollen ohne dichte Belohnungen trainiert.
- Positive Beispiele: Für Indizes $i < j$ innerhalb desselben Trajektorienverlaufs dient der zeitliche Abstand $\tau(i, j) = j - i$ als Proxy für die Schritte zum Teilziel. Das Modell regrediert $d_\psi(z_i, z_j)$ gegen $\tau(i, j)$ .
- Negative Beispiele: Trajektorien-übergreifende Paare fungieren als heuristische Negativbeispiele, die fälschlicherweise zu niedrige Kosten für nicht verwandte Zustandspaare über einen Hinge-Loss bestrafen.
Rollout-Konsistenz: Ein mehrstufiger Teacher-Forcing-Verlust ( $\mathcal{L}_{roll}$ ) wird hinzugefügt, um den gelernten Kosten mit dem Open-Loop-Horizont abzugleichen, der vom Planer verwendet wird, um kumulative Fehler während des $H$ -Schritt-Rollouts zu reduzieren.

3. Planung und Einsatz

Zum Testzeitpunkt sucht der Planer (unter Verwendung der Cross-Entropy Method oder iCEM) nach Aktionssequenzen, die die terminale Energie nach einem $H$ -Schritt-Latent-Rollout minimieren.

Dualer Einsatzstrategie: Das Paper identifiziert zwei unterschiedliche Rollen für das erschlossene Signal basierend auf der Aufgabenstruktur:
1. Topologie-dominierte Aufgaben (z. B. Navigation): Die erschlossene gerichtete Kostenfunktion $d_\psi$ wird direkt als Planungsziel eingesetzt.
2. Kontakt-reiche Aufgaben (z. B. Manipulation): Derselbe zeitlich trainierte Checkpoint wird verwendet, aber der Planer verlässt sich auf die euklidische Distanz im latenten Raum ( $\ell_2$ ). Hier dient die zeitliche Supervision als Repräsentationssignal, um den latenten Raum zu formen und die Effektivität der geometrischen Planung zu verbessern.

Kernbeiträge

Diagnose der JEPA Train-Plan-Lücke: Die Autoren zeigen, dass prädiktive JEPAs zwar Dynamiken aus Protokollen lernen, die Planung jedoch oft auf ungetrainter Embedding-Geometrie basiert. Sie zeigen, dass das Erschließen einer gerichteten zeitlichen Kostenfunktion aus Protokollen diese Ranking-Diskrepanz signifikant verringert (der Spearman $\rho$ steigt von 0.65 für die euklidische Distanz auf 0.95 für die erschlossene Kostenfunktion bei Push-T).
Framework für die zeitliche Distanzerschließung: TD-JEPA führt eine Methode ein, um aus belohnungsfreien Protokollen eine zeitliche Fortschrittsstruktur mittels gerichteter zeitlicher Supervision, trajektorienübergreifender Negativbeispiele und horizongerechter Rollout-Konsistenz zu extrahieren.
Co-Design von Kosten und Einsatz: Das Paper liefert Belege dafür, dass die Wahl der Planungskosten (erschlossene zeitliche vs. geometrische Kosten) mit der Aufgabenstruktur ko-designt werden muss. Zeitliche Kosten sind bei topologischer Navigation überlegen, während geometrische Kosten selbst dann überlegen bleiben, wenn die zugrunde liegende Repräsentation mit zeitlichen Signalen trainiert wurde, wenn es um kontaktreiche Manipulation geht.

Experimentelle Ergebnisse

Die Methode wurde in vier Umgebungen evaluiert: Two-Room (Navigation), Reacher (Erreichen), Push-T (Manipulation) und OGB-Cube (kontaktreiche Manipulation). Die Evaluierungen wurden unter einem „Locked“-Protokoll (feste Seeds, Checkpoints und Episoden-Manifeste) durchgeführt, um einen fairen Vergleich gegen LeWM und die gleichzeitige RC-aux Baseline zu gewährleisten.

Navigation & Reaching: Der Einsatz der erschlossenen Kosten $d_\psi$ $d_{ψ}$ verbesserte die Erfolgsraten signifikant.
- Two-Room: Erreichte 100,0 % Erfolg (gegenüber 97,4 % bei LeWM).
- Reacher: Erreichte 97,0 % Erfolg (gegenüber 96,0 % bei LeWM).
Manipulation: Bei kontaktreichen Aufgaben verbesserte die zeitliche Trainingsmethode die latente Repräsentation, was der geometrischen Planung zugutekam.
- OGB-Cube: Die Verwendung des zeitlich trainierten Checkpoints mit $\ell_2$ -Planung steigerte den Erfolg um 14,2 Prozentpunkte gegenüber LeWM (82,2 % vs. 68,0 %).
- Push-T: Verbesserte sich von 83,6 % (LeWM) auf 86,0 %.
Ablationsstudien: Das Entfernen des gerichteten Residuum (symmetrischer Head), der trajektorienübergreifenden Negativbeispiele oder der Rollout-Konsistenz führte jeweils zu einer Verschlechterung der Leistung, was die Notwendigkeit jeder Komponente bestätigt.
Fehleranalyse: Bei Push-T war die reine zeitliche Kostenfunktion ( $d_\psi$ ) schlechter als die geometrische Kostenfunktion ( $\ell_2$ ), da die Fehler primär während der Ausrichtung nach dem Kontakt auftraten, wo die lokale Geometrie kritischer ist als das Ranking des zeitlichen Fortschritts.

Bedeutung und Behauptungen

Das Paper behauptet, dass TD-JEPA die Train-Plan-Lücke für JEPA-Weltmodell-Planer schließt, indem es die zeitliche Fortschrittsstruktur in Offline-Protokollen entdeckt und die Form der Kosten mit dem Einsatz zur Planzeit ko-designt.

Modest Claims (Bescheidene Ansprüche): Die Autoren behaupten nicht, dass zeitliche Kosten universell geometrische Kosten ersetzen. Stattdessen plädieren sie für eine konditionale Einsatzstrategie: Verwenden Sie die erschlossenen gerichteten Kosten, wenn der Fortschritt topologisch ist, und nutzen Sie sie als Repräsentationssignal für die geometrische Planung, wenn die Kontaktgeometrie dominiert.
Empirische Validierung: Unter dem Locked-Evaluation-Protokoll erreicht TD-JEPA in jeder Umgebung LeWM und RC-aux entweder, indem es diese übertrifft oder ebenbürtig ist, was zeigt, dass die belohnungsfreie zeitliche Erschließung ein gangbarer Weg ist, um latentes MPC ohne Belohnungsmodelle oder Online-Interaktion zu verbessern.

Der Code ist im angegebenen GitHub-Repository verfügbar.