🤖 AI

MoP-JEPA: Hard-Assigned Predictor Mixtures for Stochastic JEPA World Models

MoP-JEPA adressiert die Einschränkungen von Single-Output-Prädiktoren in stochastischen JEPA-Weltmodellen, indem es einen kontextbasierten Router mit $K$ fest zugewiesenen Köpfen verwendet, um eine endliche Menge an Kandidaten-Nachfolgern zu generieren, was sowohl in der rohen Abdeckung als auch beim Erfolg auf verifizierten Routen bei Graph-Such-Aufgaben die Standard-Regressions- und MDN-Ansätze signifikant übertrifft.

Ursprüngliche Autoren: Zhi Song, Ximing Xing, Zhenchao Tang, hanbo Huang, Weilong Yan, Tianxu Lv, Minghao Yang, Zhongzheng Niu, Bing He, Lusheng Wang, Jianhua Yao

Veröffentlicht 2026-07-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhi Song, Ximing Xing, Zhenchao Tang, hanbo Huang, Weilong Yan, Tianxu Lv, Minghao Yang, Zhongzheng Niu, Bing He, Lusheng Wang, Jianhua Yao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, durch ein riesiges, verwinkeltes Labyrinth zu navigieren. Der Roboter besitzt eine „Kristallkugel“ (ein Weltmodell), die versucht zu erraten, was als Nächstes passiert, nachdem er einen Schritt gemacht hat.

Das Problem: Die „Durchschnitts“-Falle
Die meisten aktuellen Roboter nutzen eine Kristallkugel, die wie eine sehr höfliche, unentschlossene Bibliothekarin arbeitet. Wenn man sie fragt: „Wenn ich hier nach links gehe, wo werde ich landen?“, und es gibt zwei mögliche Antworten (vielleicht schickt ein Teleporter einen in die Küche, oder eine Falle schickt einen in den Garten), dann liefert die Bibliothekarin nicht zwei Optionen. Stattdessen liefert sie eine Antwort: den exakten Mittelpunkt zwischen der Küche und dem Garten.

In der realen Welt gibt es keinen „Mittelpunkt“ zwischen einer Küche und einem Garten. Wenn der Roboter versucht, zu diesem Mittelpunkt zu laufen, landet er gegen eine Wand, die in keiner der beiden Realitäten existiert. Das Paper bezeichnet dies als die „Single-Output-Beschränkung“ (single-output restriction). Es argumentiert, dass es, wenn die Zukunft chaotisch ist (stochastisch), ein Rezept für das Scheitern ist, nur eine einzige „durchschnittliche“ Zukunft vorherzusagen.

Die Lösung: Das „fest zugewiesene“ Team
Die Autoren, Zhi Song und sein Team von Tencent und der City University of Hong Kong, haben eine neue Art von Kristallkugel gebaut, die MoP-JEPA heißt. Anstatt einer einzelnen Bibliothekarin haben sie ein Team aus K verschiedenen Experten (Heads) eingestellt.

So funktioniert es:

Der Router: Ein intelligenter Manager schaut sich die aktuelle Situation an und entscheidet, welche Experten wahrscheinlich aktiv sind. Entscheidend ist, dass dieser Manager nur den aktuellen Kontext sieht; er kann nicht in die Zukunft blicken, um zu wissen, welches Ergebnis tatsächlich eingetreten ist.
Die Experten: Jeder Experte wird darauf trainiert, eine spezifische Art von Zukunft sehr gut vorherzusagen.
Die Kandidatenmenge: Wenn eine neue Situation eintritt, mischt das System die Meinungen der Experten nicht zu einer einzigen Antwort zusammen. Stattdessen gibt es eine Liste distinkter Möglichkeiten aus, die von den aktiven Experten stammen.

Dies erzeugt eine Liste mit unterschiedlichen, gültigen Möglichkeiten (eine „Candidate Set“), anstatt einen verschwommenen, falschen Durchschnitt zu erzeugen. Es ist, als würde man einem Reisebüro nach einer Liste möglicher Reiseziele fragen, anstatt nach einer Karte zu einem Ort, der genau zwischen Paris und Tokio liegt.

Der Beweis: Funktioniert es tatsächlich?
Das Team testete dies in einigen schwierigen Labyrinthen (aus einem Datensatz namens OGBench), in denen der Roboter teleportieren oder in verschiedene Pfade gelenkt werden konnte.

Der alte Weg: Als der Standard-Roboter versuchte, einen Pfad unter Verwendung seiner „durchschnittlichen“ Vorhersage zu planen, war er nur in 0,02 bis 0,09 (2 % bis 9 %) der Abfragen erfolgreich. Er hat meistens falsch geraten.
Der neue Weg: Der MoP-JEPA-Roboter, der seine Liste mit distinkten Möglichkeiten nutzt, war in 0,85 (85 %) der Abfragen erfolgreich.

Aber die Autoren waren vorsichtig. Sie wussten, dass es nicht ausreicht, einfach nur eine lange Liste von Vermutungen zu haben – man könnte ja auch einfach alles raten und dann Glück haben. Deshalb fügten sie einen strengen Test hinzu, den „realroute“. Dieser prüft, ob die Liste der Vermutungen des Roboters tatsächlich einen Pfad aus echten Übergängen enthält, den man auch tatsächlich ablaufen kann.

Das Ergebnis: MoP-JEPA bestand diesen strengen Test in allen drei Labyrinthen.
Der Vergleich: Eine andere Methode namens „Mixture Density Network“ (MDN) konnte zwar vieles erraten (hohe Coverage), aber viele dieser Vermutungen waren gefälschte Kanten, die im echten Labyrinth gar nicht existierten. Die Vermutungen von MoP-JEPA hingegen waren nützlich und echt.

Was das bedeutet (und was es nicht bedeutet)
Das Paper beweist, dass für Roboter, die in unsicheren Welten navigieren, ein System nötig ist, das sagen kann: „Es könnte A sein, oder es könnte B sein“, anstatt: „Es wird irgendwo zwischen A und B sein“.

Was es ausschließt: Das Paper argumentiert explizit gegen die Verwendung von „gated mixtures“ (wie M3-JEPA), die Experten zu einem einzigen Output vermischen. Selbst wenn viele Experten im Inneren vorhanden sind, führt man wieder in die „Durchschnittsfalle“, wenn man ihre Antworten zu einem einzigen Vektor zusammenmischt.
Was es nahelegt: Die Autoren schlagen vor, dass dieser „fest zugewiesene“ (hard-assigned) Ansatz ein besserer Weg ist, um die chaotische, multipath-artige Natur der realen Welt zu handhaben.
Das Vertrauen: Die Ergebnisse werden auf spezifischen, separat gehaltenen Datensätzen (OGBENCH) gemessen. Das Paper zeigt, dass die neue Methode in diesen Simulationen den alten „Durchschnitts“-Prädiktoren weit überlegen ist. Es behauptet nicht, das Problem der Roboterplanung für immer gelöst zu haben, aber es zeigt einen klaren, messbaren Sieg in diesen spezifischen Labyrinth-Szenarien.

Kurz gesagt: Wenn Sie möchten, dass ein Roboter für eine Zukunft plant, die viele Möglichkeiten bietet, hören Sie auf, ihn nach dem Durchschnitt zu fragen. Geben Sie ihm ein Team von Spezialisten, lassen Sie sie eine Liste echter Optionen erstellen und lassen Sie den Roboter den besten Pfad aus dieser Liste auswählen.

Technisches Resümee: MoP-JEPA

Problemstellung
JEPA-Weltmodelle (Joint Embedding Predictive Architecture) sagen den nächsten latenten Zustand typischerweise mit einem einzelnen Regressor voraus. Während dieser Ansatz in deterministischen Umgebungen effektiv ist, versagt er unter stochastischen Übergängen, bei denen ein einzelner Kontext (Zustands-Aktions-Paar) zu mehreren gültigen Nachfolgern führen kann. Standard-Regressionsziele (quadratischer Fehler oder Kosinus-Verlust) zwingen das Modell dazu, den bedingten Mittelwert oder die normierte Richtung dieses Mittelwerts vorherzusagen. In multimodalen Verteilungen entspricht dieser „Kompromiss“-Output oft einem nicht existenten Zustand (z. B. einem ungültigen Mittelpunkt zwischen zwei unterschiedlichen Zielen), was den Prädiktor für Planungsaufgaben, die das Aufzählen gültiger zukünftiger Pfade erfordern, unbrauchbar macht. Bestehende Versuche, Stochastizität einzuführen, wie etwa durch Gated Mixture-of-Experts (MoE), die durch eine gewichtete Summe fusioniert werden, oder durch Single-Gaussian-Variationsverteilungen, kollabieren dennoch weiterhin zu einem einzigen Output-Vektor pro Kontext und behalten damit dieselbe fundamentale Einschränkung bei.

Methodik
Das Paper schlägt MoP-JEPA (Mixture-of-Predictors JEPA) vor, welches den Single-Output-Prädiktor durch eine Struktur ersetzt, die in der Lage ist, eine endliche Menge an Kandidaten-Nachfolgern in einem einzigen Vorwärtspass zu erzeugen.

Architektur: Das Modell behält das Standard-JEPA-Backbone (Encoder $f_\theta$ und EMA-Target-Encoder $f_\xi$ ) bei, ersetzt jedoch den einzelnen Prädiktor $g_\phi$ durch $K$ parallele Prädiktor-Heads $\{g_{\phi_k}\}_{k=1}^K$ .
Router: Ein kontextbezogener Router $r_\psi$ nimmt den Kontext $c = [z, a]$ (latenter Zustand und Aktion) entgegen und gibt eine Wahrscheinlichkeitsverteilung $\pi$ über die $K$ Heads aus. Entscheidend ist, dass der Router den Ziel-Zustand $z^+$ nicht sieht, wodurch sichergestellt wird, dass er lernt, gültige Nachfolger basierend ausschließlich auf dem aktuellen Kontext vorherzusagen.
Hard-Assignment-Ziel: Das Training nutzt einen „Winner-Take-All“ (WTA)-Mechanismus, der von bedingter Vektorquantisierung inspiriert ist. Für jeden Zielzustand $z^+_i$ $z_{i}^{+}$ wird der nächste Head $k^*_i$ $k_{i}^{*}$ identifiziert. Die Verlustfunktion besteht aus drei Termen:
1. Prediction Loss: Der Abstand zwischen dem Output des gewinnenden Heads und dem Ziel.
2. Router Loss: Cross-Entropy, um den Router darauf zu trainieren, den Index des gewinnenden Heads vorherzusagen.
3. Load Balancing: Eine Strafe, um zu verhindern, dass der Router zu einem einzigen Head kollabiert, was die Nutzung aller $K$ Heads fördert.
Inferenz: Zur Testzeit gibt das Modell eine Menge von $K$ Kandidaten-Latenzen $\{u_k\}$ mit den zugehörigen Router-Wahrscheinlichkeiten $\{\pi_k\}$ aus. Diese endliche Menge dient als Übergangsgraph für nachgeschaltete Planer (z. B. BFS oder MPC), ohne dass ein Decoder oder mehrere Rollouts erforderlich sind.

Zentrale Beiträge

Endliches Nachfolger-Interface für JEPA: Das Paper führt einen Mechanismus ein, der die Single-Output-Beschränkung von JEPA in eine endliche Menge an Kandidaten umwandelt, was es dem Modell ermöglicht, multimodale Übergänge explizit darzustellen.
Theoretische Charakterisierung des Kollapses: Die Autoren demonstrieren formal (über Propositionen 1–3), dass deterministische Prädiktoren und gefügte MoEs inhärent den bedingten Mittelwert optimieren, der in stochastischen Umgebungen oft ein ungültiger Zustand ist. Sie identifizieren hard-assigned Heads als eine Form der bedingten Vektorquantisierung, die distinkte Modi abdecken kann.
Verifiziertes Routen-Evaluationsprotokoll: In Anerkennung dessen, dass eine hohe Abdeckung durch indiskriminante Vorhersage erreicht werden kann (z. B. das Vorhersagen aller möglichen Kanten unabhängig vom Kontext), führt das Paper eine „realroute“-Metrik ein. Diese Metrik bewertet, ob die vorgeschlagene Kandidatenmenge einen gültigen Pfad aus echten Übergängen vom Start zum Ziel enthält, wodurch zwischen kontextabhängigem Lernen und bloßer Abdeckung unterschieden wird.

Ergebnisse
Die Autoren evaluieren MoP-JEPA auf OGBench-Datensätzen (einschließlich PointMaze und AntMaze-Varianten mit Teleportation und Stitching, die multimodale Übergänge induzieren).

Planungsleistung: Bei gehaltenen OGBench-Übergängen erreicht die Graphsuche mittels Single-Output-Prädiktoren nur in 0,02–0,09 der Fälle Erfolg. Im Gegensatz dazu erreicht MoP-JEPA eine Erfolgsrate von 0,85.
Modus-Rekonstruktion: Visualisierungen im latenten Raum (Abbildungen 3 und 4) zeigen, dass dichte Prädiktoren zu einem einzigen ungültigen Mittelpunkt zwischen Zweigen kollabieren, während MoP-JEPA erfolgreich distinkte Peaks rekonstruiert, die den jeweiligen Zweigen entsprechen.
Verifizierter Routen-Erfolg: MoP-JEPA führt bei der „realroute“-Metrik in allen drei Maze-Umgebungen. Während ein Mixture Density Network (MDN) eine hohe Rohabdeckung erreicht, sagt es viele nicht existente Kanten voraus und scheitert somit am verifizierten Routen-Test. MoP-JEPA bewahrt eine hohe Abdeckung und stellt gleichzeitig sicher, dass die vorhergesagten Kanten tatsächlichen Übergängen entsprechen.
Ablation: Der Router-Gating-Mechanismus erweist sich als essenziell; ohne ihn könnte das Modell Heads beibehalten, die nicht den gültigen kontextabhängigen Übergängen entsprechen.

Bedeutung und Ansprüche
Das Paper behauptet, dass die primäre Einschränkung aktueller JEPA-Weltmodelle in stochastischen Settings die Single-Output-Beschränkung ist, die einen Kompromiss erzwingt, den Planungsalgorithmen nicht nutzen können. Durch die Einführung von hard-assigned Heads ermöglicht MoP-JEPA dem Modell, diskrete Nachfolger-Modi zu „enumerieren“, statt sie zu mitteln. Die Autoren betonen, dass ihr Beitrag keine neue Encoder- oder Anti-Collapse-Maschinerie ist, sondern ein spezifischer Mechanismus auf Prädiktor-Ebene, der Evidenz für den Erfolg auf Planungsebene ermöglicht. Die Arbeit liefert eine empirische Erklärung dafür, wie die Single-Output-Vorhersage die Planung unter Stochastizität verschlechtert, und bietet ein Protokoll, um zwischen nützlichen, kontextabhängigen Nachfolgern und indiskriminanter Abdeckung zu unterscheiden.

Technisches Resümee: MoP-JEPA

Mehr davon