🤖 machine learning

Sub-JEPA: Subspace Gaussian Regularization for Stable End-to-End World Models

Dieser Artikel stellt Sub-JEPA vor, eine Methode, die die Stabilität und Flexibilität von Joint-Embedding Predictive Architectures (JEPAs) für die Weltmodellierung verbessert, indem sie Gaußsche Regularisierung in mehreren zufälligen Teilräumen statt im gesamten umgebenden Raum anwendet, wodurch ein überlegener Bias-Varianz-Kompromiss erreicht wird und der aktuelle State-of-the-Art-LeWorldModel übertroffen wird.

Ursprüngliche Autoren: Kai Zhao, Dongliang Nie, Yuchen Lin, Zhehan Luo, Yixiao Gu, Deng-Ping Fan, Dan Zeng

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kai Zhao, Dongliang Nie, Yuchen Lin, Zhehan Luo, Yixiao Gu, Deng-Ping Fan, Dan Zeng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein Roboter beibringen, sich die Zukunft vorzustellen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Labyrinth zu navigieren. Anstatt dem Roboter jeden einzelnen Ziegelstein in der Wand und jeden Staubkorn auf dem Boden zu zeigen (was zu viele Daten wären), möchten Sie, dass es eine „mentale Karte" lernt. Diese Karte ist eine vereinfachte Zusammenfassung davon, wo es sich befindet und wohin es geht.

In der Welt der KI wird diese mentale Karte als Weltmodell bezeichnet. Ein bestimmter Modelltyp namens JEPA ist beliebt, weil er effizient ist: Er sagt voraus, wie die nächste mentale Karte aussehen wird, basierend auf der aktuellen Karte und einer Aktion (wie „links abbiegen").

Das Problem: Der „zu strenge" Lehrer

Das Papier identifiziert ein Hauptproblem bei der aktuellen Trainingsweise dieser Modelle.

Stellen Sie sich die mentale Karte des Roboters als einen Schüler vor, der eine Prüfung schreibt. Um sicherzustellen, dass der Schüler nicht schummelt oder aufgibt (ein Problem namens „Kollaps", bei dem der Schüler einfach dieselbe Antwort für jede Frage schreibt), legt der Lehrer eine Regel fest: „Ihre Antworten müssen perfekt gleichmäßig verteilt sein, wie ein perfekter Kreis aus Punkten."

Das ist es, was die vorherige Methode, LeWorldModel (LeWM), tat. Sie zwang die mentale Karte des Roboters, wie eine perfekte, gleichmäßige Wolke von Daten in einem riesigen, hochdimensionalen Raum auszusehen.

Der Fehler:
Die Autoren argumentieren, dass diese Regel für viele reale Aufgaben zu streng ist.

Die Analogie: Stellen Sie sich einen Seiltänzer vor. Seine Bewegung ist komplex, findet aber hauptsächlich entlang einer einzigen, dünnen Linie (dem Seil) statt. Wenn Sie den Seiltänzer zwingen, sich in einer perfekten 3D-Kugel um das Seil herum zu bewegen, schränken Sie seine natürliche Bewegung ein. Sie zwingen ihn, sich in Richtungen zu bewegen, die er nicht nutzen muss.
In technischen Begriffen sagt das Papier, dass reale Aufgaben oft auf „niedrigdimensionalen Mannigfaltigkeiten" (einfache Pfade) innerhalb eines „hochdimensionalen Raums" (ein großer, leerer Raum) existieren. Das Erzwingen, dass die Daten den gesamten Raum gleichmäßig füllen, erzeugt eine schlechte Verzerrung, die die Leistung beeinträchtigt.

Die Lösung: Sub-JEPA (Der „Unterraum"-Ansatz)

Die Autoren schlagen Sub-JEPA vor. Anstatt die mentale Karte des Roboters zu zwingen, eine perfekte Kugel im gesamten riesigen Raum zu sein, teilen sie den Raum in viele kleinere, zufällige „Unter-Räume" (Unterräume) auf.

Wie es funktioniert:

Daten schneiden: Stellen Sie sich vor, Sie nehmen die mentale Karte des Roboters und schneiden sie in viele verschiedene, zufällige 2D- oder 3D-Ansichten (wie das Betrachten einer Skulptur aus vielen verschiedenen Winkeln).
Die Schnitte prüfen: In jedem dieser kleinen Schnitte prüft das Modell, ob die Daten wie eine schöne, gleichmäßige Glockenkurve (eine Gauß-Verteilung) aussehen.
Das Ergebnis: Das Modell muss keine perfekte Kugel im großen Raum sein. Es muss nur in diesen kleineren, zufälligen Schnitten „schön und gleichmäßig" aussehen.

Der Vorteil:
Das ist wie dem Seiltänzer zu sagen: „Sie müssen nicht den ganzen 3D-Raum füllen. Stellen Sie einfach sicher, dass Sie, wenn wir Sie von der Seite betrachten, ausgewogen aussehen, und wenn wir Sie von vorne betrachten, ebenfalls ausgewogen aussehen."

Es behält das Sicherheitsnetz (verhindert, dass der Roboter in eine langweilige, repetitive Antwort kollabiert).
Aber es gibt dem Roboter Freiheit, sich natürlich entlang des tatsächlichen Pfads der Aufgabe zu bewegen, anstatt gegen eine künstliche, übermäßig strenge Regel zu kämpfen.

Was die Experimente zeigten

Die Forscher testeten dies an vier verschiedenen videospieleschen Kontrollaufgaben (wie ein Roboterarm, der einen Block schiebt, oder eine Drohne, die durch Räume fliegt).

Bessere Leistung: Sub-JEPA schlug die alte Methode (LeWM) konsequent. Der Roboter lernte besser zu planen und sich zu bewegen.
Die „Rang"-Verbindung: Sie maßen, wie „komplex" die mentale Karte des Roboters war. Sie stellten fest, dass der Roboter schlauer wurde, wenn die neue Methode der Karte erlaubte, einfacher zu werden (kompakter, besser passend zur tatsächlichen Aufgabe). Die alte Methode zwang die Karte, unnötig komplex zu sein.
Glattere Pfade: Als sie die mentale Reise des Roboters visualisierten, erzeugte die neue Methode gerade Linien und glattere Verläufe. Die alte Methode ließ die Gedanken des Roboters mit der Zeit wackeln und abdriften.
Langfristige Stabilität: Als sie gebeten wurden, eine lange Abfolge zukünftiger Bewegungen vorzustellen, ohne auf die reale Welt zu schauen, blieb die neue Methode länger genau. Die alte Methode begann zu halluzinieren und vom Kurs abzukommen.

Zusammenfassung

Sub-JEPA ist eine einfache Lösung für ein komplexes Problem. Es erkennt, dass KI-Modelle zu zwingen, in einem riesigen, abstrakten Raum „perfekt gleichmäßig" zu sein, oft zu einschränkend ist. Indem es stattdessen auf Ordnung in vielen kleineren, zufälligen Schnitten dieses Raums prüft, ermöglicht es der KI, ein natürlicheres, effizienteres und stabileres Verständnis der Welt zu erlernen.

Es ist der Unterschied zwischen einem Fisch zu zwingen, in einem perfekten Würfel zu schwimmen (alte Methode) versus ihn natürlich im Wasser schwimmen zu lassen, solange er ausgewogen aussieht, wenn er aus jedem Winkel betrachtet wird (neue Methode).

Technische Zusammenfassung: Sub-JEPA

Problemstellung

Joint-Embedding Predictive Architectures (JEPAs) bieten einen Rahmen für das Erlernen von Weltmodellen, indem sie zukünftige latente Repräsentationen vorhersagen, ohne rohe Pixel zu rekonstruieren. Das Training dieser Modelle end-to-end steht jedoch vor einem kritischen Bias-Varianz-Tradeoff. Ohne ausreichende Einschränkungen kollabiert der Encoder zu trivialen Lösungen (alle Eingaben werden auf identische Embeddings abgebildet); umgekehrt unterdrücken übermäßige Einschränkungen die Reichhaltigkeit der gelernten Repräsentationen.

Neuere Arbeiten, insbesondere LeWorldModel (LeWM), adressierten dies durch die Anwendung einer isotropen Gaußschen Priori auf die latenten Embeddings, was ein stabiles Training end-to-end ermöglichte. Die Autoren identifizieren jedoch eine fundamentale Einschränkung dieses Ansatzes: Natürliche Steuerungsaufgaben befinden sich typischerweise auf niederdimensionalen Mannigfaltigkeiten innerhalb hochdimensionaler umgebender Räume. Die Durchsetzung einer globalen isotropen Gaußschen Priori direkt im hochdimensionalen umgebenden Raum führt zu einem übermäßig starken Bias, der der intrinsischen Geometrie der zugrunde liegenden Dynamik nicht entspricht und potenziell die Leistung bei Aufgaben mit niedriger intrinsischer Dimensionalität beeinträchtigt.

Methodik: Sub-JEPA

Die Autoren schlagen Sub-JEPA (Subspace Gaussian Regularization) vor, eine Methode, die einen günstigen Betriebspunkt auf der Bias-Varianz-Grenze sucht, indem sie Gaußsche Einschränkungen vom umgebenden Raum in mehrere niederdimensionale Unterräume verlagert.

Kernmechanismus

Projektion auf orthogonale Unterräume: Anstatt den gesamten $D$ -dimensionalen latenten Vektor $z$ zu regularisieren, projiziert die Methode $z$ auf $K$ eingefrorene, zeilenorthonormale zufällige Projektionsmatrizen $\{P_k\}$ . Jede Projektion bildet den latenten Vektor auf einen niederdimensionalen Unterraum der Dimension $d_s$ ab (wobei $d_s \approx D/K$ ).
$z^{(k)} = P_k z$
Multi-Subspace-Gaußsche Regularisierung: Die Gaußsche Einschränkung wird unabhängig innerhalb jedes der $K$ $K$ Unterräume angewendet.
- Innerhalb jedes Unterraums $k$ werden die projizierten Embeddings weiter auf $M$ zufällige Einheitsvektoren projiziert.
- Die Epps–Pulley-Normalitätsstatistik wird für diese 1D-Projektionen berechnet, um Gaußförmigkeit durchzusetzen.
- Der gesamte Regularisierungsverlust $L_{reg}$ ist der Durchschnitt dieser Statistiken über alle Unterräume und zufälligen Richtungen.
Trainingsziel: Das Modell wird end-to-end unter Verwendung einer kombinierten Verlustfunktion trainiert:
$L_{total} = L_{pred}(\hat{z}_{t+1}, z_{t+1}) + \lambda L_{reg}(Z)$
wobei $L_{pred}$ der Vorhersagefehler des latenten Zustands (MSE) ist und $\lambda$ das Regularisierungsgewicht darstellt.

Designentscheidungen

Eingefrorene Projektionen: Die Projektionsmatrizen werden orthogonal initialisiert und eingefroren gehalten. Dies verhindert, dass sich der Regularisierer an die sich entwickelnde latente Verteilung anpasst, und stellt sicher, dass die Einschränkung stabil und unabhängig bleibt.
Orthogonalität: Die Verwendung orthogonaler Projektionen gewährleistet, dass die Unterräume nicht-redundante, ausgewogene Ansichten der latenten Repräsentation bieten und die geometrische Struktur bewahren.

Hauptbeiträge

Identifikation des Bias: Die Arbeit identifiziert, dass die globale isotrope Gaußsche Priori in LeWM einen übermäßigen Bias für Aufgaben mit niedriger intrinsischer Dimensionalität einführt, der der zugrunde liegenden Geometrie der Aufgabe nicht entspricht.
Sub-JEPA-Rahmenwerk: Die Autoren schlagen eine Methode vor, die die globale Priori lockert, indem sie Gaußsche Regularisierung über mehrere zufällige, niederdimensionale, zeilenorthonormale projizierte Ansichten anwendet. Dies bewahrt den Anti-Kollaps-Effekt, während der latente Raum besser an die intrinsische Dimensionalität der Dynamik angepasst werden kann.
Empirische Validierung: Umfangreiche Experimente in vier kontinuierlichen Steuerungs-Umgebungen zeigen, dass Sub-JEPA LeWM konsistent übertrifft. Die Leistungssteigerungen korrelieren mit Reduktionen des effektiven Rangs der gelernten Embeddings, was bestätigt, dass die Methode die intrinsische Dimensionalität besser respektiert.

Experimentelle Ergebnisse

Die Methode wurde an vier kontinuierlichen Steuerungs-Benchmarks evaluiert: Two-Room (niedrige intrinsische Dimension), Reacher, PushT und OGB-Cube (visuell reichhaltiges 3D).

Planungsleistung: Sub-JEPA übertraf LeWM in allen Umgebungen konsistent. Die Verbesserung war bei Two-Room am ausgeprägtesten, wo die Gaußsche Priori im Vollraum von LeWM der niedrigen Dimensionalität der Aufgabe am stärksten nicht entsprach. Sub-JEPA übertraf zudem PLDM (eine Multi-Objective-Baseline) und DINO-WM (eine Baseline mit eingefrorenem Encoder) bei mehreren Aufgaben, ohne auf vortrainierte visuelle Backbones zurückzugreifen.
Analyse des effektiven Rangs: Es wurde eine direkte Korrelation zwischen der Reduktion des effektiven Rangs (von LeWM zu Sub-JEPA) und der Steigerung der Planungserfolgsrate beobachtet. Aufgaben mit größeren Rangkompressionen (Two-Room, OGB-Cube) zeigten die größten Leistungssteigerungen.
Physikalische Dekodierbarkeit: Untersuchungen im PushT-Umfeld zeigten, dass Sub-JEPA-Repräsentationen physikalische Zustandsinformationen (Agentenposition, Blockposition) mindestens so gut wie LeWM bewahrten, mit verbesserter nichtlinearer Dekodierbarkeit.
Qualität latenter Trajektorien:
- Zeitliche Kohärenz: Visualisierungen zeigten, dass Sub-JEPA zeitlich kohärentere latente Trajektorien erzeugte als die weniger organisierte Evolution in LeWM.
- Geradlinigung von Pfaden: Sub-JEPA erreichte eine höhere „Geradheit" in latenten Geschwindigkeitsvektoren, was auf eine glattere, linearer sich entwickelnde Dynamik hindeutet, die für die Planung entscheidend ist.
- Langzeitstabilität: Bei Open-Loop-Rollouts behielt Sub-JEPA die Szenengeometrie bei und zeigte über lange Zeiträume weniger räumliche Drift als LeWM.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Sub-JEPA eine einfache, aber effektive Lösung für den Bias-Varianz-Tradeoff in JEPA-basierten Weltmodellen bietet. Durch die Verlagerung der Gaußschen Regularisierung in Unterräume erreicht die Methode:

Eine Lockerung der globalen isotropen Priori ohne Verlust der Anti-Kollaps-Vorteile.
Eine bessere Anpassung an die intrinsische Dimensionalität der zugrunde liegenden Dynamik, insbesondere für Aufgaben, bei denen der Zustandsraum niederdimensional ist.
Eine starke Baseline für zukünftige JEPA-basierte Weltmodell-Forschung, die zeigt, dass strukturelle Einschränkungen vereinfacht und flexibler gestaltet werden können, ohne Stabilität zu opfern.

Die Autoren betonen, dass ihr Ansatz die Einfachheit des LeWM-Trainingsrezepts beibehält (Verwendung nur von Vorhersageverlust und Regularisierer), während er eine flexiblere strukturelle Priori einführt, die zu überlegener Planungsleistung und Repräsentationsqualität führt.