📊 statistics

UWM-JEPA: Predictive World Models That Imagine in Belief Space

Das Papier stellt UWM-JEPA vor, ein prädiktives Weltmodell, das Dichtematrix-Latents und unitäre Prädiktoren nutzt, um die Unsicherheit während blinden Rollouts in teilweise beobachtbaren Umgebungen zu erhalten, und das in Bezug auf die Sensitivität gegenüber kontrafaktischen Aktionen sowie bei Aufgaben zur Zukunftsimaginierung die Vektor-Latent-Baselines erheblich übertrifft.

Ursprüngliche Autoren: Santosh Kumar Radha, Oktay Goktas

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Santosh Kumar Radha, Oktay Goktas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „verblindete" Prädiktor

Stellen Sie sich vor, Sie spielen ein Videospiel, bei dem der Bildschirm für einige Sekunden schwarz wird, Sie aber trotzdem raten müssen, was passiert.

Standard-KI (Vektor-Latents): Die meisten aktuellen KI-Modelle versuchen, die Zukunft vorherzusagen, indem sie einen einzigen, spezifischen Punkt in ihrem „Gehirn" auswählen. Es ist so, als würde man raten: „Das Auto befindet sich definitiv genau hier an dieser Koordinate." Wenn das Auto tatsächlich an zwei verschiedenen Orten sein könnte, gerät die KI in Verwirrung oder mittelt die beiden Orte zu einem unscharfen, nutzlosen Mittelwert.
Die Herausforderung: In der realen Welt (und in vielen Spielen) können wir oft nicht alles sehen. Wir müssen mehrere mögliche Zukünfte gleichzeitig vorstellen und verfolgen, wie wahrscheinlich jede einzelne ist.

Die Lösung: UWM-JEPA (Das „Glaubens"-Modell)

Die Autoren entwickelten eine neue Art von KI namens UWM-JEPA. Anstatt einen einzelnen Punkt zu erraten, errät dieses Modell eine „Glaubenskarte".

1. Die Dichtematrix: Eine „Wolke der Möglichkeiten"

Stellen Sie sich den Speicher einer Standard-KI als einen einzelnen Punkt auf einer Karte vor.
Der Speicher von UWM-JEPA ist eine Wolke aus Punkten.

Die Analogie: Stellen Sie sich vor, Sie versuchen vorherzusagen, wo ein verlorener Hund ist. Eine Standard-KI sagt: „Der Hund ist im Park." UWM-JEPA sagt: „Es besteht eine 40-prozentige Chance, dass der Hund im Park ist, eine 30-prozentige Chance, dass er am See ist, und eine 30-prozentige Chance, dass er zu Hause ist."
Die Wissenschaft: Sie verwenden ein mathematisches Objekt namens Dichtematrix. Dies ist wie eine strukturierte Wolke, die all diese verschiedenen Möglichkeiten und ihre Wahrscheinlichkeiten zusammenhält, anstatt sie in eine einzige Durchschnittsantwort zu quetschen.

2. Der unitäre Prädiktor: Der „perfekte Kreisel"

Wie stellt sich dieses Modell die Zukunft vor?

Standard-KI: Wenn sie sich die Zukunft vorstellt, verliert sie oft Informationen. Es ist wie das Drehen eines Kreisels; irgendwann wackelt er und fällt um. Die KI „vergisst" die Details ihrer Unsicherheit, je weiter sie in die Zukunft vorhersagt.
UWM-JEPA: Sie verwenden einen unitären Prädiktor.
Die Analogie: Stellen Sie sich vor, die „Wolke der Möglichkeiten" ist ein perfekt ausbalancierter, magischer Kreisel. Egal wie oft Sie ihn drehen (wie viele Schritte in die Zukunft Sie vorhersagen), er wackelt niemals. Er verliert niemals seine Form oder seine Energie.
Das Ergebnis: Das Modell kann 10 Schritte in die Zukunft vorstellen, ohne die Unsicherheit, mit der es begann, zu „zerstreuen" (zu verlieren). Es hält die Wolke der Möglichkeiten intakt und bewegt sie lediglich in einem perfekten Kreis.

Die „kontrafaktische" Wendung: Lernen, Auto zu fahren

Das Papier entdeckte einen entscheidenden Trick, um dieses Modell tatsächlich für die Entscheidungsfindung nutzbar zu machen.

Die Falle (Teacher-Forcing): Wenn man die KI trainiert, indem man ihr das tatsächliche Video dessen zeigt, was als Nächstes passiert, wird die KI faul. Sie lernt, das „Lenkrad" (die Aktion, die Sie ausgeführt haben) zu ignorieren, weil sie sich einfach das Video auswendig gelernt hat. Es ist wie ein Schüler, der den Lösungsschlüssel auswendig lernt, anstatt zu lernen, wie man das Matheproblem löst.
Die Lösung (Kontrafaktische Ziele): Die Autoren trainierten die KI mit einem Simulator. Sie sagten der KI: „Stellen Sie sich vor, Sie hätten links abgebogen, aber tatsächlich haben Sie rechts abgebogen. Was hätte passieren können?"
Das Ergebnis: Da die KI raten musste, was unter verschiedenen Aktionen passieren würde, war sie gezwungen zu lernen, wie das „Lenkrad" die Zukunft verändert. Sie lernte, dass das Linksabbiegen die Wolke der Möglichkeiten in eine andere Richtung bewegt als das Rechtsabbiegen.

Die Ergebnisse: Was hat tatsächlich funktioniert?

Das Papier testete dies gegen eine Standard-KI (ein LSTM) unter Verwendung eines „Hidden Velocity"-Spiels (Raten, wie schnell sich etwas bewegt, wenn man es nicht sehen kann).

Der „Blind-Rollout"-Test: Wenn man gebeten wurde, sich die Zukunft vorzustellen, ohne neue Bilder zu sehen:
- Standard-KI: Verirrte sich schnell. Ihre Genauigkeit sank nach nur wenigen Schritten drastisch.
- UWM-JEPA: Behielt ihre Genauigkeit viel länger bei. Sie blieb mehrere Schritte lang „nah" an der Wahrheit, bevor sie verblasste.
Der „Aktion"-Test: Wenn die Aktionen geändert wurden (z. B. „Was wäre, wenn ich links statt rechts gegangen wäre?"):
- Standard-KI: War es egal. Sie gab dieselbe Antwort, unabhängig von der Aktion.
- UWM-JEPA: Änderte ihre Antwort korrekt basierend auf der Aktion.
Der „Speicher"-Check: Die Autoren prüften, ob UWM-JEPA nur ein besserer „Fotograf" (Encoder) der aktuellen Szene war.
- Überraschung: Nein. Beide Modelle waren gleich gut darin, die aktuelle Szene zu „fotografieren". Der Unterschied lag rein darin, wie sie sich die Zukunft vorstellten.

Das Fazit

Dieses Papier behauptet nicht, einen Roboter gebaut zu haben, der ein Auto fahren oder eine Krankheit heilen kann. Es behauptet, eine bessere Methode für KI entwickelt zu haben, um zu „imaginieren".

Alter Weg: Sich eine einzelne, unscharfe Zukunft vorstellen und auf das Beste hoffen.
Neuer Weg (UWM-JEPA): Sich eine strukturierte Wolke aus allen möglichen Zukünften vorstellen, diese perfekt intakt halten, während man sie in der Zeit vorwärts dreht, und dies nutzen, um zu verstehen, wie Ihre Handlungen das Ergebnis verändern.

Es beweist, dass Sie, wenn Sie eine KI haben wollen, die mit Unsicherheit und „Was-wäre-wenn"-Szenarien umgehen kann, ihrem Gehirn eine Struktur geben müssen, die mehrere Möglichkeiten gleichzeitig halten kann, anstatt sie zu zwingen, nur eine auszuwählen.

Technischer Zusammenfassung: UWM-JEPA

Problemstellung

Joint Embedding Predictive Architectures (JEPAs) sagen zukünftige Zustände im latenten Raum voraus, anstatt rohe Beobachtungen zu rekonstruieren, und trennen dadurch effektiv das Erlernen von Repräsentationen vom generativen Decodieren. In teilweise beobachtbaren Umgebungen fehlt einer standardmäßigen latenten Vektordarstellung jedoch die interne Struktur, die notwendig ist, um „Glauben" über verborgene Fortsetzungen zu tragen. Wenn die aktuelle Beobachtungshistorie den verborgenen Zustand nicht eindeutig bestimmt, ist die Zukunft kein einzelner Punkt im Darstellungsräum, sondern eine Verteilung über kompatible verborgene Zustände.

Standard-Vektorprädiktoren, die gegen Exponential Moving Average (EMA)-Ziele trainiert werden, können den Verlust minimieren, doch die Verlustfunktion allein legt nicht fest, welche Unsicherheiten erhalten bleiben sollten, welche herausgemittelt werden sollten oder wie kontrafaktische Aktionen den Glaubenszustand verschieben sollten. Folglich versagen Vektor-latente JEPAs oft darin, actionsensitive Dynamiken aufrechtzuerhalten oder aufgabenrelevante Informationen während eines „blind rollout" (Vorstellen zukünftiger Zustände ohne neue Beobachtungen) zu bewahren.

Methodik

Die Autoren führen UWM-JEPA (Unitary World Model JEPA) ein, eine Modifikation des JEPA-Rahmens, der den latenten Zustand als expliziten Glaubenszustand und nicht als deterministischen Punkt behandelt.

1. Glaubenszustands-Latenter

Anstelle eines Vektors bildet der Online-Encoder $E_\theta$ den beobachteten Kontext auf eine Dichtematrix $\rho_t$ in einem bipartiten latenten Raum $\mathcal{H}_T = \mathcal{H}_S \otimes \mathcal{H}_E$ (System $\otimes$ Umgebung) ab.

Dimensionen: Der Systemfaktor ( $d_{sys}=8$ ) wird vom Verlust und von Sonden gelesen; der Umgebungsfaktor ( $d_{env}=2$ ) fungiert als Register, um verborgene Modi und System-Umgebungs-Korrelationen zu tragen.
Einschränkungen: Die Dichtematrix ist so eingeschränkt, dass sie hermitesch, positiv semidefinit und spurgleich 1 ist. Diese werden durch Konstruktion erzwungen: Der Anfangszustand ist maximal gemischt, Beobachtungsaktualisierungen wenden positive Messoperatoren an, und Vorhersageschritte verwenden unitäre Konjugation.

2. Unitärer Prädiktor

Der Prädiktor führt den latenten Zustand durch unitäre Konjugation weiter:
$\hat{\rho}_{t+k|t} = U_k \rho_t (U_k)^\dagger$
wobei $U = \exp(-iH\Delta t)$ und $H$ ein hermitescher Generator ist.

Aktionsbedingung: Der Generator ist linear in der Aktion $a$ : $H(a) = H_0 + a H_1$ . Dies ermöglicht es, die unitäre Trajektorie durch Aktionen zu steuern.
Trainingsziel: Das Modell verwendet das standardmäßige JEPA-Gerüst: einen EMA-Zielencoder $E_\xi$ mit Stop-Gradient und einen Verlust im latenten Raum, der nach partieller Spur auf den Systemfaktor und einen Projektionskopf ausgewertet wird.
Kontrafaktische Ziele: Um sicherzustellen, dass der Prädiktor lernt, den Aktionskanal zu nutzen, wird das Trainingsziel durch eine Simulator-Durchlaufung unter einer kontrafaktischen Aktionssequenz $\tilde{a}$ generiert, anstatt durch die vom Lehrer erzwungene beobachtete Trajektorie.

3. Theoretische Garantie

Die zentrale theoretische Behauptung ist das gemeinsame Nicht-Vergessen. Da unitäre Konjugation eine Isometrie ist, erhält sie das Spektrum (Eigenwerte), die Reinheit und die von-Neumann-Entropie der gemeinsamen System-Umgebungs-Dichtematrix während des blinden Rollouts exakt.

Einschränkung: Diese Garantie gilt für den vollständigen gemeinsamen Zustand. Der reduzierte Systemzustand (erhalten durch partielle Spur) ist nicht unitär, was bedeutet, dass Informationen in System-Umgebungs-Korrelationen wandern und für lineare Sonden unzugänglich werden können, selbst wenn der gemeinsame Zustand nicht dissipativ bleibt.

Wichtige Ergebnisse

1. Aktionsempfindlichkeit erfordert kontrafaktische Ziele

Versagen durch Lehrerzwang: Wenn mit durch Lehrer erzwungenen Zielen trainiert wird (die beobachtete Zukunft passend), wird der Aktionskanal inert. Das Verhältnis des aktionsabhängigen Terms zum Basisdynamik-Term kollabiert auf $\|H_1\|/\|H_0\| \approx 0.03$ . Der Prädiktor lernt, das Ziel unabhängig von der Aktion zu matchen, da das Ziel bereits den Effekt der Aktion enthält.
Erfolg durch Kontrafaktika: Das Ersetzen des Ziels durch eine Simulator-Durchlaufung unter stichprobenartigen kontrafaktischen Aktionen stellt die Aktionsempfindlichkeit wieder her, mit $\|H_1\|/\|H_0\| = 1.00 \pm 0.15$ .
Störungskontrollen: UWM-JEPA, das mit kontrafaktischen Zielen trainiert wurde (UWM-JEPA-CF), zeigt eine monoton abnehmende Vorhersagegenauigkeit, wenn Aktionen gestört werden (umgekehrt, gemischt, negiert), wohingegen ein parametrisch abgestimmtes LSTM-JEPA-CF unter allen Bedingungen auf die Genauigkeit der Mehrheitsklasse (0,53) kollabiert.

2. Blind Rollout und Kurzfristige Behaltensleistung

Indikator für verborgene Geschwindigkeit: In einer Aufgabe, die eine 5-Schritt-Vorwärtssimulation erfordert, um das Vorzeichen der verborgenen Geschwindigkeit vorherzusagen (wobei die Zielbeobachtung maskiert ist), erreicht UWM-JEPA-CF eine Genauigkeit von 0,77. Der abgestimmte LSTM-JEPA-CF scheitert und sagt für alle Beispiele die Mehrheitsklasse voraus.
Informationserhaltung ( $\Delta R^2$ ): Messung des Informationsverlusts relativ zu einer Lehrer-Sonde während des blinden Rollouts:
- Bei kurzen Horizonten ( $k=1, 3$ ) verliert UWM-JEPA weniger als 10 Punkte an $R^2$ (jeweils 0,023 und 0,069).
- Die LSTM-JEPA-Baseline verliert deutlich mehr (0,413 bzw. 0,678).
- Beim trainierten Horizont ( $k=5$ ) richtet sich LSTM neu aus, behält aber UWM bei Zwischenschritten eine überlegene Leistung.
- Bei langen Horizonten ( $k>10$ ) degradieren beide Modelle, was darauf hindeutet, dass die langfristige Behaltensleistung weiterhin eine offene Herausforderung bleibt.

3. Kontextrepräsentation ist nicht der Treiber

Encoder-Äquivalenz: Eine zurückgehaltene lineare Sonde auf den eingefrorenen Encoder-Repräsentationen zeigt, dass UWM-JEPA und LSTM-JEPA identisch performen ( $R^2 = 0.901 \pm 0.032$ vs $0.894 \pm 0.021$ , $p=0.70$ ).
Fazit: Die Leistungslücke ist nicht darauf zurückzuführen, dass UWM-JEPA einen überlegenen Kontextencoder hat. Die Trennung ergibt sich ausschließlich aus der Fähigkeit des Prädiktors, die Glaubenszustandsstruktur während des Rollouts aufrechtzuerhalten.

Bedeutung und Behauptungen

Die Arbeit beansprucht UWM-JEPA als das erste JEPA-Familien-Weltmodell, bei dem der latente Zustand explizit als Glaube an verborgene Fortsetzungen (eine Dichtematrix) behandelt wird und der Prädiktor so eingeschränkt ist, dass er diesen Glauben entwickelt, ohne das Spektrum des gemeinsamen Zustands zu dissipieren.

Bescheidener Umfang: Die Autoren geben ausdrücklich an, dass dies kein allgemeiner Planer, kein universell stärkerer Encoder oder eine wettbewerbsfähige Lösung für die Langhorizontplanung ist. Die Eigenschaft des „Nicht-Vergessens" gilt exakt nur für den gemeinsamen Zustand, nicht notwendigerweise für den reduzierten Zustand, der für nachgelagerte Aufgaben verwendet wird.
Kernbeitrag: Die Arbeit zeigt, dass für JEPA-Weltmodelle, die unter teilweiser Beobachtbarkeit vorstellen, die Geometrie des latenten Raums und die Dynamik des Prädiktors wichtiger sind als die Kapazität des eingefrorenen Kontextcodierens allein.
Praktische Implikation: Die Studie unterstreicht, dass das Training gegen kontrafaktische Ziele für das Erlernen von aktionsempfindlichen Prädiktoren unerlässlich ist, eine Erkenntnis, die über die spezifische unitäre Parametrisierung hinausgeht.

Die Ergebnisse wurden auf strukturierten, teilweise beobachtbaren Oszillator- und CartPole-ähnlichen Umgebungen validiert. Die Autoren erkennen an, dass der aktuelle Ansatz Zugriff auf einen Simulator für kontrafaktisches Training erfordert und sich noch nicht auf unstrukturierte visuelle Vorhersagen oder verborgene Markov-Ketten erstreckt.