🤖 machine learning

AdaJEPA: An Adaptive Latent World Model

AdaJEPA ist ein adaptives latentes Weltmodell, das die Robustheit der Planung unter Distributionsverschiebungen verbessert, indem es während der Testzeit eine selbstüberwachte Anpassung innerhalb der modellprädiktiven Regelungsschleife durchführt, wobei beobachtete Zustandsübergänge genutzt werden, um das Modell kontinuierlich ohne zusätzliche Experten-Demonstrationen neu zu kalibrieren.

Ursprüngliche Autoren: Ying Wang, Oumayma Bounou, Yann LeCun, Mengye Ren

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ying Wang, Oumayma Bounou, Yann LeCun, Mengye Ren

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lernen in einem Simulator Autofahren. Sie verbringen Wochen damit zu üben, und der Simulator lehrt Sie exakt, wie das Auto auf das Lenkrad und das Gaspedal reagiert. Sie werden ein Profi darin, durch die virtuelle Stadt zu navigieren.

Stellen Sie sich nun vor, Sie nehmen dasselbe Auto mit auf eine echte Straße. Aber hier ist der Haken: Die echte Straße ist etwas anders. Vielleicht sind die Reifen ein bisschen rutschiger, der Wind ist stärker oder die Straße ist mit einer Schicht aus Staub bedeckt, die im Simulator nicht vorhanden war.

Das Problem mit „eingefrorenen“ Modellen
Die meisten heutigen KI-Systeme funktionieren wie ein Fahrer, der den Simulator perfekt auswendig gelernt hat, aber sich weigert, etwas Neues zu lernen, sobald er in das echte Auto steigt. In technischen Begriffen verwenden diese Systeme ein „Weltmodell“ (eine mentale Landkarte davon, wie die Welt funktioniert), das nach dem Training eingefroren ist.

Wenn sich die reale Welt auch nur ein wenig verändert – etwa wenn das Auto aufgrund von Regen anders fährt oder ein neues Hindernis auftaucht – wird die mentale Landkarte der KI ungenau. Die KI versucht, basierend auf ihrem alten, perfekten Wissen aus dem Simulator zu fahren, aber das Auto reagiert nicht wie erwartet. Die KI führt immer wieder dieselben „perfekten“ Bewegungen aus, aber weil sich die Realität geändert hat, kracht sie zusammen oder erreicht ihr Ziel nicht.

Die Lösung: AdaJEPA (Der anpassungsfähige Fahrer)
Das Paper stellt AdaJEPA vor, eine neue Art des Fahrens, die eher wie ein Mensch funktioniert. Anstatt starr an seinem alten Training festzuhalten, besitzt AdaJEPA eine spezielle „Plan–Handeln–Anpassen–Neuplanen“-Schleife.

So funktioniert es, unter Verwendung einer einfachen Analogie:

Planen: Die KI betrachtet den Weg vor sich und plant eine Route basierend auf ihrer aktuellen mentalen Landkarte.
Handeln: Sie unternimmt den ersten Schritt (wie das leichte Drehen des Lenkrads).
Beobachten: Sie sieht sofort nach, was tatsächlich passiert ist. Ist das Auto stärker gerutscht als erwartet? Hat es stärker nach links gelenkt?
Anpassen (Der magische Schritt): Noch bevor sie den nächsten Schritt plant, nutzt die KI diese eine Beobachtung, um ihre mentale Landkarte zu aktualisieren. Sie sagt: „Okay, meine Karte sagte, das Auto würde nach links lenken, aber es ist tatsächlich nach rechts gelenkt. Ich muss mein Verständnis davon, wie dieses Auto genau jetzt fährt, anpassen.“
Neuplanen: Mit dieser leicht korrigierten Landkarte plant sie den nächsten Schritt.

Dies geschieht in einem Sekundenbruchteil, immer und immer wieder, während sich die KI bewegt. Es ist wie ein Fahrer, der sein Lenken ständig basierend auf dem unmittelbaren Feedback der Straße anpasst, anstatt sich auf eine statische Karte von vor einer Woche zu verlassen.

Warum das wichtig ist
Die Forscher haben dies auf zwei Arten getestet:

Visuelle Veränderungen: Stellen Sie sich vor, die Beleuchtung im Raum ändert sich oder das Objekt, das Sie schieben, ändert die Farbe. Eine eingefrorene KI könnte verwirrt sein, weil sie auf ein graues Objekt bei hellem Licht trainiert wurde. AdaJEPA erkennt schnell: „Oh, dieses Objekt ist jetzt rot und das Licht ist gedimmt“, und passt seinen Plan sofort an.
Physikalische Veränderungen: Stellen Sie sich vor, der Boden ist plötzlich viel rutschiger (geringe Reibung) oder das Objekt ist viel schwerer. Eine eingefrorene KI würde mit derselben Kraft drücken, die sie auf dem trockenen Boden verwendet hat, und scheitern. AdaJEPA drückt, sieht, dass das Objekt zu weit gleitet, und lernt sofort: „Ich muss weniger drücken“, für den allerersten nächsten Schritt.

Die Ergebnisse
Das Paper zeigt, dass AdaJEPA unglaublich effizient ist. Es muss nicht alles von Grund auf neu lernen. Oft benötigt es nur eine winzige Anpassung (einen einzigen „Gradientenschritt“) nach jeder Aktion, um seine mentale Landkarte zu korrigieren.

In der „sicheren“ Zone: Selbst wenn die Welt genau so ist, wie die KI es erwartet hat, schadet AdaJEPA der Leistung nicht; es bleibt einfach stabil.
In der „veränderten“ Zone: Wenn sich die Welt ändert (neue Formen, andere Farben, rutschige Böden), übertrifft AdaJEPA die eingefrorenen Modelle dramatisch. Es erholt sich viel schneller von Fehlern und erreicht häufiger seine Ziele.

Das Fazit
Das Paper argumentiert, dass eine KI keine statische Statue sein sollte, die aufhört zu lernen, sobald sie das Trainingslabor verlässt. Stattdessen sollte sie ein lebendiges System sein, das sein Verständnis der Welt kontinuierlich kalibriert, während es handelt. AdaJEPA beweist, dass eine KI durch diese winzigen, Echtzeit-Anpassungen eine veränderliche, unvorhersehbare Welt viel besser bewältigen kann als eine, die sich weigert, sich anzupassen.

Technisches Resümee: AdaJEPA: Ein adaptives latentes Weltmodell

Problemstellung

Latente Weltmodelle, insbesondere Joint-Embedding Predictive Architectures (JEPAs), ermöglichen eine effiziente Planung durch die Vorhersage zukünftiger Zustände in einem kompakten latenten Raum. Diese Modelle werden typischerweise auf rahmenfreien Offline-Trajektorien trainiert und mit Model Predictive Control (MPC) für zielgerichtete Aufgaben kombiniert. Es besteht jedoch eine kritische Einschränkung: Das Weltmodell ist nach dem Training in der Regel eingefroren.

Wenn das Modell im Einsatz wird, können seine Vorhersagen aufgrund von Verteilungsverschiebungen zur Testzeit (z. B. visuelle Änderungen wie Rauschen oder Beleuchtung oder dynamische Änderungen wie Reibung und Masse) ungenau werden, was dazu führt, dass der MPC-Planer ein falsches Ziel optimiert. Aktionen, die in der „latenten Vorstellung“ effektiv erscheinen, können in der realen Umgebung fehlschlagen. Kleine Ein-Schritt-Fehler summieren sich über den Planungshorizont auf und führen zu erheblichen Leistungsabfällen. Aktuelle Ansätze erfordern oft zusätzliche Experten-Demonstrationen, Fine-Tuning-Daten aus der Zieldomäne oder komplexe äußere Schleifen, um dies zu adressieren, was die Anwendung in der realen Welt erschwert.

Methodik: AdaJEPA

Die Autoren schlagen AdaJEPA vor, ein adaptives latentes Weltmodell, das eine Testzeit-Adaption innerhalb der geschlossenen Regelschleife von MPC durchführt. Anstatt das Modell als statisch zu behandeln, kalibriert AdaJEPA das Weltmodell kontinuierlich unter Verwendung selbstüberwachter Signale, die aus den eigenen Interaktionen des Agenten abgeleitet werden.

Der Plan–Execute–Adapt–Replan-Zyklus

Der Kernmechanismus arbeitet in jedem MPC-Schritt wie folgt:

Plan: Der Agent plant eine Sequenz von Aktionen unter Verwendung des aktuellen (potenziell veralteten) Weltmodells, um eine latente Zielerreichungskostenfunktion zu minimieren.
Execute: Der Agent führt den ersten Aktions-Chunk ( $a_t$ ) in der Umgebung aus.
Observe: Der Agent empfängt die nächste Beobachtung ( $o_{t+1}$ ).
Adapt: Die Transition $\{o_t, a_t, o_{t+1}\}$ wird einem Replay-Buffer hinzugefügt. Die Modellparameter werden über eine geringe Anzahl von Gradientenschritten aktualisiert (oft nur einer), um den latenten Vorhersagefehler für diese neue Transition zu minimieren.
Replan: Das aktualisierte Modell wird sofort für die nächste Planungsiteration verwendet.

Technische Komponenten

Architektur: Das zugrunde liegende Weltmodell besteht aus einem sensorischen Encoder ( $\mathcal{E}_s$ ), einem Aktions-Encoder ( $\mathcal{E}_a$ ) und einem Prädiktor ( $f_\theta$ ). Es wird offline trainiert, um zukünftige latente Repräsentationen ( $z_{t+1}$ ) vorherzusagen, anstatt Pixel zu rekonstruieren.
Adaptationsverlust: Die Adaptation nutzt dasselbe selbstüberwachte latente Vorhersageziel wie das Pretraining:
$\mathcal{L}_{ada}(\mathcal{B}) = \frac{1}{|\mathcal{B}|} \sum_{(o_i, a_i, o_{i+1}) \in \mathcal{B}} \ell(f_\theta(z_i, \mathcal{E}_a(a_i)), \text{sg}(z_{i+1}))$
wobei $\mathcal{B}$ ein Buffer der jüngsten Transitionen ist, $\ell$ ein latenter Vorhersageverlust (z. B. MSE) und $\text{sg}(\cdot)$ ein Stop-Gradient-Operator ist, um Kollaps zu verhindern.
Parameter-Updates: Um die Effizienz zu gewährleisten, ist die Adaptation leichtgewichtig. Die Autoren aktualisieren nur eine kleine Teilmenge der Parameter (z. B. die letzten Schichten des Encoders und des Prädiktors) statt des gesamten Netzwerks.
Buffer-Strategien: Der Replay-Buffer $\mathcal{B}$ kann über „Recent-N“ (Behalten der jüngsten $N$ Transitionen) oder „Hard-N“ (Behalten der Transitionen mit den größten Vorhersagefehlern) verwaltet werden.

Zentrale Beiträge

Erste JEPA-Adaption während der Planung: Nach Kenntnis der Autoren ist dies die erste Arbeit, die ein JEPA-Weltmodell während der Planungsphase adaptiert, anstatt sich ausschließlich auf Pretraining oder Offline-Fine-Tuning zu verlassen.
Closed-Loop Selbstüberwachung: Die Methode nutzt die unmittelbaren Konsequenzen ausgeführter Aktionen als selbstüberwachtes Signal, wodurch die Notwendigkeit von Reward-Labels, Experten-Demonstrationen oder separaten Datenerfassungsphasen entfällt.
Proben- und Recheneffizienz: Das Framework erzielt signifikante Leistungssteigerungen mit minimalem Rechenaufwand. In vielen Experimenten ist ein einzelner Gradientenschritt pro MPC-Replan-Schritt ausreichend.
Robustheit gegenüber Verteilungsverschiebungen: Der Ansatz zeigt Robustheit gegenüber visuellen Verschiebungen (Rauschen, Unschärfe, Farbänderungen), dynamischen Verschiebungen (Masse, Dämpfung) und strukturellen Verschiebungen (unbekannte Labyrinth-Layouts).

Experimentelle Ergebnisse

Die Autoren evaluierten AdaJEPA auf den Benchmarks PushT (Blockschieben) und PointMaze (Navigation) unter verschiedenen Train-Test-Verteilungsverschiebungen.

In-Distribution-Leistung: Selbst bei Aufgaben, die den Trainingsdaten ähneln, verbessert AdaJEPA die Erfolgsraten (z. B. >20 % Gewinn bei spezifischen PushObj-Formen) oder hält die Baseline-Leistung ohne Degradierung aufrecht, was beweist, dass die Anwendung in der Verteilung sicher ist.
Out-of-Distribution (OOD) Leistung:
- Form-Verschiebungen: Bei unbekannten Blockformen verdoppelte AdaJEPA die Planungs-Erfolgsrate im Vergleich zum eingefrorenen Modell nahezu.
- Visuelle Verschiebungen: Die Methode zeigte klare Gewinne unter Gaußscher Unschärfe, Salz-und-Pfeffer-Rauschen und dunkler Beleuchtung.
- Dynamik- & Layout-Verschiebungen: In PointMaze konnte AdaJEPA Ausfälle, die durch geringe Masse oder hohe Dämpfung verursacht wurden, kompensieren und verbesserte die Erfolgsraten bei unbekannten Labyrinth-Layouts signifikant (z. B. +25,3 % Gewinn bei spezifischen Layout-Verschiebungen).
Latenz: Der Adaptationsschritt führt eine vernachlässigbare Latenz ein (ca. 0,01–0,03 s pro Replan), da nur eine kleine Teilmenge der Parameter aktualisiert wird. Darüber hinaus erreicht der Agent durch die schnellere Kompensation von Vorhersagefehlern oft das Ziel in weniger Gesamtreplans, was die gesamte Ausführungszeit reduziert.
Generalisierung bei Datenknappheit: In Szenarien mit wenig Daten kompensierte die Testzeit-Adaption die begrenzte Trainingsabdeckung. Beispielsweise übertraf AdaJEPA bei begrenzten Trainingsdaten ein eingefrorenes Modell, das mit 16-mal mehr Trajektorien trainiert wurde.

Bedeutung und Behauptungen

Das Paper argumentt, dass latente Weltmodelle nach dem Training nicht statisch bleiben sollten, sondern kontinuierlich durch die während des Einsatzes gesammelten Erfahrungen besser werden sollten.

Biologische Inspiration: Der Ansatz ist in der biologischen sensorimotorischen Adaptation verwurzelt, bei der Systeme (wie das Kleinhirn) ihr Verhalten basierend auf sich ändernden Inputs und Dynamiken anpassen.
Ergänzung zur Skalierung von Daten: Während größere und vielfältigere Trainingsdaten die Generalisierung verbessern, bietet AdaJEPA einen probeneffizienten Weg, um Modelle während des Einsatzes zu verfeinern, was eine Ergänzung zur Skalierung von Daten darstellt.
Zukünftige Richtung: Die Autoren schlagen vor, dass der nächste Schritt die Kombination dieser leichtgewichtigen Testzeit-Adaption mit kontinuierlichem und aktivem Lernen ist, um die Abdeckung des Weltmodells im Laufe der Zeit zu erweitern und so eine resilientere Wahrnehmung und Planung in wechselnden Umgebungen zu ermöglichen.

Die Autoren betonen, dass ihre Methode agnostisch gegenüber der spezifischen Implementierung des Weltmodells ist und konsistente Verbesserungen über verschiedene Architekturen (ResNet, Transformer, DINO-basiert) und Planer (Gradient Descent, CEM) hinweg zeigt.