🤖 machine learning

EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

Diese Arbeit zeigt, dass die gewichtsseitige Modulation auf der Operatorseite (EPM-JEPA) die zustandsseitige Injektion auf der Operandenseite (EI-JEPA) bei der Anpassung von JEPA-Familie-Weltmodellen an Verteilungsverschiebungen übertrifft, was offenbart, dass die Leistungsverläufe durch unterschiedliche dynamische Prozesse als durch Gleichgewichtskonvergenz getrieben werden und die Entwicklung eines physikbasierten Nachfolgers motiviert.

Ursprüngliche Autoren: Vedant Pandya

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vedant Pandya

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter das Anpassen beibringen

Stellen Sie sich vor, Sie bringen einem Roboter bei, vorherzusagen, wohin ein Ball rollen wird. Sie trainieren ihn in einem Raum mit flachen Böden (keine Schwerkraft). Dann nehmen Sie den Roboter mit in einen neuen Raum, in dem der Boden geneigt ist (andere Schwerkraft).

Standard-KI-Modelle sind wie Schüler, die die Regeln des flachen Raums auswendig lernen. Wenn sie den geneigten Raum betreten, werden sie verwirrt, weil ihr „Gehirn“ (die interne Mathematik) sich nicht an die neue Realität angepasst hat. Sie sagen weiterhin voraus, dass der Ball geradeaus rollt, obwohl er eine Schräge hinunterrollt.

Diese Arbeit versucht, dem Roboter beizubringen, „on the fly“ zu lernen. Die Frage lautet: Wie können wir dem Roboter ein Gedächtnis seiner jüngsten Fehler geben, damit er sein Gehirn sofort an den neuen, geneigten Raum anpassen kann?

Die zwei getesteten Methoden

Die Forscher verglichen zwei verschiedene Wege, dem Roboter dieses „Gedächtnis“ zu geben:

Methode A: Der „Notizbuch“-Ansatz (EI-JEPA)
- Die Analogie: Stellen Sie sich vor, der Roboter hat ein Notizbuch. Wenn er etwas Neues sieht, schreibt er eine Notiz in das Buch. Wenn er eine Vorhersage treffen muss, liest er die Notiz und fügt diese Information seinem aktuellen Denkprozess hinzu.
- Das Ergebnis: Das funktionierte nicht gut. Der Roboter wurde durch die zusätzlichen Notizen verwirrt. Es war, als würde man versuchen, eine Matheaufgabe zu lösen, während einem jemand ständig Hinweise ins Ohr flüstert; es machte den Roboter nur langsamer und ungenauer.
Methode B: Der „Gehirn-Umverdrahtungs“-Ansatz (EPM-JEPA)
- Die Analogie: Anstatt nur eine Notiz zu lesen, nutzt der Roboter sein Gedächtnis, um die Verbindungen innerhalb seines Gehirns physisch anzupassen. Es ist wie ein Musiker, der, wenn er ein neues Musikgenre hört, sofort die Spannung der Saiten seiner Gitarre anpasst, um dem neuen Klang zu entsprechen. Der Roboter ändert, wie er rechnet, nicht nur, worüber er nachdenkt.
- Das Ergebnis: Das funktionierte besser. Der Roboter passte seine internen „Zahnräder“ an, um in den neuen, geneigten Raum zu passen, und sagte den Pfad des Balls genauer voraus als der Roboter, der nur ein Notizbuch verwendete.

Die wichtigste Entdeckung: Ein „Null-Ergebnis“ ist trotzdem ein Gewinn

Die Forscher legten vor Beginn eine strenge Wette fest. Sie wollten sehen, ob die „Umverdrahtungs“-Methode signifikant besser war als die „Notizbuch“-Methode.

Die Wette: Wenn die „Umverdrahtungs“-Methode die Leistung um mehr als 5 % verbesserte, würden sie dies als großen Sieg werten.
Das Ergebnis: Die „Umverdrahtungs“-Methode war etwas besser, aber der Unterschied betrug nur etwa 4,7 %.
Das Urteil: Technisch gesehen ist dies ein „Null-Ergebnis“ (was bedeutet, dass die beiden Methoden statistisch gesehen nicht unterschiedlich genug waren, um einen Sieger zu küren).
Warum es wichtig ist: Die Autoren sagen, dass dies ein gutes wissenschaftliches Ergebnis ist. Es beweist, dass es nicht ausreicht, einfach nur ein Gedächtnis hinzuzufügen; entscheidend ist, wie man dieses Gedächtnis nutzt. Nur die „Umverdrahtungs“-Methode konnte den Roboter tatsächlich schlagen, der gar kein Gedächtnis hatte.

Das Geheimrezept: Warum der Roboter besser wurde (und dann schlechter)

Der interessanteste Teil der Arbeit ist nicht nur, dass der Roboter besser wurde, sondern wie er besser wurde. Die Forscher entdeckten, dass die Leistung des Roboters einem spezifischen, dreistufigen Tanz folgte, der wie eine Welle aussah:

Die Füllphase (Buffer Cycling): Der Roboter beginnt, Erinnerungen zu sammeln. Während sein „Gedächtniseimer“ sich füllt und beginnt, alte Erinnerungen zu verdrängen, um Platz für neue zu schaffen, findet der Roboter einen „Sweet Spot“, an dem er perfekt vorhersagt.
Die Driftphase (EMA Drift): Nach diesem Sweet Spot beginnt sich sein „Ziel“ (das Ziel, das er erreichen will) langsam zu verschieben. Es ist, als würde sich die Ziellinie jede Sekunde ein Stück bewegen. Der Roboter versucht weiterhin, das alte Ziel zu treffen, wessofern seine Leistung nachlässt.
Die Siedungsphase (Lo-RA Transient): Selbst wenn man den Roboter daran hindert, neue Dinge zu lernen, braucht es eine Weile, bis sich seine internen „Zahnräder“ einpendeln. Es gibt einen winzigen, unvermeidbaren Ausreißer in der Leistung, während das Gehirn des Roboters sich stabilisiert.

Der Kernpunkt: Die „Spitzenleistung“ des Roboters war kein dauerhafter Zustand der Perfektion. Sie war ein flüchtiger Moment in der Zeit, verursacht durch das Gleichgewicht zwischen dem Füllen des Gedächtnisses, dem driftenden Ziel und dem Einpendeln der internen Zahnräder.

Das „Seiltanz“-Problem

Es gab jedoch einen Haken. Als der Roboter seine beste Leistung erbrachte (den Pfad des Balls perfekt vorhersagte), sank seine interne „Diversität“.

Die Analogie: Stellen Sie sich eine Jazzband vor. Wenn sie gerade ein perfektes Solo spielen, beginnen alle, exakt denselben Ton in perfektem Einklang zu spielen. Das klingt für dieses eine Lied großartig, ist aber riskant, weil alle genau das Gleiche tun.
Die Forscher fanden heraus, dass der Roboter, um die besten Vorhersagen zu treffen, etwas „starr“ (weniger divers) werden musste. Wenn sie versuchten, ihn zu mehr Diversität zu zwingen, verschlechterten sich seine Vorhersagen. Es ist ein Kompromiss: Perfekte Vorhersage vs. Flexibles Denken.

Faz-it

Die Arbeit kommt zu folgendem Schluss:

Das Gehirn zu ändern (Gewichte) ist besser als nur Notizen hinzuzufügen (Inputs).
Der „perfekte Moment“ ist temporär. Er wird durch einen komplexen Tanz aus Gedächtnisfüllung, Zieldrift und interner Stabilisierung verursacht.
Zukünftige Arbeit: Die Autoren planen, eine neue Version (PEM-JEPA) zu bauen, die physikalische Regeln nutzt, um das „driftende“ Ziel zu stoppen, in der Hoffnung, den Roboter länger in diesem „perfekten Moment“ zu halten, ohne dass er steif oder starr wird.

Kurz gesagt: Sie haben einen Roboter gebaut, der sein eigenes Gehirn umverdrahten kann, um sich an eine neue Schwerkraft anzupassen. Es funktionierte besser, als ihm nur ein Notizbuch zu geben, aber die perfekte Leistung war ein flüchtiger Moment, der durch einen komplexen internen Tanz verursacht wurde und nicht durch einen dauerhaften Zustand.

Technisches Resümee: EPM-JEPA – Operator-seitige Erfahrungpmodulation in JEPA-Familien von Weltmodellen

Problemstellung
Joint-Embedding Predictive Architectures (JEPA) prognostizieren zukünftige Zustände im latenten Raum, um die Unhandlichkeit bei der Modellierung irrelevanter perzeptiver Details zu vermeiden. Standardmäßige JEPA-Prädiktoren sind jedoch statisch; ihre Gewichte passen sich nicht an, wenn die Testzeit-Dynamik von den Trainingsverteilungen abweicht (z. B. Änderungen der Gravitation oder Reibung). Während bestehende speicheraugmentierte Modelle (z. B. Transformer mit externem Speicher) dies adressieren, indem sie Erfahrung als zusätzliche Eingabe (Operand-Seite) injizieren, bleiben die Gewichte des Prädiktors dabei unverändert. Diese Arbeit untersucht, ob eine Operator-seitige Modulation – die Verwendung akkumulierter Erfahrung zur direkten Modifikation der Gewichte des Prädiktors – einen überlegenen Mechanismus zur Anpassung an Verteilungsverschiebungen darstellt.

Methodik
Die Autoren schlagen EPM-JEPA (Experience-Modulated JEPA) vor und vergleichen es auf einer Moving-MNIST-Aufgabe mit einer Gravitationsverschiebung (0,0 bis 0,5 px/Frame²) mit zwei Baselines. Alle Modelle teilen einen Encoder, einen EMA-Target-Encoder und einen Prädiktor-Basisteil, wobei sie sich lediglich darin unterscheiden, wie Erfahrung genutzt wird:

Track A (Vanilla JEPA): Eine Baseline ohne Speicher-Mechanismus.
Track B (EI-JEPA): Ein Operand-seitiger Ansatz, bei dem eine komprimierte Erfahrung-Repräsentation als Residuum zum verborgenen Zustand des Prädiktors hinzugefügt wird.
Track C (EPM-JEPA): Ein Operator-seitiger Ansatz, bei dem die Erfahrung-Repräsentation Low-Rank-Gewichts-Deltas ( $\Delta W$ ) via LoRA (Low-Rank Adaptation) generiert. Diese Deltas werden auf die linearen Schichten des Prädiktors angewendet, was die Berechnung basierend auf der jüngsten Historie effektiv verändert.

Speicher-Subsystem
Tracks B und C nutzen eine gemeinsame Speicher-Pipeline:

Grenzwertdetektion (Boundary Detection): Überwacht die Batch-Mittelwert-Surprisal, um „Boundary Events“ (signifikante Vorhersagefehler) zu identifizieren.
Erfahrungsspeicher (Experience Buffer): Ein FIFO-Buffer (Kapazität 256) speichert latente Übergänge bei Boundary Events.
Kodierung & Aggregation: Ein Transformer-Encoder verarbeitet die gespeicherten Paare, und ein Attention-Mechanismus aggregiert diese in einen einzelnen Vektor ( $e_{agg}$ ), der an den aktuellen latenten Zustand konditioniert ist.
Modulation: In EPM-JEPA treibt $e_{agg}$ ein LoRA-Modul an, um $\Delta W = U \cdot \text{diag}(\delta) \cdot V^\top$ zu erzeugen, welches zu den eingefrorenen Prädiktor-Gewichten addiert wird.

Kernergebnisse
Die Experimente wurden in einem präregistrierten Vergleichsrahmen mit drei Ergebnisklassen durchgeführt. Die primäre Metrik ist $D^{shift}_{n=50}$ , der mittlere normalisierte Vorhersagefehler auf der verschobenen Verteilung.

Präregistrierter Vergleich (Track C vs. Track B): Der Unterschied in der Performance betrug $\delta = 4,74\%$ . Gemäß den Kriterien der Autoren ( $|\delta| < 5\%$ ) stellt dies Outcome C: ein Nullresultat dar. EPM-JEPA war in dem primären Hypothesentest der Operand-seitigen Injektion (EI-JEPA) statistisch nicht überlegen.
Sekundäre Beobachtung (Track C vs. Track A): EPM-JEPA verbesserte den Vorhersagefehler gegenüber der No-Memory-Baseline (Track A) konsistent über drei Seeds hinweg um 1,90%. Im Gegensatz dazu performte EI-JEPA (Track B) schlechter als die Baseline, was darauf hindeutet, dass naive Input-Injektion in diesem Setting ineffektiv ist, während Gewicht-basierte Modulation einen moderaten, aber konsistenten Nutzen bietet.
Mechanismus-Analyse: Die Performance-Trajektorie von EPM-JEPA ist keine Konvergenz gegen ein stabiles Gleichgewicht, sondern wird von drei unabhängigen dynamischen Prozessen gesteuert:
1. Buffer Cycling: Der endliche Buffer sättigt und zyklieren, was die Peak-Bildung beeinflusst.
2. EMA Target Drift: Der langsam wandernde EMA-Target-Encoder verschiebt das Vorhersageziel kontinuierlich weiter, selbst nachdem die LoRA-Gewichte stabilisiert wurden, was zu einer Divergenz nach dem Peak führt.
3. LoRA Settling Transient: Ein intrinsischer Anstieg des Fehlers um +0,021 tritt auf, während die LoRA-Gewichte unter einer abnehmenden Lernrate zur Ruhe kommen, unabhängig vom Zeitpunkt des Einfrierens.

Bedeutung und Ansprüche
Die Autoren geben explizit an, dass ihr primärer wissenschaftlicher Beitrag nicht die Falsifizierung der Operator-seitigen Hypothese (die zu einem Nullresultat führte) ist, sondern die Mechanismus-Analyse der Systemdynamik.

Wissenschaftliche Validität von Nullresultaten: Die Autoren betonen, dass Outcome C ein valides wissenschaftliches Ergebnis unter ihren präregistrierten Kriterien ist, wodurch der Fokus von der Frage nach dem „Gewinnen“ eines Vergleichs hin zum Verständnis verschoben wird, warum die Systeme sich so verhalten, wie sie es tun.
Dynamische Limitationen: Die Studie zeigt auf, dass der Performance-Peak eine transiente Konfiguration ist, die durch das Zusammenspiel von Buffer-Cycling, EMA-Drift und LoRA-Settling verursacht wird, statt ein stabiler optimaler Zustand zu sein.
Strukturelle Spannung: Es besteht ein Trade-off zwischen Vorhersage-Optimalität und Repräsentations-Diversität. Die am besten performenden LoRA-Konfigurationen kontrahieren die Output-Manifold (senken $\sigma_{embed}$ unter den Sicherheits-Schwellenwert von 0,5), während die Erhöhung der Regularisierung zur Wiederherstellung der Diversität die Vorhersageleistung verschlechtert.
Zukünftige Ausrichtung: Diese Befunde motivieren PEM-JEPA, einen vorgeschlagenen Nachfolger, der physik-fundierte latente Strukturen (explizite kinematische Zustände) einführt, um die Zielverteilung zu beschränken und die identifizierten Limitationen der dynamischen Peaks zu mildern.

Die Autoren kommen zu dem Schluss, dass die Operator-seitige Modulation via LoRA zwar einen spezifischen Pfad zur Anpassung bietet, der sich von der Input-Injektion unterscheidet, die aktuelle Architektur jedoch durch intrinsische dynamische Transienten begrenzt ist, die strukturelle Änderungen (statt bloßer Anpassungen des Trainings-Schedules) erfordern, um gelöst zu werden.