🤖 machine learning

EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

Dit artikel으로 toont aan dat operator-zijde gewichtsmodulatie (EPM-JEPA) superieur is aan operand-zijde staatinjectie (EI-JEPA) bij het aanpassen van JEPA-familie werelmodellen aan distributieverschuivingen, wat onthult dat prestatie-trajecten worden gedreven door onderscheidende dynamische processen in plaats van evenwichtsconvergentie en wat de ontwikkeling van een natuurkundig gefundeerde opvolger motiveert.

Oorspronkelijke auteurs: Vedant Pandya

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vedant Pandya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een robot leren aanpassen

Stel je voor dat je een robot leert voorspellen waar een bal naartoe zal rollen. Je traint de robot in een kamer met een platte vloer (geen zwaartekracht). Daarna neem je de robot mee naar een nieuwe kamer waar de vloer schuin staat (een andere zwaartekracht).

Standaard AI-modellen zijn als studenten die de regels van de platte kamer uit het hoofd leren. Wanneer ze de schuine kamer binnenkomen, raken ze in de war omdat hun "brein" (de interne wiskunde) niet is veranderd om aan de nieuwe realiteit te voldoen. Ze blijven voorspellen dat de bal rechtuit zal rollen, ook al rolt hij eigenlijk een helling af.

Dit onderzoek probeert de robot te leren om on the fly te leren. De vraag is: Hoe kunnen we de robot een geheugen geven van zijn recente fouten, zodat hij zijn brein direct kan aanpassen aan de nieuwe schuine kamer?

De twee geteste methoden

De onderzoekers vergeleken twee verschillende manieren om de robot dit "geheugen" te geven:

Methode A: De "Notitieboekjes"-aanpak (EI-JEPA)
- De Analogie: Stel je voor dat de robot een notitieboekje heeft. Wanneer hij iets nieuws ziet, schrijft hij een aantekening in het boekje. Wanneer hij een voorspelling moet doen, leest hij de aantekening en voegt die informatie toe aan zijn huidige denkproces.
- Het Resultaat: Dit werkte niet goed. De robot raakte in de war door de extra aantekeningen. Het was alsof je een wiskundig probleem probeert op te lossen terwijl iemand fluisterend aanwijzingen in je oor prevelt; het maakte de robot alleen maar trager en minder nauwkeurig.
Methode B: De "Hersenen Herbedraden"-aanpak (EPM-JEPA)
- De Analogie: In plaats van alleen een aantekening te lezen, gebruikt de robot zijn geheugen om de verbindingen binnenin zijn brein fysiek aan te passen. Het is als een muzikant die, bij het horen van een nieuw muziekgenre, direct de spanning op de snaren van zijn gitaar aanpast om bij het nieuwe geluid te passen. De robot verandert hoe hij rekent, niet alleen waar hij over nadenkt.
- Het Resultaat: Dit werkte beter. De robot paste zijn interne "tandwielen" aan om in de nieuwe schuine kamer te passen en voorspelde het pad van de bal nauwkeuriger dan de robot die alleen een notitieboekje gebruikte.

De Belangrijkste Ontdekking: Een "Nulresultaat" is nog steeds een overwinning

De onderzoekers stelden vooraf een strikte weddenschap op. Ze wilden zien of de "Herbedradings"-methode significant beter was dan de "Notitieboekjes"-methode.

De Weddenschap: Als de "Herbedradings"-methode de prestaties met meer dan 5% zou verbeteren, zouden ze het een grote overwinning noemen.
De Uitkomst: De "Herbedradings"-methode was iets beter, maar het verschil was slechts ongeveer 4,7%.
Het Oordeel: Technisch gezien is dit een "Nulresultaat" (wat betekent dat de twee methoden niet statistisch verschillend genoeg waren om een winnaar uit te roepen).
Waarom het ertoe doet: De auteurs zeggen dat dit een goede wetenschappelijke resultaat is. Het bewijst dat het simpelweg toevoegen van geheugen niet genoeg is; het gaat erom hoe je dat geheugen gebruikt. De "Herbedradings"-methode was de enige die daadwerkelijk beter presteerde dan de robot met geen enkel geheugen.

Het Geheim: Waarom de robot beter werd (en daarna weer slechter)

Het meest interessante deel van het onderzoek is niet alleen dat de robot beter werd, maar ook hoe hij beter werd. De onderzoekers ontdekten dat de prestaties van de robot een specifieke, drie stappen tellende dans volgden die leek op een golf:

De Vulfase (Buffer Cycling): De robot begint herinneringen te verzamelen. Terwijl zijn geheugenbak "volloopt" en oude herinneringen vervangt door nieuwe, vindt de robot een "sweet spot" waarin hij perfect voorspelt.
De Driftfase (EMA Drift): Na die sweet spot begint de "target" (het doel dat de robot probeert te bereiken) langzaam weg te drijven. Het is alsond de finishlijn elke seconde een klein beetje verschuift. De robot blijft proberen het oude doel te raken, waardoor zijn prestaties beginnen te dalen.
De Settelfase (LoRA Transient): Zelfs als je de robot stopt met het leren van nieuwe dingen, heeft het even tijd voordat de interne "tandwielen" tot rust komen. Er is een kleine, onvermijdelijke hobbel in de prestaties terwijl het brein van de robot stabiliseert.

De Kernboodschap: De "piekprestatie" van de robot was geen permanente staat van perfectie. Het was een vluchtig moment in de tijd, veroorzaakt door de balans tussen het vullen van het geheugen, het drijvende doel en het tot rust komen van de interne tandwielen.

Het "Touwtrekkersprobleem"

Er was één addertje onder het gras. Wanneer de robot op zijn best was (het pad van de bal perfect voorspellen), daalde zijn interne "diversiteit".

De Analogie: Stel je een jazzband voor. Wanneer ze een perfecte solo spelen, beginnen ze allemaal exact dezelfde noot in perfecte unisono te spelen. Dat klinkt geweldig voor dat ene nummer, maar het is riskant omdat ze allemaal hetzelfde doen.
De onderzoekers ontdekten dat om de beste voorspellingen te doen, de robot een beetje "star" (minder divers) moest worden. Als ze probeerden de robot dwingen om diverser te zijn, werden de voorspellingen slechter. Het is een afweging: Perfecte voorspelling versus Flexibel denken.

Conclusie

Het onderzoek concludeert dat:

Het brein veranderen (gewichten) beter is dan alleen aantekeningen toevoegen (inputs).
Het "perfecte moment" tijdelijk is. Het wordt veroorzaakt door een complexe dans van het vullen van het geheugen, het drijven van de target en het intern settelen.
Toekomstig werk: De auteurs zijn van plan een nieuwe versie (PEM-JEPA) te bouwen die natuurkundige regels gebruikt om de "driftende" target te stoppen, in de hoop de robot langer in dat "perfecte moment" te houden zonder dat hij vastloopt of star wordt.

Kortom: Ze hebben een robot gebouwd die zijn eigen brein kan herbedraden om zich aan te passen aan een andere zwaartekracht. Het werkte beter dan alleen een notitieboekje geven, maar het perfecte optreden was een vluchtig moment veroorzaakt door een complexe interne dans, en niet een permanente staat van perfectie.

Technische Samenvatting: EPM-JEPA – Operator-zijde Ervaringsmodulatie in de JEPA-familie van Wereldmodellen

Probleemstelling
Joint-Embedding Predictive Architectures (JEPA) voorspellen toekomstige toestanden in de latente ruimte om de onhandelbaarheid van het modelleren van irrelevante perceptuele details te vermijden. De standaard JEPA-predictoren zijn echter statisch; hun gewichten passen zich niet aan wanneer de dynamiek tijdens de testtijd afwijkt van de trainingsdistributies (bijv. veranderingen in zwaartekracht of wrijving). Hoewel bestaande geheugen-geaugmenteerde modellen (bijv. Transformers met extern geheugen) dit aanpakken door ervaring als aanvullende input toe te voegen (operand-zijde), blijven de gewichten van de predictor ongewijzigd. Dit onderzoek onderzoekt of operator-zijde modulatie—het gebruik van geaccumuleerde ervaring om de gewichten van de predictor direct te wijzigen—een superieur mechanisme biedt voor het adapteren aan distributieverschuivingen.

Methodologie
De auteurs stellen EPM-JEPA (Experience-Modulated JEPA) voor en vergelijken dit met twee baselines op een Moving MNIST-taak met een zwaartekrachtverschuiving (0.0 tot 0.5 px/frame²). Alle modellen delen een encoder, een EMA target encoder en een predictor-basis, waarbij ze alleen verschillen in hoe ervaring wordt benut:

Track A (Vanilla JEPA): Een baseline zonder geheugenmechanisme.
Track B (EI-JEPA): Een operand-zijde benadering waarbij een gecomprimeerde ervaring-representatie wordt toegevoegd als een residu aan de verborgen toestand van de predictor.
Track C (EPM-JEPA): Een operator-zijde benadering waarbij de ervaring-representatie laag-rang gewichtsdelta's ( $\Delta W$ ) genereert via LoRA (Low-Rank Adaptation). Deze delta's worden toegepast op de lineaire lagen van de predictor, wat effectief de berekening zelf verandert op basis van recente historie.

Geheugensubsysteem
Tracks B en C maken gebruik van een gedeelde geheugenpipeline:

Boundary Detection: Monitort de batch-gemiddelde surprisal om "boundary events" (significante voorspellingsfouten) te identificeren.
Experience Buffer: Een FIFO-buffer (capaciteit 256) slaat latente transities op bij boundary events.
Encoding & Aggregatie: Een transformer encoder verwerkt opgeslagen paren, en een aandachtsmethode aggregeert deze tot een enkele vector ( $e_{agg}$ ) die geconditioneerd is op de huidige latente toestand.
Modulatie: In EPM-JEPA stuurt $e_{agg}$ een LoRA-module aan om $\Delta W = U \cdot \text{diag}(\delta) \cdot V^\top$ te produceren, die wordt toegevoegd aan de bevroren predictor-gewichten.

Belangrijkste Resultaten
Experimenten werden uitgevoerd binnen een vooraf geregistreerd vergelijkingskader met drie uitkomstklassen. De primaire metriek is $D^{shift}_{n=50}$ , de gemiddelde genormaliseerde voorspellingsfout op de verschoven distributie.

Pre-geregistreerde Vergelijking (Track C vs. Track B): Het verschil in prestaties was $\delta = 4,74\%$ . Volgens de criteria van het paper ( $|\delta| < 5\%$ ) vormt dit Uitkomst C: een nulresultaat. EPM-JEPA presteerde niet statistisch beter dan de operand-zijde injectie (EI-JEPA) in de primaire hypothesetest.
Secundaire Observatie (Track C vs. Track A): EPM-JEPA verbeterde de voorspellingsfout met 1,90% ten opzichte van de no-memory baseline (Track A) consistent over drie seeds. Daarentegen presteerde EI-JEPA (Track B) slechter dan de baseline, wat suggereert dat naïeve input-injectie ineffectief is in deze setting, terwijl gewicht-niveau modulatie een bescheiden maar consistent voordeel biedt.
Mechanisme-analyse: De prestatie-traject van EPM-JEPA is geen convergentie naar een stabiel evenwicht, maar wordt beheerst door drie onafhankelijke dynamische processen:
1. Buffer Cycling: De eindige buffer verzadigt en cyclust, wat invloed heeft op de piekformatie.
2. EMA Target Drift: De langzaam bewegende EMA target encoder blijft de voorspellingsdoelstelling verschuiven nadat de LoRA-gewichten zijn gestabiliseerd, wat zorgt voor een divergentie na de piek.
3. LoRA Settling Transient: Er treedt een intrinsieke stijging van +0,021 in de fout op terwijl de LoRA-gewichten stabiliseren onder een afnemende leersnelheid, onafhankelijk van de freeze-timing.

Betekenis en Claims
Het paper stelt expliciet dat de primaire wetenschappelijke bijdrage niet de falsificatie van de operator-zijde hypothese is (die een nulresultaat opleverde), maar de mechanisme-analyse van de systeemdynamica.

Wetenschappelijke Geldigheid van Nulresultaten: De auteurs benadrukken dat Uitkomst C een geldige wetenschappelijke resultaat is onder hun vooraf geregistreerde criteria, waarbij de focus verschuift van het "winnen" van een vergelijking naar het begrijpen van waarom de systemen zich gedragen zoals ze doen.
Dynamische Beperkingen: De studie onthult dat de prestatiepiek een transiënte configuratie is, veroorzaakt door het samenspel van buffer cycling, EMA drift en LoRA settling, in plaats van een stabiele optimale staat.
Structurele Spanning: Er bestaat een trade-off tussen voorspellingsoptimaliteit en representatie-diversiteit. De best presterende LoRA-configuraties laten de output-manifold krimpen (waardoor $\sigma_{embed}$ onder de 0,5 veiligheidsdrempel zakt), terwijl het verhogen van regularisatie om diversiteit te herstellen de voorspellingsprestaties verslechtert.
Toekomstige Richting: Deze bevindingen motiveren PEM-JEPA, een voorgestelde opvolger die natuurkundig gefundeerde latente structuren (expliciete kinematische toestanden) introduceert om de doel-distributie te beperken en de geïdentificeerde dynamische-piekbeperkingen te mitigeren.

De auteurs concluderen dat hoewel operator-zijde modulatie via LoRA een specifiek pad voor adaptatie biedt dat verschilt van input-injectie, de huidige architectuur beperkt wordt door intrinsieke dynamische transiënten die structurele veranderingen vereisen (in plaats van enkel aanpassingen aan het trainingsschema) om deze op te lossen.