🤖 AI

MoP-JEPA: Hard-Assigned Predictor Mixtures for Stochastic JEPA World Models

MoP-JEPA adresseert de beperkingen van single-output voorspellers in stochastische JEPA-wereldmodellen door een context-alleen router met $K$ hard-toegewezen koppen te gebruiken om een eindige verzameling kandidaat-opvolgers te genereren, wat zowel in ruwe dekking als in succes op geverifieerde routes bij graafzoektaken aanzienlijk beter presteert dan standaard regressie- en MDN-benaderingen.

Oorspronkelijke auteurs: Zhi Song, Ximing Xing, Zhenchao Tang, hanbo Huang, Weilong Yan, Tianxu Lv, Minghao Yang, Zhongzheng Niu, Bing He, Lusheng Wang, Jianhua Yao

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhi Song, Ximing Xing, Zhenchao Tang, hanbo Huang, Weilong Yan, Tianxu Lv, Minghao Yang, Zhongzheng Niu, Bing He, Lusheng Wang, Jianhua Yao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren navigeren door een gigantisch, kronkelend doolhof. De robot heeft een "glazen bol" (een wereldmodel) die probeert te raden wat er gebeurt nadat het een stap heeft gezet.

Het Probleem: De "Gemiddelde" Valstrik
De meeste huidige robots gebruiken een glazen bol die werkt als een zeer beleefde, besluiteloze bibliothecaris. Als je vraagt: "Als ik naar links ga, waar kom ik dan terecht?" en er zijn twee mogelijke antwoorden (misschien stuurt een teleporter je naar de keuken, of misschien een val naar de tuin), dan geeft de bibliothecaris niet twee opties. In plaats daarvan geeft hij er één antwoord: het exacte middelpunt tussen de keuken en de tuin.

In de echte wereld bestaat er geen "midden" tussen de keuken en de tuin. Als de robot probeert naar dat middelpunt te lopen, loopt hij tegen een muur aan die in geen van beide realiteiten bestaat. De paper noemt dit de "single-output restriction". Het betoogt dat wanneer de toekomst rommelig is (stochastisch) en meerdere mogelijkheden heeft, het proberen te voorspellen van slechts één "gemiddelde" toekomst een recept voor falen is.

De Oplossing: Het "Hard-Assigned" Team
De auteurs, Zhi Song en zijn team van Tencent en de City University of Hong Hong Kong, hebben een nieuw soort glazen bol gebouwd genaamd MoP-JEPA. In plaats van één bibliothecaris, hebben ze een team van K verschillende experts (heads) ingehuurd.

Zo werkt het:

De Router: Een slimme manager kijkt naar de huidige situatie en beslist welke experts waarschijnlijk actief zijn. Cruciaal is dat deze manager alleen de huidige context ziet; hij kan niet in de toekomst kijken om te weten welke uitkomst er daadwerkelijk plaatsvond.
De Experts: Elke expert is getraind om zeer goed te zijn in het voorspellen van één specifieke soort toekomst.
De Candidate Set: Wanneer er een nieuwe situatie optreedt, probeert het systeem niet de meningen van de experts te mengen tot één antwoord. In plaats daarvan geeft het een lijst van onderscheidende mogelijkheden van de actieve experts.

Dit creëert een lijst met duidelijke, geldige mogelijkheden (een "candidate set") in plaats van een wazig, nep gemiddelde. Het is also[t] een reisagent vragen om een lijst met mogelijke bestemmingen, in plaats van een kaart van een plek die ergens halverwege Parijs en Tokio ligt.

Het Bewijs: Werkt het Werkelijk?
Het team heeft dit getest op enkele lastige doolhoven (uit een dataset genaamd OGBench) waar de robot kon teleporteren of in verschillende paden kon worden geweven.

De Oude Manier: Wanneer de standaard robot probeerde een pad te plannen met behulp van zijn "gemiddelde" voorspelling, slaagde hij in slechts 0,02 tot 0,09 (2% tot 9%) van de queries. Hij gokte voornamelijk fout.
De Nieuwe Manier: De MoP-JEPA robot, die gebruikmaakt van zijn lijst met onderscheidende mogelijkheden, slaagde in 0,85 (85%) van de queries.

Maar de auteurs waren voorzichtig. Ze wisten dat het niet genoeg is om simpelweg een lange lijst met gokken te hebben; je zou immers ook gewoon overal op kunnen gokken en dan geluk hebben. Daarom voegden ze een strikte test toe genaamd "realroute." Deze controleert of de lijst met gokken van de robot daadwerkelijk een pad bevat dat bestaat uit echte overgangen waar doorheen gelopen kan worden.

Het Resultaat: MoP-JEPA slaagde voor deze strikte test op alle drie de doolhoven.
De Vergelijking: Een andere methode genaamd "Mixture Density Network" (MDN) kon veel dingen raden (hoge dekking), maar veel van die gokken waren nep-verbindingen die niet bestonden in de echte doolhof. De gokken van MoP-JEPA waren nuttig en echt.

Wat Dit Betekent (en Wat Het Niet Betekent)
De paper bewijst dat voor robots die navigeren in onzekere werelden, je een systeem nodig hebt dat kan zeggen: "Het zou A kunnen zijn, of het zou B kunnen zijn," in plaats van: "Het zal ergens tussen A en B zijn."

Wat het uitsluit: De paper argumenteert expliciet tegen het gebruik van "gated" mixtures (zoals M3-JEPA) die experts mengen tot een enkele output. Zelfs als je veel experts binnenin hebt, als ze hun antwoorden samenvoegen tot één vector, eindig je nog steeds in de "gemiddelde valstrik".
Wat het suggereert: De auteurs suggereren dat deze "hard-assigned" benadering een betere manier is om de rommelige, multi-path natuur van real-world planning te hanteren.
Het Vertrouwen: De resultaten worden gemeten op specifieke, "held-out" datasets (OGBench). De paper laat zien dat de nieuwe methode in deze simulaties superieur is aan de oude "gemiddelde" voorspellers. Het claimt niet dat het alle robotplanning voor altijd heeft opgelost, maar het toont een duidelijke, gemeten overwinning in deze specifieke doolhofscenario's.

Kortom: Als je wilt dat een robot plant voor een toekomst met vele mogelijkheden, vraag hem dan niet om het gemiddelde. Geef hem een team van specialisten, laat hen een lijst met echte opties genereren, en laat de robot het beste pad uit die lijst kiezen.

Technische Samenvatting: MoP-JEPA

Probleemstelling
JEPA (Joint Embedding Predictive Architecture) wereldmodellen voorspellen doorgaans de volgende latente toestand met behulp van een enkele regressor. Hoewel dit effectief is in deterministische omgevingen, faalt deze aanpak bij stochastische transities waarbij één enkele context (toestand-actie paar) tot meerdere geldige opvolgers kan leiden. Standaard regressiedoelen (kwadratische fout of cosinusfout) dwingen het model om de voorwaardelijke gemiddelde waarde of de genormaliseerde richting van dat gemiddelde te voorspellen. In multimodale distributies resulteert deze "compromis"-output vaak in een niet-bestaande toestand (bijv. een ongeldig middelpunt tussen twee verschillende bestemmingen), waardoor de voorspeller onbruikbaar wordt voor plannings-taken die het enumereren van geldige toekomstige paden vereisen. Bestaande pogingen om stochasticiteit te introduceren, zoals gated Mixture-of-Experts (MoE) gefuseerd door een gewogen som of enkelvoudige Gaussische variatiedistributies, klonteren nog steeds samen tot één outputvector per context, wat dezelfde fundamentele beperking behoudt.

Methodologie
Het artikel stelt MoP-JEPA (Mixture-of-Predictors JEPA) voor, die de enkele-output voorspeller vervangt door een structuur die in staat is om in één enkele forward pass een eindige set kandidaat-opvolgers te produceren.

Architectuur: Het model behoudt de standaard JEPA-backbone (encoder $f_\theta$ en EMA target encoder $f_\xi$ ), maar vervangt de enkele voorspeller $g_\phi$ door $K$ parallelle voorspeller-koppen $\{g_{\phi_k}\}_{k=1}^K$ .
Router: Een context-specifieke router $r_\psi$ neemt de context $c = [z, a]$ (latente toestand en actie) en geeft een waarschijnlijkheidsdistributie $\pi$ over de $K$ koppen. Cruciaal is dat de router de doel-toekomstige toestand $z^+$ niet ziet, waardoor het leert om geldige opvolgers te voorspellen op basis uitsluitend van de huidige context.
Hard Assignment Doelstelling: De training maakt gebruik van een "Winner-Take-All" (WTA) mechanisme geïnspireerd door conditionele vector-kwantisatie. Voor elke doel-toestand $z^+_i$ $z_{i}^{+}$ wordt de dichtstbijzijnde kop $k^*_i$ $k_{i}^{*}$ geïdentificeerd. De verliesfunctie bestaat uit drie termen:
1. Voorspellingsverlies (Prediction Loss): De afstand tussen de output van de winnende kop en het doel.
2. Routerverlies (Router Loss): Cross-entropy om de router te trainen om de index van de winnende kop te voorspellen.
3. Load Balancing: Een strafterm om te voorkomen dat de router naar een enkele kop klontert, wat het gebruik van alle $K$ koppen stimuleert.
Inference: Tijdens de testfase geeft het model een set van $K$ kandidaat-latenten $\{u_k\}$ met bijbehorende router-waarschijnlijkheden $\{\pi_k\}$ . Deze eindige set dient als de transitie-graaf voor downstream planners (bijv. BFS of MPC) zonder dat een decoder of meerdere rollouts nodig zijn.

Belangrijkste Bijdragen

Finite Successor Interface voor JEPA: Het artikel introduceert een mechanisme om de enkele-output restrictie van JEPA om te zetten in een eindige kandidaat-set, waardoor het model multimodale transities expliciet kan representeren.
Theoretische Karakterisering van Klontering (Collapse): De auteurs demonstreren formeel (via Proposities 1–3) dat deterministische voorspellers en gefuseerde MoEs inherent optimaliseren voor het voorwaardelijke gemiddelde, wat vaak een ongeldige toestand is in stochastische omgevingen. Zij identificeren hard-assigned koppen als een vorm van conditionele vector-kwantisatie die verschillende modi kan dekken.
Verified-Route Evaluatieprotocol: In het besef dat een hoge dekking (coverage) bereikt kan worden door willekeurige voorspelling (bijv. alle mogelijke randen voorspellen ongeacht de context), introduceren de auteurs een "realroute" metriek. Deze metriek evalueert of de voorgestelde kandidaat-set een geldig pad van werkelijke transities bevat van start naar doel, wat onderscheid maakt tussen context-afhankelijk leren en loutere dekking.

Resultaten
De auteurs evalueren MoP-JEPA op OGBench datasets (inclusief PointMaze en AntMaze varianten met teleportatie en stitching, die multimodale transities induceren).

Planningsprestaties: Op held-out OGBench transities slaagt graafzoekopdrachten met enkele-output voorspellers slechts in 0,02–0,09 van de queries. In tegenstelling hiertoe bereikt MoP-JEPA een succesratio van 0,85.
Modus-herstel (Mode Recovery): Visualisaties in de latente ruimte (Figuren 3 en 4) laten zien dat dichte voorspellers klonteren naar een enkel ongeldig middelpunt tussen vertakkingen, terwijl MoP-JEPA succesvol onderscheidende pieken herstelt die overeenkomen met elke geldige vertakking.
Verified-Route Succes: MoP-JEPA voert aan de top op de "realroute" metriek in alle drie de maze-omgevingen. Terwijl een Mixture Density Network (MDN) een hoge ruwe dekking bereikt, voorspelt deze veel niet-bestaande randen, waardoor het de verified-route test faalt. MoP-JEPA behoudt een hoge dekking terwijl het garandeert dat de voorspelde randen overeenkomen met werkelijke transities.
Ablatie: Het blijkt dat het router gating mechanisme essentieel is; zonder dit mechanisme kan het model koppen behouden die niet overeenkomen met geldige context-afhankelijke transities.

Betekenis en Claims
De auteurs claimen dat de primaire beperking van huidige JEPA wereldmodellen in stochastische settings de enkele-output restrictie is, die een compromis afdwingt dat plannings-algoritmen niet kunnen gebruiken. Door hard-assigned koppen te introduceren, stelt MoP-JEPA het model in staat om discrete opvolger-modi te "enumereren" in plaats van ze te middelen. De auteurs benadrukken dat hun bijdrage niet een nieuwe encoder of anti-collapse machinerie is, maar een specifiek voorspeller-niveau mechanisme dat succes op planningsniveau mogelijk maakt. Het werk biedt een empirische verantwoording van hoe enkele-output voorspelling de planning onder stochasticiteit verslechtert en biedt een protocol om nuttige, context-afhankelijke opvolgers te onderscheiden van willekeurige dekking.

Technische Samenvatting: MoP-JEPA

Meer zoals dit