🤖 machine learning

SCALE: State-Calibrated Latent Embeddings for JEPA Planning in the Right Geometry

Het artikel stelt SCALE voor, een lichtgewicht regularisator tijdens de training die de geometrie van end-to-end geleerde latente embeddings uitlijnt met een gestandaardiseerde taakrelevante toestandsruimte, waardoor de JEPA-planningsprestaties worden verbeteren door ervoor te zorgen dat richtingen met een hoge variantie in de embeddingruimte effectief toestandsinformatie vastleggen zonder dat daar extra overhead tijdens de planning voor nodig is.

Oorspronkelijke auteurs: Jiaming Hu, Yan Zheng, Tian Wang

Gepubliceerd 2026-08-18

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiaming Hu, Yan Zheng, Tian Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de zoektocht naar het bouwen van machines die kunnen denken en handelen als levende wezens, hebben onderzoekers lang vertrouwd op een concept dat bekend staat als het "wereldmodel". Stel je een robot voor die niet alleen reageert op wat hij nu ziet, maar in plaats daarvan een mentale simulatie van de toekomst draait. Voordat hij ook maar één spier beweegt, vraagt hij zich af: "Als ik naar die beker reik, wat zal er dan gebeuren?" Hij stelt zich de opeenvolging van gebeurtenissen voor, voorspelt de uitkomst, en kiest pas daarna de actie die tot het beste resultaat leidt. Voor deze simulaties moet de machine een manier hebben om de wereld te representeren die compact genoeg is om snel te berekenen, maar gedetailleerd genoeg om nuttig te zijn. Als de representatie te rommelig is, raakt de robot verdwaald in de ruis; als het te simpel is, mist hij de cruciale details die nodig zijn om te slagen. De uitdaging ligt in het vinden van een evenwicht waarbij de interne kaart van de machine niet alleen accuraat is, maar ook georganiseerd op een manier die plannen gemakkelijk maakt.

Een recente studie door onderzoekers van Boston University en Unity Technologies pakt een subtiel maar kritiek gebrek aan de huidige manier waarop deze mentale kaarten worden opgebouwd aan. Ze ontdekten dat een machine een taak perfect kan begrijpen, maar toch kan falen in het gebruiken van dat begrip wanneer hij probeert te plannen. Het probleem is niet dat de informatie ontbreekt, maar dat deze verborgen zit in het verkeerde deel van de interne geometrie van de machine. Om dit op te lossen, ontwikkelde het team een nieuwe methode genaamd SCALE, die de interne kaart van de machine hervormt zodat de belangrijkste details voor een taak de details zijn die het meest opvallen wanneer de machine beslissingen neemt.

De onderzoekers begonnen door te kijken naar twee verschillende manieren waarop machines de wereld leren representeren. Eén benadering, gebruikt in een systeem genaamd DINO-WM, vertrouwt op kenmerken die geleerd zijn uit enorme hoeveelheden data voordat de robot ooit een specifieke taak ziet. Deze methode creëert van nature een kaart waarbij de verschillen tussen belangrijke staten gemakkelijk te zien zijn. De andere benadering, bekend als LeWorldModel, leert de machine vanaf nul om de toekomst te voorspellen. Hoewel deze methode flexibel is en snel leert, ontdekten de onderzoekers dat de resulterende kaart de belangrijkste informatie vaak verbergt. Zelfs al zou de machine theoretisch het juiste antwoord kunnen extraheren als er direct naar gevraagd werd, de manier waarop de machine de afstand tussen verschillende toekomstige mogelijkheden meet, wordt gedomineerd door irrelevante details. Het was alsof de machine een bibliotheek had waar elk boek correct gecatalogiseerd was, maar de bibliothecaris alleen naar de kleur van de boekcovers keek om te beslissen welk boek te pakken, waarbij de werkelijke inhoud werd genegeerd.

Om te begrijpen waarom dit gebeurt, overweeg hoe een machine beslist welke actie hij moet ondernemen. Hij stelt vele mogelijke toekomsten voor en meet de afstand tussen waar hij denkt dat hij zal eindigen en waar hij naartoe wil. In de systemen die vanaf nul leren, wordt de interne meting van afstand door de machine zwaar beïnvloed door de meest voorkomende variaties in de data, die vaak onbelangrijk zijn voor de specifieke taak. De cruciale informatie over de taak, zoals de positie van een object of de hoek van een gewricht, kan in het geheugen van de machine zijn gecodeerd, maar het bevindt zich in een stil hoekje van de kaart dat het planningsproces zelden opmerkt. De machine kan de informatie decoderen als hij daartoe gedwongen wordt, maar hij gebruikt het niet wanneer hij een keuze moet maken.

Het team stelde een oplossing voor om de machine te dwingen zijn kaart anders te organiseren. Ze introduceerden een trainingsregel die de interne zin voor afstand van de machine rechtstreeks koppelt aan de werkelijke fysieke afstand tussen staten in de echte wereld. Tijdens de training krijgt het systeem paren van situaties te zien en krijgt het de opdracht om ervoor te zorgen dat als twee situaties in de werkelijkheid ver uit elkaar liggen, ze ook ver uit elkaar moeten liggen in de interne representatie van de machine. Dit vervangt het leerproces van de machine niet; in plaats daarvan fungeert het als een zachte gids, die de machine een duwtje geeft om zijn interne kaart te herschikken, zodat de meest taakrelevante verschillen de meest prominente kenmerken worden. Dit zorgt ervoor dat wanneer de machine de kosten van een toekomstige actie berekent, de berekening wordt gedreven door de details die er echt toe doen voor succes.

De resultaten van deze aanpak waren opvallend. De onderzoekers testten hun nieuwe methode, SCALE, in vijf verschillende omgevingen, variërend van het duwen van een blok tot het navigeren door een doolhof, met behulp van drie verschillende planningsalgoritmen. In elke enkele test presteerde het met SCALE getrainde systeem beter dan het standaard systeem dat vanaf nul leerde. De verbetering was consistent, ongeacht hoeveel rekenkracht beschikbaar was of welk planningsalgoritme werd gebruikt. Om te bewijzen dat het succes te danken was aan de nieuwe geometrie en niet alleen aan een beter geheugen, vergeleken ze het met een andere methode die simpelweg probeerde de taakinformatie gemakkelijker leesbaar te maken uit het geheugen van de machine. Die alternatieve methode kon de informatie inderdaad nauwkeurig lezen, maar slaagde er niet in om de planningsprestaties zo consistent te verbeteren als SCALE deed. Dit bevestigde dat de sleutel tot succes niet alleen het hebben van de informatie was, maar het op een manier arrangeren die de planner daadwerkelijk kan gebruiken.

De studie biedt een fundamenteel inzicht in kunstmatige intelligentie: de kwaliteit van een representatie hangt niet alleen af van welke informatie het bevat, maar van hoe die informatie gestructureerd is. Een machine kan het juiste antwoord in zijn geest hebben, maar als het pad naar dat antwoord wordt gehinderd door het verkeerde soort ruis, zal de machine falen. Door de interne geometrie van het wereldmodel af te stemmen op de realiteit van de taak, lieten de onderzoekers zien dat plannen aanzienlijk betrouwbaarder wordt. Dit werk suggereert dat voor machines om complexe taken echt te beheersen, we hen niet alleen moeten leren de wereld te zien, maar de wereld op een manier te zien die zinvol is voor de beslissingen die ze moeten nemen.

Technische Samenvatting: SCALE: State-Calibrated Latent Embeddings voor JEPA-planning in de Juiste Geometrie

1. Probleemstelling

Joint-Embedding Predictive Architectures (JEPA) maken planning mogelijk door toekomstige latente representaties te voorspellen en kandidaat-actiesequenties te scoren op basis van de afstand tussen een voorspelde terminale embedding en een doel-embedding. Hoewel modellen zoals LeWorldModel (LeWM) erin slagen niet-gecollapseerde, end-to-end representaties te leren met behulp van anti-collapse regularisatie (SIGReg), bestaat er een kritieke discrepantie tussen decodeerbaarheid en geometrische invloed.

Het onderzoek identificeert dat hoewel taakrelevante staatsinformatie vaak decodeerbaar is uit de volledige embeddings van LeWM, dit niet noodzakelijkerwijs de latente geometrie vormgeeft die door de planner wordt gebruikt. Onder de standaard vierkante Euclidische kostenfunctie domineren richtingen met een hoge variantie de afstandsmetriek. Als taakrelevante variaties zijn gecodeerd in richtingen met een lage variantie, blijven ze gemakkelijk te decoderen via een regressie-kop, maar hebben ze een verwaarloosbare invloed op de selectie van kandidaten door de planner. Dit leidt tot een situatie waarin een model de staat "kent", maar er niet effectief voor kan "gebruiken" bij het plannen.

Het kernprobleem is dat bestaande end-to-end JEPA-trainingsdoelen niet expliciet ervoor zorgen dat de metrische hefboomwerking (het gewicht dat een latente richting draagt in de planningskosten) overeenkomt met taakrelevante staatvariaties.

2. Methodologie: SCALE

De auteurs stellen SCALE (State-CAlibrated Latent Embeddings) voor, een regularisator tijdens de training die ontworpen is om de latente geometrie te hervormen, zodat paarsgewijze latente afstanden correleren met afstanden in een gestandaardiseerde taakrelevante staatruimte.

Kerncomponenten:

State Calibration (Staat-kalibratie): Tijdens de training worden observaties gekoppeld aan simulator-staatvariabelen ( $q$ ). Deze staten worden gestandaardiseerd (bijv. met sinus-cosinus voor hoeken, waarbij snelheden worden uitgesloten) om een doel-geometrie te definiëren.
Correlation Loss ( $L_{corr}$ ): SCALE neemt paren frames (zowel binnen als over episodes heen) en berekent de vierkante Euclidische afstand in de latente ruimte ( $x_k = \|z_i - z_j\|^2$ $x_{k} = ∥ z_{i} - z_{j} ∥^{2}$ ) en de gestandaardiseerde staatruimte ( $y_k = \|q_i - q_j\|^2$ $y_{k} = ∥ q_{i} - q_{j} ∥^{2}$ ).
- Het doel is om de correlatieverlies te minimaliseren tussen de gestandaardiseerde profielen van deze afstanden:
  $L_{corr} = 1 - \frac{1}{K} \sum_{k=1}^K \tilde{x}_k \tilde{y}_k$
- Dit dwingt de latente ruimte tot een organisatie waarbij grotere staatverschillen resulteren in proportioneel grotere latente afstanden.
Integratie: De totale doelstelling combineert de standaard LeWM voorspellingsverlies ( $L_{pred}$ ), de SIGReg anti-collapse term, en de nieuwe correlatie-term:
$L_{SCALE} = L_{pred} + \lambda_{sig} \text{SIGReg}(Z) + \lambda_{corr} L_{corr}$
Zero Inference Overhead (Nul overhead bij inferentie): SCALE werkt uitsluitend als een regularisator tijdens de training. De encoder en de predictor blijven alleen gebaseerd op afbeeldingen tijdens de testfase; er zijn geen hulp-koppen of staatinformatie vereist tijdens het plannen.

Mechanistische Controle (Auxiliary Baseline)

Om onderscheid te maken tussen "informatie coderen" en "geometrie vormen", introduceren de auteurs een Aux baseline. Deze baseline koppelt een training-specifieke regressie-kop aan de latente $z$ om de staat $q$ te voorspellen. Dit zorgt ervoor dat de staat decodeerbaar is, maar laat de latente metriek onbeperkt. De resultaten tonen aan dat een hoge decodeerbaarheid (Aux) niet garandeert dat de planning verbetert, wat bevestigt dat geometrische uitlijning de onderscheidende factor is.

3. Belangrijkste Bijdragen

Identificatie van Metrische Hefboomwerking: Het artikel definieert metrische hefboomwerking formeel als de verwachte bijdrage van een latente richting aan de vierkante Euclidische planningskosten, en bewijst dat dit exact proportioneel is aan de variantie van die richting ( $2\lambda_j$ ). Dit verklaart waarom taakrelevante informatie in richtingen met een lage variantie er niet voor zorgt dat de planning wordt beïnvloed.
Introductie van SCALE: Een nieuwe regularisator die de paarsgewijze latente afstanden direct correleert met de taakrelevante staat-afstanden, wat de latente geometrie effectief "kalibreert" zonder de geleerde encoder te vervangen.
Empirische Validatie: Uitgebreide experimenten over vijf omgevingen (Push-T, Reacher, Cube, Two-Room, PointMaze), drie planning-solvers (CEM, iCEM, MPPI) en vijf rekenbudgetten laten zien dat SCALE consequent beter presteert dan de baseline LeWM.

4. Resultaten

Planningsprestaties: SCALE verbetert het succespercentage ten opzichte van LeWM op alle 15 taak–solver gemiddelden. De winst blijft bestaan over verschillende rekenbudgetten. Bijvoorbeeld, op de Two-Room taak behaalde SCALE een gemiddeld succespercentage van 92,9% vergeleken met 82,9% voor LeWM onder iCEM.
Vergelijking met DINO-WM: Hoewel DINO-WM (dat een vooraf getrainde feature-ruimte gebruikt) sterke uitlijning vertoont in sommige taken, presteert het minder goed in andere (bijv. Push-T). SCALE daarentegen valt nooit onder de prestaties van LeWM op enig taak-solver paar, wat een consistente verbetering aantoont zonder de taakspecifieke biases van een vaste vooraf getrainde encoder over te nemen.
Geometrische Analyse:
- Variantieverdeling: SCALE verschuift de variantie naar de leidende hoofdcomponenten (hoge metrische hefboomwerking) vergeleken met LeWM en de Aux baseline.
- Staat-voorspelbaarheid: De leidende hoofdcomponenten van SCALE zijn significant voorspellender voor de taakrelevante staat dan die van LeWM of Aux.
- Rollout Kwaliteit: SCALE verbetert de Kendall's $\tau$ rangorde-overeenkomst tussen voorspelde terminale embeddings en werkelijke simulator-uitkomsten, wat aangeeft dat de georganiseerde geometrie de voorspellings-rollout overleeft en de kandidaat-selectie verbetert.
Decodeerbaarheid vs. Geometrie: De Aux baseline evenaart of overtreft SCALE in volledige-embedding staat-decodeerbaarheid, maar slaagt er niet in om SCALE's planningswinsten te evenaren. Dit bevestigt dat het simpelweg decodeerbaar maken van de staat onvoldoende is; de staat moet de metriek vormen die door de planner wordt gebruikt.

5. Betekenis en Claims

Het artikel claimt dat planningsprestaties niet alleen afhangen van de aanwezigheid van taakrelevante informatie in de representatie, maar ook van hoe die informatie geometrisch is georganiseerd.

Geometrische Invloed: De auteurs stellen dat voor Euclidische planners de "kwaliteit" van een representatie wordt bepaald door of taakrelevante variaties bezetten in richtingen met een hoge variantie (hoge metrische hefboomwerking).
End-to-End Flexibiliteit: SCALE bereikt de gunstige geometrische eigenschappen die worden waargenomen in modellen met vooraf getrainde features (zoals DINO-WM), terwijl het de flexibiliteit en aanpasbaarheid van een end-to-end geleerde representatie behoudt.
Minimale Overhead: De methode voegt slechts een enkele lichtgewicht regularisator toe tijdens de training en introduceert geen computationele overhead tijdens de planningsfase.

De conclusie van het werk is dat effectieve latente-ruimte planning expliciete uitlijning vereist tussen de latente metriek en de taakrelevante staatruimte, een eigenschap die standaard anti-collapse regularisatie alleen niet garandeert.