Technische Samenvatting: Latente Geometrie Buiten Zoeken

Probleemstelling

Moderne op visie gebaseerde wereldmodellen, met name die gebaseerd op Joint Embedding Predictive Architectures (JEPA), blinken uit in het representeren van observaties als compacte, expressieve latente variëteiten. Er blijft echter een aanzienlijke bottleneck bestaan in doelgerichte besturing: terwijl het wereldmodel toekomstige toestanden efficiënt kan voorspellen, vereist het omzetten van deze voorspellingen in acties doorgaans kostbare online optimalisatie (bijvoorbeeld de Cross-Entropy Methode of CEM).

De auteurs identificeren een "planningstaks" waarbij de rekenkosten van besluitvorming (zoeken naar kandidaat-actiesequenties) de kosten van de voorspelling van het wereldmodel zelf ver overtreffen. Bijvoorbeeld, in het LeWorldModel (LeWM) vereist een enkele planningsstap 9.000 kandidaat-rollouts en 45.000 forward passes van de predictor. De centrale vraag is of deze zoektocht inherent is aan besturing of een artefact van hoe het probleem is geformuleerd. Specifiek: als een latente ruimte voldoende is geregulariseerd (glad en uniform), kan de planningslast dan worden verschoven van online optimalisatie naar geleerde inferentie?

Methodologie: Goal-Conditioned Inverse Dynamics Model (GC-IDM)

Het artikel stelt GC-IDM voor, een methode die iteratieve zoektochten op testtijd vervangt door een lichtgewicht, geleerde inverse dynamische mapping.

Kerninzicht

De auteurs hypothetiseren dat als een latente ruimte is geregulariseerd voor gladheid en uniformiteit (via technieken zoals SIGReg), de mapping van een huidige staat, een doelstaat en een resterende horizon naar de volgende actie een goed gesteld lokaal invers probleem is. In plaats van te zoeken naar een traject, kan de controller de optimale actie direct afleiden.

Architectuur en Training

1. Vaste Backbone: De methode maakt gebruik van een voorgeprogrammeerd LeWorldModel (LeWM) met een bevroren encoder en predictor. De latente ruimte is geregulariseerd om isotroop en glad te zijn.
2. Het Model: GC-IDM is een lichtgewicht Goal-Conditioned Inverse Dynamics Model (een 3-laags MLP met ongeveer 1,5 miljoen parameters).
3. Invoeren:
   • $z_t$: Huidige latente staat (gecodeerd vanuit observatie $o_t$).
   • $z_g$: Doel-late staat (gecodeerd vanuit doelobservatie $o_g$).
   • $h_t$: Resterende horizon (genormaliseerd en sinusvormig gecodeerd).
4. Uitvoer: De volgende actie $\hat{a}_t$.
5. Training: Het model wordt getraind via supervised regressie op de bevroren LeWM-latente ruimten met behulp van dezelfde offline demonstratiedataset die voor LeWM is gebruikt. Het minimaliseert de Mean Squared Error (MSE) tussen de voorspelde actie en de ground-truth actie voor een gegeven $(z_t, z_g, h_t)$-tupel.
6. Inferentie: Op testtijd werkt de controller in een gesloten-lusmodus. Op elk moment wordt de huidige observatie opnieuw gecodeerd, de resterende horizon berekend, en wordt er een enkele forward pass uitgevoerd door de GC-IDM om de actie te bepalen. Er wordt geen iteratieve zoektocht of traject-rollout uitgevoerd.

Belangrijkste Bijdragen

1. GC-IDM Voorstel: Een geleerde planningsmethode voor JEPA-wereldmodellen die besturing herformuleert als een invers probleem in de latente ruimte, waarbij iteratieve zoektochten op testtijd worden vervangen door een enkele forward pass per omgevingsstap.
2. Empirische Superioriteit: Aantonen dat een lichtgewicht invers model een breed scala aan zoekplanners op testtijd (waaronder CEM, iCEM, MPPI en op gradienten gebaseerde methoden) kan overtreffen of evenaren op LeWM-benchmarks, terwijl de planningskosten met 100–130× worden gereduceerd.
3. Validatie van Latente Structuur: Experimentele bevestiging dat het leren van inverse latente dynamiek op goed geregulariseerde representaties snelle, effectieve gesloten-lusplanning mogelijk maakt, wat suggereert dat een groot deel van de structuur die door zoeken wordt hersteld, lokaal al in de representatie is gecodeerd.

Experimentele Resultaten

De auteurs evalueerden GC-IDM in vier benchmark-omgevingen: Two-Room (navigatie), Push-T (contactrijke manipulatie), OGBench-Cube (3D-objectmanipulatie) en Reacher (continue reikbeweging).

• Succespercentages: GC-IDM kwam overeen met of overtrof de prestaties van CEM in 7 van de 8 omgeving-protocolinstellingen (variërend in steekproefgroottes $n=50$ en $n=200$).
  • Opmerkelijke winsten werden waargenomen in OGBench-Cube en Reacher, waar GC-IDM CEM significant overtrof in succespercentage.
  • In Push-T (een taak die lange contactsequenties vereist) was CEM licht superieur bij $n=50$, maar bleef GC-IDM concurrerend en aanzienlijk efficiënter.
• Efficiëntie:
  • Snelheidswinst: GC-IDM bereikte een 100–130× reductie in de planningskosten per beslissing vergeleken met CEM.
  • Wandkloktijd: In de Two-Room-omgeving voltooide GC-IDM episodes in ongeveer 2,9 seconden, tegenover ongeveer 42 seconden voor CEM.
• Trajectkwaliteit: GC-IDM produceerde soepelere trajecten (lagere actie-jerk) en meer directe paden (hogere latente monotonie) dan CEM. Dit wordt toegeschreven aan de gesloten-lus aard van GC-IDM, die de staat op elk moment opnieuw codeert, waardoor foutaccumulatie en discontinuïteiten worden vermeden die inherent zijn aan de open-lus blokbepaling van CEM.
• Vergelijking Oplosserfamilie: Het prestatieverschil gold ook voor andere planners (iCEM, MPPI, GradientSolver), waarbij GC-IDM consistent de hoogste succespercentages behaalde tegen de laagste rekenkosten.

Betekenis en Beweringen

Het artikel betoogt dat de "planningstaks" niet inherent is aan besturing, maar grotendeels een artefact is van hoe besturing wordt geformuleerd wanneer de latente representatie niet voldoende gestructureerd is.

• Verschuiving van Optimalisatie naar Inferentie: De resultaten suggereren dat met voldoende geregulariseerde latente ruimten (bijvoorbeeld via SIGReg) het planningsprobleem kan worden verschoven van online optimalisatie naar geleerde inferentie. De "structuur" die nodig is voor planning, is lokaal gecodeerd in de representatie, waardoor expliciet zoeken voor veel taken overbodig wordt.
• Beperkingen: De auteurs merken op dat de effectiviteit van deze aanpak afneemt bij taken die delicate meerstaps contactplanning vereisen (zoals Push-T bij bepaalde horizons), waarbij lokale inverse herwinning uitdagender wordt. Zij erkennen ook dat de methode afhankelijk is van de kwaliteit van de latente geometrie van het voorgeprogrammeerde wereldmodel.
• Toekomstig Werk: De auteurs suggereren de grenzen van dit regime te verkennen in situaties met sterkere onomkeerbaarheid, langere horizon-contactstructuren en hogere dimensionale actieruimten, evenals het vergelijken van isotrope versus niet-isotrope latente ruimten.

Kortom, het artikel toont aan dat door gebruik te maken van de geometrische eigenschappen van een goed geregulariseerd latent wereldmodel, rekenkundig dure zoekgebaseerde planners kunnen worden vervangen door een eenvoudig, snel en effectief invers dynamisch model, wat fundamenteel de efficiëntieprofiel van modelgebaseerde besturing verandert.