🤖 machine learning

Beyond the Next Step: Variable-Length Latent World Models for Long-Horizon Planning

Dit artikel introduceert Variable-length Latent World Models (VLWMs), een framework dat leert om toekomstige latente toestanden over variabele actiehorizonten te voorspellen via curriculum training, waardoor de cumulatieve fouten van traditionele eenstapmodellen worden overwonnen en de prestaties bij planning op lange termijn aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Tianqi Du, Qi Zhang, Yifei Wang, Yisen Wang

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianqi Du, Qi Zhang, Yifei Wang, Yisen Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een doolhof moet navigeren of een blok naar een specifieke plek moet duwen. Hiervoor heeft de robot een "mentale kaart" of een Wereldmodel nodig. Dit model werkt als een simulator in het brein van de robot, waardoor hij kan voorstellen: "Wat gebeurt er als ik mijn arm deze kant op beweeg?" voordat hij het daadwerkelijk doet.

Lama tijd hadden deze mentale simulaties een groot gebrek: ze waren als een persoon die één stap zet, kijkt waar hij terechtkwam, dan weer een volgende stap zet, en weer kijkt, enzovoort. Als de robot een kleine fout maakte in zijn eerste stap, werd die fout bij elke volgende stap groter en groter. Tegen de tijd dat de robot een lange reis probeerde te plannen, was zijn mentale kaart volledig onjuist. Dit wordt cumulatieve fout (compounding error) genoemd.

Het paper dat je hebt verstrekt, introduceert een nieuw systeem genaamd VLWM (Variable-length Latent World Models). Zo werkt het, eenvoudig uitgelegd:

1. De oude manier: Het "babystapjes"-probleem

Denk aan de oude modellen (zoals het model dat ze LeWM noemen) als een student die leert lopen door slechts één stap tegelijk te oefenen.

De training: De leraar vraagt alleen: "Als je één stap zet, waar ben je dan?"
Het probleem: Wanneer de student probeert een reis van 100 stappen te plannen, moet hij zich 100 opeenvolgende enkelvoudige stappen voorstellen. Als hij bij stap 1 struikelt, is zijn voorspelling voor stap 100 volkomen onjuist. Ze zijn geweldig in korte ritjes, maar verschrikkelijk in lange reizen.

2. De nieuwe manier: De "Leapfrog"-methode (VLWM)

De auteurs stellen een slimmere manier voor om het brein van de robot te trainen. In plaats van alleen één stap te oefenen, leren ze de robot om de toekomst op elke afstand te voorspellen.

Training met variabele lengte: Stel je voor dat een leraar de student vraagt: "Als je 3 stappen zet, waar ben je dan?" Daarna: "Als je 5 stappen zet, waar ben je dan?" En dan: "Als je 10 stappen zet?"
Het resultaat: De robot leert om over de tussenliggende stappen heen te "leapfroggen" (overstappen). Hij hoeft niet elke kleine beweging te berekenen om bij de bestemming te komen; hij kan rechtstreeks naar de bestemming van een sequentie van 5 of 10 stappen springen. Dit voorkomt dat kleine fouten zich opstapelen.

3. De "Action-as-Token"-truc

In de oude modellen waren de acties van de robot (zoals "naar links bewegen" of "naar voren duwen") op een rigide manier verborgen in de wiskunde. Het was alsof je een boek probeerde te lezen waarin de woorden aan elkaar gelijmd waren.

De nieuwe truc: De auteurs behandelen elke actie als een afzonderlijke token (zoals een woord in een zin). Ze mengen de "staat" (waar de robot is) en de "acties" (wat hij doet) tot één lange sequentie, net als een zin.
Waarom dit helpt: Dit stelt de robot in staat om een zin van 3 acties of een zin van 10 acties te lezen zonder de structuur van zijn brein te veranderen. Het is flexibel en natuurlijk.

4. De "Berg beklimmen"-strategie (Curriculum Learning)

Je kunt een baby niet leren om een marathon te rennen op de eerste dag. Als je de robot probeert te leren om direct 100 stappen te voorspellen, raakt hij in de war en faalt hij.

De oplossing: Ze gebruiken een Curriculum.
- Fase 1: De robot leert alleen om 1 stap te voorspellen.
- Fase 2: Het leert om 1 of 2 stappen te voorspellen.
- Fase 3: Het leert 1, 2, 3 of 4 stappen te voorspellen.
- Eindfase: Het kan elke afstand voorspellen tot aan de maximale afstand.
Dit bouwt een sterke fundering van kortetermijnvaardigheden op voordat de complexiteit van langetermijnplanning wordt toegevoegd.

5. Planning: De "Chunking"-strategie

Wanneer de robot daadwerkelijk een probleem moet oplossen (zoals het navigeren door een doolhof), gebruikt hij niet slechts één methode. Hij heeft een gereedschapskist met strategieën:

Vaste sprong: Hij besluit om altijd 5 stappen tegelijk te springen.
Willekeurige sprongen: Hij springt 2 stappen, dan 7, dan 3, willekeurig.
Van groot naar klein: Hij begint met grote sprongen om een algemeen idee van het pad te krijgen, en schakelt dan over naar kleine, precieze sprongen naarmate hij dichter bij het doel komt.
Het voordeel: Omdat de robot getraind is om elke spronggrootte aan te kunnen, kan hij deze strategieën ter plekke combineren om te voorkomen dat hij vastloopt.

De resultaten: Wat hebben ze ontdekt?

De auteurs hebben dit getest op drie verschillende taken:

PushT: Een T-vormig blok duwen.
OGBench-Cube: Een robotarm die een kubus oppakt.
TwoRoom: Een robot die van de ene kamer naar de andere navigeert via een deur.

De bevindingen:

Korte ritten: Het nieuwe systeem presteerde net zo goed als de oude modellen.
Lange ritten: Het nieuwe systeem was significant beter. In de "TwoRoom"-taak, wanneer het doel ver weg was, slaagde het oude systeem slechts in 36% van de gevallen, terwijl het nieuwe systeem in 68% van de gevallen slaagde.
Waarom? Het oude systeem raakte de weg kwijt door de "cumulatieve fouten" van het nemen van één stap tegelijk. Het nieuwe systeem bleef op koers omdat het leerde om het grotere plaatje te zien.

Samenvatting

Het paper betoogt dat om robots goed te laten worden in langetermijnplanning, we ze niet alleen moeten leren om één stap tegelijk te zetten. In plaats daarvan moeten we ze leren om de toekomst te voorspellen in blokken (chunks) van variërende grootte, beginnend met kleine en steeds groter wordend. Deze eenvoudige verandering stelt hen in staat om veel verder vooruit te plannen zonder de weg kwijt te raken.

Technische Samenvatting: Variable-Length Latent World Models voor Long-Horizon Planning

1. Probleemstelling

World models zijn een paradigma geworden voor het bouwen van intelligente agenten door voorspellende modellen van omgevingsdynamiek te leren. Hoewel recente latente world models (bijv. JEPA-stijl architecturen) efficiënte alternatieven bieden voor pixel-ruimte voorspelling door te opereren in compacte representatieruimtes, kampen ze met significante beperkingen bij long-horizon planning.

De primaire problemen die zijn geïdentificeerd zijn:

Compounding Errors (Accumulerende fouten): Bestaande modellen vertrouwen doorgaans op één-stap voorspelling ( $t \to t+1$ ). Voor long-horizon taken moeten deze modellen recursief worden uitgerold, waardoor voorspellingsfouten snel accumuleren, wat leidt tot temporele drift en gedegradeerde trajectkwaliteit.
Training-Planning Mismatch: De meeste modellen worden getraind met een fixed-step voorspellingsdoelstelling. Dit biedt supervisie alleen op een lokale temporele schaal, waardoor het niet expliciet optimaliseert voor lange-afstands consistentie. Bijgevolg sluit het trainingssignaal niet aan bij de aard van long-horizon planning problemen.
Architecturale Rigiditeit: Huidige latente world models integreren acties vaak via specifieke conditioneringsmechanismen (bijv. FiLM-lagen of cross-attention) die acties in verborgen toestanden (hidden states) fuseren. Dit ontwerp koppelt het model nauw aan een vaste actie-layout (meestal één actie per stap), wat het moeilijk maakt om de bijdragen van meerdere acties te ontkoppelen of variabel-lengte actie-sequenties natuurlijk af te handelen.

2. Methodologie: Variable-Length Latent World Models (VLWM)

De auteurs stellen VLWM voor, een framework dat ontworpen is om latente omgevingsdynamiek te leren over meerdere voorspellingshorizons binnen één enkel model.

2.1 Variable-Length Supervision

In plaats van supervisie te beperken tot de onmiddellijk volgende stap, traint VLWM een enkele voorspeller $g_\phi$ om de latente toestand op een willekeurige toekomstige offset $k \ge 1$ te voorspellen. De trainingsdoelstelling is:
$\mathcal{L}_{VLWM} = \mathbb{E}_{t, k \sim p(k)} \left[ \| g_\phi(s_t, a_{t:t+k-1}) - \bar{g}(\bar{f}_{\bar{\theta}}(o_{t+k})) \|_2^2 \right]$
waarbij $s_t$ de huidige latente toestand is, $a_{t:t+k-1}$ een variabele-lengte actie-segment van lengte $k$ , en het doel de latente toestand op tijdstip $t+k$ is. Dit verenigt kortetermijn-dynamiek en lange-afstand semantische consistentie onder één enkele doelstelling.

2.2 Action-as-Token Formulering

Om variabele-lengte actie-sequenties inherent te ondersteunen, wijkt VLWM af van layer-interne conditionering. In plaats daarvan behandelt het actie-embeddings als first-class transformer tokens.

Input Sequentie: Het model ontvangt een sequentie $X$ die een geschiedenis van state tokens bevat, gevolgd door een variabel aantal actie tokens ( $e_t, \dots, e_{t+k-1}$ ).
Mechanisme: State en actie tokens worden onderscheiden door additive type embeddings. De transformer is causaal, en de voorspelde latente $\hat{s}_{t+k}$ wordt direct afgelezen van de output van de laatste token in de sequentie.
Voordeel: Dit elimineert de noodzaak voor vooraf gedefinieerde actie-conditioneringsinterfaces, waardoor het model kan conditioneren op een willekeurig aantal voorgaande acties zonder architecturale wijzigingen.

2.3 Curriculum Training Strategie

Direct trainen met grote voorspellingshorizons vanaf het begin is onstabiel vanwege ruisige gradiënten en optimalatiefalen. VLWM hanteert een curriculum leerstrategie:

Training wordt verdeeld in fasen. In fase $j$ wordt de horizon $k$ uniform gesampled uit $\{1, 2, \dots, j\}$ .
Het model begint met $k=1$ en breidt het bereik van gesamplede horizons progressief uit tot een maximale $K_{max}$ .
Dit zorgt ervoor dat lange-afstand semantiek wordt opgebouwd op basis van goed geleerde kort-horizon dynamiek, wat de optimalisatie stabiliseert.

2.4 Planning met Variable-Length Jumps

Tijdens inferentie wordt de planning horizon $H$ gepartitioneerd in aaneengesloten chunks $H = k_1 + k_2 + \dots + k_M$ . De planner evalueert de rollout als een sequentie van variable-length latente jumps in plaats van recursieve één-stap voorspellingen. Het papier stelt drie planning strategieën voor:

P1 (Fixed maar Taak-Adaptief): Gebruikt een constante chunk grootte $k^*$ die per taak wordt geselecteerd (klein voor fijnmazige controle, groot voor long-horizon doelen).
P2 (Random-Horizon Sampling): Samplet chunk groottes uniform uit $\{1, \dots, K_{max}\}$ bij elke boundary.
P3 (Long-to-Short): Begint met grote chunks om de lange-afstand structuur te dekken en verkleint de chunk groottes progressief richting het einde om de fijnmazige dynamiek te verfijnen (een coarse-to-fine zoektocht).

3. Belangrijkste Bijdragen

Verenigd Framework: Introductie van VLWM, een framework dat latente dynamiek over meerdere horizons leert en van nature variabele-lengte actie-sequenties ondersteunt via een "action-as-token" formulering.
Stabiele Training & Planning: Voorstel van een schaalbare curriculum leerstrategie voor stabiele variabele-lengte training en een suite van planning algoritmen die verschillende voorspellingshorizons adaptief benutten binnen één enkel model.
Empirische Validatie: Demonstratie dat VLWM consequent beter presteert dan fixed-horizon world models (specifiek LeWM) op long-horizon planning benchmarks, met analyses die verbeterde lange-afstand voorspelbaarheid en downstream controleerbaarheid aantonen.

4. Experimentele Resultaten

De auteurs evalueerden VLWM op drie goal-conditioned planning omgevingen: PushT (2D manipulatie), OGBench-Cube (3D robotische manipulatie) en TwoRoom (2D navigatie).

Prestatiewinst: VLWM behaalde een gemiddelde verbetering van 13% ten opzichte van de state-of-the-art LeWM over de datasets. De winst was het meest significant in long-horizon regimes (bijv. op TwoRoom met een horizon van 100 stappen, verbeterde de succesratio van 36% met LeWM naar 68% met VLWM).
Foutmitigatie: Visualisaties toonden aan dat terwijl de recursieve rollouts van LeWM dreven en faalden om omgevingsgrenzen te passeren (bijv. deuren), de chunked variable-length jumps van VLWM dicht bij de ground-truth trajecten bleven.
Representatiekwaliteit: Linear probe evaluaties op bevroren encoders toonden aan dat VLWM latents produceerde met een hogere Pearson correlatie voor fysieke eigenschappen (bijv. blokhoek) vergeleken met LeWM, wat suggereert dat het langzame semantische staatveranderingen beter vastlegt.
Noodzaak van Curriculum: Ablatie studies bevestigden dat de curriculum training strategie essentieel is voor stabiele variabele-lengte training, vooral op taken die uitgebreide planning vereisen.

5. Betekenis en Claims

Het artikel claimt dat VLWM een eenvoudig maar effectief paradigma biedt voor het verbeteren van long-horizon voorspelling en planning in latente world models.

Voorbij Engineering: De auteurs argumenteren dat de strijd met long-horizon planning niet louter een engineering probleem is, maar een gevolg van trainingsdoelstellingen. Door over te stappen van fixed-step naar variable-length supervisie, brengt VLWM het trainingssignaal in lijn met de vereisten van long-horizon redeneren.
Verenigde Interface: Het framework omvat een reeks fixed- en hiërarchische-horizon strategieën binnen één getraind model, waardoor de noodzaak voor aparte high-level en low-level policies of hulpmodules wordt geëlimineerd.
Toekomstige Richting: De resultaten suggeren dat variable-length supervisie een fundamentele stap is naar robuustere planning algoritmen, waarbij een flexibele interface wordt geboden waar planners de voorspellingsgranulariteit kunnen aanpassen aan de specifieke behoeften van de taak.