💻 computer science

GlanceWAM: Sparse Test-Time Imagination for World-Action Models

GlanceWAM lost de trade-off tussen latentie en succes in robotleren op te lossen door asynchrone, achtergrondvisuele verbeelding te ontkoppelen van real-time controle binnen een enkele video DiT, waarbij het de state-of-the-art prestaties bereikt op de RoboCasa- en LIBERO-benchmarks terwijl het 24 keer sneller wordt uitgevoerd dan synchrone baselines.

Oorspronkelijke auteurs: Linhan Wang, Zijian An, Mingyuan Zhang, Chen Dai, Yi Xu, Can Cui, Zichong Yang, Yinlin Chen, Lifeng Zhou, Chang-Tien Lu

Gepubliceerd 2026-08-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Linhan Wang, Zijian An, Mingyuan Zhang, Chen Dai, Yi Xu, Can Cui, Zichong Yang, Yinlin Chen, Lifeng Zhou, Chang-Tien Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots die zich door de echte wereld bewegen, hebben meer nodig dan alleen een lijst met instructies; ze moeten begrijpen hoe hun acties de scène om hen heen zullen veranderen. Als een robot naar een kopje reikt, moet hij anticiperen op het feit dat het kopje zal bewegen, dat de tafel misschien zal wankelen en dat het pad naar de plank zal verschuiven. Jarenlang hebben wetenschappers geprobeerd machines dit soort vooruitziendheid te geven door ze te leren de toekomst voor te stellen. Ze gebruiken krachtige computermodellen die video kunnen genereren, waardoor de robot in essentie kan "dromen" over wat er hierna zal gebeuren voordat hij daadwerkelijk beweegt. De hoop is dat de robot door een preview van de toekomst te zien, beter kan plannen en fouten kan vermijden. Echter, een groot probleem heeft dit idee tegengehouden: het genereren van deze videopreviews duurt te lang. Wanneer een robot probeert een vallend object te vangen of een vloeistof in te schenken, moet hij beslissingen nemen in milliseconden. Als de computer secondenlang bezig is met het dromen over een toekomstige scène, is de robot al te laat om te handelen. Dit creëerde een moeilijke keuze voor ingenieurs: of de robot laten vooruitdenken maar te traag laten reageren, of hem direct laten reageren maar zijn vermogen om de toekomst te zien ontnemen, waardoor hij blind moet gokken.

Een team van onderzoekers heeft een manier gevonden om deze patstelling te doorbreken. Ze ontwikkelden een nieuw systeem genaamd GlanceWAM, dat een robot in staat stelt om zijn visie op de toekomst te behouden en toch met realtime snelheden te bewegen. Het cruciale inzicht was het besef dat de robot niet constant een videofragment van de toekomst, seconde per seconde, nodig heeft om zijn werk te doen. In plaats daarvan heeft hij alleen een duidelijk beeld nodig van waar hij een paar seconden verderop naartoe gaat. De onderzoekers ontwierpen een systeem waarbij het "dromende" deel en het "handelende" deel op verschillende snelheden en op verschillende paden plaatsvinden. Terwijl het controlesysteem van de robot elke 48 milliseconden snelle beslissingen neemt om zijn bewegingen vloeiend te houden, draait er op de achtergrond een apart, trager proces. Dit achtergrondproces werpt slechts één keer elke drie seconden een stille blik vooruit om een enkel frame te verbeelden van hoe de wereld er in de toekomst uit zal zien. Dit verbeelde frame is geen volledige video; het is een compacte, verborgen representatie van de bestemming.

De magie van deze aanpak ligt in de manier waarop de twee delen met elkaar communiceren. Het controlesysteem van de robot wacht nooit tot de achtergronddromer klaar is. In plaats daarvan grijpt het controlesysteem simpelweg de meest recent verbeelde bestemming aan en gebruikt deze om de volgende paar bewegingen te sturen. Omdat de robot werkt met deze verborgen, vereenvoudigde versie van de toekomst in plaats van een volledige video, kan hij de informatie bijna onmiddellijk verwerken. De onderzoekers testten dit systeem op een reeks van vierentwintig complexe keuken-taken, zoals het openen van lades, het draaien van knoppen en het verplaatsen van objecten tussen aanrechtbladen. In deze tests slaagde het nieuwe systeem in 72,2% van de gevallen. Dit is een significante verbetering ten opzichte van eerdere methoden die probeerden video en acties tegelijkertijd te genereren, die slechts in 67,1% van de gevallen slaagden, en veel beter dan systemen die het visualiseren van de toekomst geheel opgaven, die slechts in 64,4% van de gevallen slaagden. Het systeem presteerde ook uitzonderlijk goed op een andere standaard testsuite, waarbij het een succespercentage van 99,0% behaalde.

Wat dit resultaat bijzonder opmerkelijk maakt, is dat het systeem dit hoge niveau van succes bereikt zonder snelheid op te offeren. De onderzoekers maten hoe lang het de robot kostte om zijn volgende zet te bepalen, en het nieuwe systeem deed er slechts 4ms voor per beslissing. Dit is vierentwintig keer sneller dan de voorheen beste methoden die zowel het denken als het handelen simultaan probeerden uit te voeren. Het systeem werkt zo goed omdat het getraind is om om te gaan met het feit dat zijn "blik" op de toekomst bij het gebruik al iets verouderd kan zijn. Net zoals een bestuurder een kaart gebruikt die een minuut geleden is getekend, leert de robot zijn acties aan te passen op basis van hoeveel tijd er is verstreken sinds de laatste blik op de toekomst. De onderzoekers bevestigden dat de robot deze toekomstige blikken daadwerkelijk gebruikt om zijn beslissingen te nemen; wanneer zij de informatie over de toekomst kunstmatig verwijderden, daalde de prestatie van de robot aanzienlijk, wat bewees dat de vooruitziendheid niet slechts een passief kenmerk was, maar een cruciale gids voor zijn acties.

Dit werk suggereert dat de flessenhals in robotintelligentie niet de behoefte aan meer rekenkracht was, maar de manier waarop die kracht werd gebruikt. Door het trage, bedachtzame proces van het voorstellen van de toekomst te scheiden van het snelle, urgente proces van het besturen van het lichaam, creëerden de onderzoekers een systeem dat zowel snel als wijs is. De robot hoeft niet elk enkel frame van de toekomst te zien om te weten waar hij heen moet; hij heeft alleen een heldere, tijdige snapshot van de bestemming nodig. Deze aanpak biedt een praktisch pad vooruit om robots te bouwen die complexe, veranderende omgevingen kunnen navigeren met dezelfde vloeiendheid en vooruitziendheid die mensen gebruiken, terwijl ze snel genoeg reageren om het tempo van de echte wereld bij te houden.

Technische Samenvatting: GlanceWAM – Sparse Test-Time Imaginatie voor World-Action Modellen

1. Probleemstelling

Bestaande World-Action Modellen (WAMs) worden geconfronteerd met een fundamenteel "snelheid–succes dilemma" in robotmanipulatie. Huidige benaderingen koppelen toekomstige visuele voorspelling (imaginatie) doorgaans synchroon aan hoogfrequente actie-decodering. Deze nauwe koppeling brengt twee kritieke kosten met zich mee:

Prohibitieve Latentie: Het genereren van dichte, multi-stap videoframes op de controlerate (bijv. elke 48 ms) vereist dure diffusie-sampling, wat leidt tot inferentie-latenties van 1,1–3,8 seconden per chunk, wat het budget voor real-time controle overschrijdt.
Horizon Degeneratie: Om snelheid te behouden, beperken modellen de voorspelling vaak tot de korte duur van een actie-chunk (bijv. 0,8 s). Deze bijna statische horizon faalt in het vastleggen van betekenisvolle scènedynamiek, waardoor wereldmodellering vervalt in triviale observatie-reconstructie.

Daartegenover staan benaderingen die de visuele imaginatie tijdens de test-time opgeven om real-time snelheden te bereiken, wat de downstream policies berooft van expliciete visuele vooruitziendheid, wat hun vermogen om taken met een lange horizon te plannen beperkt. Het artikel stelt dat dit dilemma een artefact is van synchrone koppeling in plaats van een intrinsieke beperking van visuele vooruitziendheid.

2. Methodologie: GlanceWAM

GlanceWAM introduceert een framework dat visuele imaginatie ontkoppelt van real-time controle binnen een enkele verenigde Video Diffusion Transformer (DiT). De kerninnovatie is asynchrone, sparse lookahead generatie uitgevoerd buiten het kritieke controlepad.

2.1 Dual-Timescale Architectuur

Het systeem werkt op twee verschillende tijdschalen:

Slow Clock (Imagination): Een asynchrone "proposer" werpt een blik vooruit (glance ahead) ongeveer elke 3 seconden ( $H_f \approx 3,0$ s) om een enkel latent lookahead frame te genereren dat een verre toekomstige staat representeert. Deze generatie vindt plaats op de achtergrond (bijv. op parallelle workers) en blokkeert de control loop niet.
Fast Clock (Control): Een actie-head decodeert actie-chunks op de controlerate (48 ms per chunk) puur in de latent space. Het consumeert de vooraf gegenereerde lookahead latent direct, zonder te decoderen naar ruwe RGB-pixels, wat zorgt voor lage-latentie uitvoering.

2.2 Unified Latent World-Action Architectuur

Het model maakt gebruik van een gedeelde DiT-backbone en een flow-matching actie-head.

Three-Role Training Window: Trainingssequenties bevatten drie verschillende visuele inputs:
1. Observatie Historie ( $o_{\le t}$ ): Schone visuele context.
2. Genoisde Toekomstige Target ( $x_{t+H_f}$ ): Superviseert de generatieve forward dynamics van de video-backbone.
3. Clean Lookahead Condition ( $x_{t+u}$ ): Een teacher-forced visuele gids op een gerandomiseerde tussenliggende offset $u \sim U(0, H_f]$ , gebruikt om de actie-policy te conditioneren.
Non-Interfering Attention Mask: Om informatielekkage te voorkomen (waarbij toekomstige tokens observatie-encodings besmetten of waar generatieve shortcuts vertrouwen op het kopiëren van de lookahead), implementeren de auteurs een gestructureerde 3-class prefix-LM mask. Dit zorgt ervoor dat observatie-queries alleen naar observaties kijken, toekomstige queries kijken naar observaties en toekomstige targets (maar niet naar de lookahead), en lookahead queries alleen naar zichzelf en observaties kijken.
Two-Pass Causal Encoding: Er wordt een two-pass VAE encoding strategie toegepast om de lookahead latent strikt te isoleren van toekomstige informatie tijdens compressie, wat de causale integriteit waarborgt.

2.3 Staleness-Robust Co-Training

Omdat de lookahead eens elke 3 seconden wordt gegenereerd maar meerdere 0,8-seconden actie-chunks wordt hergebruikt, neemt de temporele offset ( $\Delta$ ) tussen de lookahead en de huidige actie in de loop van de tijd af.

Randomized Offset Training: Het model wordt getraind met expliciete temporele conditionering, waarbij de actie-head de exacte offset $\Delta$ ontvangt via sinusvormige tijd-embeddings. Dit leert de policy om visuele vooruitziendheid te volgen, ongeacht de "staleness" van de gids.
Multi-Layer Visual Extraction: De actie-head voert cross-attention uit op geconcateneerde representaties die gepooled zijn uit vier uniform verdeelde transformer-lagen (5, 12, 19, 26), waarbij zowel laag-niveau ruimtelijke details als hoog-niveau semantische bestemmingen worden gecombineerd.

2.4 Asynchronous Latent-Space Inference

Tijdens de test-time wordt de lookahead latent ( $\hat{z}_{la}$ ) gegenereerd via een ODE flow sampler en blijft volledig binnen de genormaliseerde latent space van de causale VAE. Het wordt nooit gedecodeerd naar RGB-pixels. De actie-head conditioneert op deze latent token en de vervallende offset $\Delta$ , waardoor de overhead van de video-sampling wordt geamortiseerd over meerdere control cycles (ongeveer 4 chunks per lookahead).

3. Belangrijkste Resultaten

Geëvalueerd op de RoboCasa kitchen benchmark (24 taken) en de LIBERO suite, demonstreert GlanceWAM superieur prestatievermogen en efficiëntie:

RoboCasa Kitchen: Behaalt een gemiddeld succespercentage van 72,2% met slechts 50 demonstraties per taak. Dit overtreft de synchrone Cosmos Policy (67,1%) en de imagination-free co-training (64,4%).
LIBERO: Bereikt een gemiddeld succes van 99,0% over vier suites, wat overeenkomt met de verzadiging van top-presterende methoden.
Inference Snelheid: Voert actie-decodering uit in 48 ms per chunk op een enkele NVIDIA A100 GPU. Dit is 24× sneller dan synchrone baselines (die variëren van 1133 ms tot 3812 ms) terwijl het hogere of vergelijkbare succespercentages behoudt.
Efficiëntie: Het model convergeert snel, waarbij slechts 10k trainingsstappen nodig zijn op RoboCasa en 15k op LIBERO, aanzienlijk minder dan typische baselines (60k–100k+).
Robuustheid: De prestaties blijven stabiel (71,2%–71,5%) zelfs wanneer de lookahead sampler wordt teruggebracht van 10 stappen naar 1 stap, wat aangeeft dat de policy vertrouwt op laag-frequente ruimtelijke lay-out in plaats van hoog-frequente visuele getrouwheid.

4. Betekenis en Claims

Het artikel claimt dat GlanceWAM het snelheid–succes dilemma in world-action modellen oplost door aan te tonen dat:

Visuele Vooruitziendheid Niet Inherent Traag Is: Door de tijdschalen van imaginatie en uitvoering te ontkoppelen, kunnen modellen real-time reactiviteit bereiken zonder het voordeel van planning met een lange horizon op te offeren.
Latent Space Voldoende Is: Expliciete visuele vooruitziendheid vereist geen decodering naar ruwe pixels; conditionering direct op latente representaties is voldoende voor hoogwaardige controle en elimineert aanzienlijke computationele overhead.
Asynchrone Executie Haalbaar Is: Lookahead conditionering blijft causaal belastend en robuust, zelfs wanneer de visuele gids "stale" is (seconden eerder gegenereerd), mits de policy getraind is om met variërende temporele offsets om te gaan.
Sparse Imaginatie Effectief Is: Het genereren van een enkel lookahead frame enkele seconden in de toekomst is effectiever voor taaksucces dan dichte, kort-horizon video-generatie, omdat het de ruimtelijke bestemming ("waarheen te gaan") biedt die vereist is voor manipulatie.

Dit werk vestigt een nieuwe state-of-the-art voor world-action modellen, door te bewijzen dat sparse, asynchrone visuele vooruitziendheid zowel een hoge taaksucces als real-time inferentie-snelheden kan leveren.