💻 computer science

Adaptive-WAM: Quality-Guided Early-Exit Planning from Intermediate Video-Diffusion Features

Adaptive-WAM is een kwaliteitgestuurd early-exit planningsframework dat gebruikmaakt van intermediaire kenmerken uit videodiffusiemodellen om computationele diepte dynamisch toe te wijzen, waardoor state-of-the-art prestaties voor autonoom rijden worden bereikt met aanzienlijk lagere latentie door iteratieve videogeneratie over te slaan.

Oorspronkelijke auteurs: Sining Ang, Yuguang Yang, Yan Wang

Gepubliceerd 2026-08-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sining Ang, Yuguang Yang, Yan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een auto te besturen. Om dit veilig te doen, moet de robot niet alleen begrijpen wat er op dit moment gebeurt, maar ook hoe de wereld zich in de volgende paar seconden zal veranderen. Zal die voetganger de stoeprand afstappen? Zal de auto voor hem plotseling remmen? Een lange tijd hebben wetenschappers geprobeerd dit op te lossen door "wereldmodellen" te bouwen—massieve AI-hersenen die proberen de hele toekomst te visualiseren, frame voor frame, als een filmregisseur die een scène filmt voordat deze plaatsvindt. Deze modellen zijn ongelooflijk krachtig, maar ze zijn ook zwaar en traag. Het is alsof je een chef-kok vraagt om een volledig driegangenmenu te bereiden, alleen maar om te beslissen of hij een snufje zout aan de soep moet toevoegen. De robot moet wachten tot de hele "film" van de toekomst is gegenereerd voordat hij een enkele rijbeslissing kan nemen, wat te veel tijd en computerkracht kost voor een echte auto die met snelheden op de snelweg rijdt.

Dit brengt ons bij een grote vraag: moeten we echt de hele film bekijken om te weten wat we moeten doen? Misschien kan de robot de juiste zet bepalen door slechts een blik te werpen op de eerste paar seconden van de "toekomstfilm", of door even in het midden van het script te gluren. Dit is de kern van het nieuwe onderzoek genaamd Adaptive-WAM. De onderzoekers wilden kijken of ze deze enorme, trage AI-modellen sneller en slimmer konden maken door ze "vroegtijdig te laten stoppen" (early exit). In plaats van de computer te dwingen elke stap van de berekening uit te voeren, hebben ze een systeem gebouwd dat de kwaliteit van het antwoord controleert terwijl het proces loopt. Als het antwoord goed genoeg is, stopt de computer en rijdt hij. Als dat niet zo is, werkt hij door. Het is als een student die een toets maakt en beseft dat hij het antwoord op vraag vijf al weet, dus hoeft hij niet de rest van het hoofdstuk te lezen voordat hij het opschrijft.

Het artikel, getiteld "Adaptive-WAM: Quality-Guided Early-Exit Planning from Intermediate Video-Diffusion Features", pakt dit aan door te kijken naar hoe deze video-genererende AI-modellen werken. Deze modellen breken de toekomst meestal op in kleine stappen, waarbij ze steeds meer detail toevoegen, net zoals een kunstenaar een ruwe schets maakt en daarna langzaam de kleuren invult. De onderzoekers ontdekten iets verrassends: de AI hoeft de hele schildering niet af te maken om te weten waar de auto heen moet gaan. Ze ontdekten dat de "middelste lagen" van het AI-brein—waar de AI de scène al begrijpt maar de definitieve pixels nog niet heeft gerenderd—al voldoende informatie bevatten om een veilige rijbeslissing te nemen.

Om dit te testen, bouwde het team een nieuwe planner met behulp van een enorm videomodel genaamd Wan2.2. Stel je dit model voor als een diepe tunnel met veel kamers. Normaal gesproken moet een auto door elke kamer van begin tot eind lopen om het antwoord te krijgen. De onderzoekers hebben echter op verschillende punten in de tunnel "uitgangsdeuren" geïnstalleerd (specifiek op de lagen 5, 9, 15, 18, 22 en 30). Bij elke uitgang kijkt een kleine, snelle "rechter" naar het traject (het pad dat de auto tot nu toe heeft gepland) dat de AI tot nu toe heeft gegenereerd. Deze rechter vraagt: "Is dit pad goed genoeg?" Als het antwoord ja is, verlaat de auto de tunnel onmiddellijk en rijdt door. Als het antwoord nee is, loopt de auto verder de diepte van de tunnel in om een beter antwoord te krijgen.

De resultaten waren opwindend. De onderzoekers ontdekten dat de kwaliteit van de rijbeslissing niet veel afhing van hoe "ruizig" of wazig de toekomstige video was, maar wel sterk afhing van hoe diep de AI keek. Ze ontdekten dat het beste enkelvoudige pad vaak voortkwam uit het midden van de tunnel, en niet uit het uiterste einde. Door hun slimme "exitstrategie" te gebruiken, kon de nieuwe planner beslissingen nemen in ongeveer 170 milliseconden op een krachtige computerchip (een A100). Dit is ongeveer 10% sneller dan een standaard planner die altijd op een vast middelpunt stopt, en bijna 47% sneller dan een planner die erop staat om de hele tunnel door te lopen. Nog beter: het systeem werd niet alleen sneller, maar werd ook iets nauwkeuriger, met een score van 90,79 op een standaard rijtest genaamd NAVSIM, waarmee het de versies met vaste diepte versloeg.

Het artikel toonde ook aan dat deze "slimme exit"-truc werkt wanneer de robot in een compleet andere stad rijdt zonder extra training. Bij tests op de nuScenes-dataset (een andere collectie rijscènes) maakte het systeem zeer weinig fouten, met een gemiddelde fout van slechts 0,88 meter en een botsingspercentage van slechts 0,08%. Dit suggereert dat de AI een algemeen begrip van het rijden heeft geleerd dat niet gebonden is aan één specifieke dataset.

Cruciaal is dat de onderzoekers hebben uitgesloten dat de computer de volledige, hoogresolutie video van de toekomst moet genereren om een beslissing te nemen. Ze bewezen dat de extra tijd die wordt besteed aan het renderen van de laatste "filmframes" een verspilde inspanning is voor het doel van de planning. Ze toonden ook aan dat het simpelweg bevriezen van de AI-hersenen en alleen het trainen van de uitgangsdeuren niet genoeg was; het hele systeem moest samen worden afgestemd om optimaal te werken.

Kortom, Adaptive-WAM is een slimme manier om super-slimme AI-chauffeurs veel efficiënter te maken. Het leert de robot om op zijn intuïtie te vertrouwen wanneer het antwoord duidelijk is, in plaats van tijd te verspillen aan het dubbelchecken van alles. Door de AI eerder te laten stoppen wanneer het plan goed is, kan de auto sneller reageren op de echte wereld, wat ons een stap dichter bij zelfrijdende auto's brengt die zowel veilig als snel zijn. De code voor dit systeem zal worden vrijgegeven, zodat anderen kunnen voortbouwen op dit idee van "kwaliteitsgestuurde vroege exits" om nog slimmere machines te maken.

Technische Samenvatting: Adaptive-WAM

Probleemstelling

Grote video-diffusiemodellen bieden rijke spatiotemporele priors voor autonome rijplanning, maar bestaande World-Action Models (WAMs) dragen vaak de volledige computationele kosten van iteratieve toekomstige video-generatie en VAE-decodering met zich mee, zelfs wanneer de implementatie alleen een laagdimensionale ego-trajectorie vereist. Huidige benaderingen koppelen voorspelling en actie meestal via een vooraf bepaalde backbone-route of een iteratieve denoising-loop, wat onnodige rigiditeit creëert. De kernvraag die wordt geadresseerd is: Hoeveel van een video-diffusiemodel moet worden uitgevoerd om een betrouwbare rijbeslissing te nemen?

De auteurs identificeren twee vaak verwarde assen:

Video Diffusion Timestep: Controleert het latentie-ruisniveau.
DiT Diepte: Controleert het aantal geëvalueerde transformer-blokken.

Voorlopige analyse op NAVSIM laat zien dat de planningsprestaties grotendeels ongevoelig zijn voor video-ruisniveaus (timesteps), maar aanzienlijke diepte-afhankelijke variatie vertonen. Bovendien kunnen sterke trajectorieën worden gedecodeerd uit intermediaire lagen, en lossen verschillende dieptes gedeeltelijk overlappende sets scenario's op, wat suggereert dat een uitvoering met een vaste diepte suboptimaal is.

Methodologie: Adaptive-WAM

Het artikel stelt Adaptive-WAM voor, een kwaliteit-bewuste, multi-exit planner gebouwd op een Wan2.2-TI2V-5B backbone. De architectuur ontkoppelt het video-generatieproces van het planningbeslissingsproces tijdens de inferentie.

Architectuur en Inferentie-flow

Backbone: Het model maakt gebruik van de Wan2.2 video DiT. Tijdens de inferentie verwerkt het de huidige front-camera afbeelding en een tekstbeschrijving (afgeleid van kaartmetadata, ego-snelheid en manoeuvre-historie) bij een vaste video-ruisindex ( $s^* = 17$ ). Het verbruikt niet de grondwaarheid van toekomstige video's en voert tijdens de implementatie geen volledige iteratieve denoising-loops uit.
Multi-Exit Trajectory Heads: Zes intermediaire DiT-blokken (lagen 5, 9, 15, 18, 22 en 30) dienen als exit-punten. Bij elke exit $\ell$ zet een projectielaag de verborgen representatie $h_\ell$ om in trajectorie-conditionerende tokens, die worden ingevoerd in een onafhankelijke ReCogDrive-stijl 5-staps trajectorie-diffusie head. Elke head genereert een enkele kandidaat-trajectorie.
Kwaliteit-gestuurde Adaptieve Routing:
- Een lichtgewicht trajectorie-kwaliteitsscorer (gebaseerd op een gefinetuned DINOv2-Small encoder en een MLP) evalueert elke gedecodeerde trajectorie.
- De scorer voorspelt componenten van de planningsmetriek (NC, DAC, DDC, TTC, EP, Comfort) in plaats van een strikte totale ordening, in de wetenschap dat planningsbeloningen vaak verzadigd en aan elkaar gekoppeld zijn.
- Beslissingslogica: Het systeem houdt een pool van gedecodeerde trajectorieën bij. Als de hoogste voorspelde kwaliteitsscore ( $\hat{q}$ ) van de geprobeerde exits de drempelwaarde $\eta$ overschrijdt, wordt de inferentie beëindigd en wordt de beste cumulatieve trajectorie geretourneerd. Zo niet, dan vervolgt het systeem de uitvoering vanaf de gecachte verborgen staat naar de volgende diepere exit.
- Als geen enkele exit aan de drempelwaarde voldoet, valt het systeem terug op de hoogst scorende trajectorie van de laatste exit (laag 30).

Trainingsstrategie

Video-domein Adaptatie: De Wan-backbone wordt aangepast met behulp van LoRA (Low-Rank Adaptation), terwijl de trajectorie-projecties en heads volledig worden geoptimaliseerd. De doelstelling combineert de natuurlijke video-diffusieverlies met trajectorie-diffusieverliezen voor alle exits.
Scorer Training: De scorer wordt gefinetuned op gegenereerde trajectorieën met soft-label binary cross-entropy tegen door evaluatoren verstrekte component-targets. Het werkt met gradiënt-isolatie van de actor om te voorkomen dat de trajectorie-distributie wordt gewijzigd.
Planner-Only RL: Na imitatieleren wordt de backbone en de scorer bevroren. De trajectorie-heads worden verfijnd met DiffGRPO (een planner-only reinforcement learning methode), waarbij de volledere 5-staps denoising-keten als een enkele actie wordt behandeld.

Belangrijkste Bijdragen

Systematische Diagnose: Het artikel demonstreert dat de rijplanningsprestaties robuust zijn tegen video-ruisniveaus, maar zeer gevoelig zijn voor de DiT-diepte. Het onthult dat intermediaire features een sterke plannings-substraat bieden en dat verschillende dieptes onderscheidende, niet-redundante sets scenario's oplossen.
Kwaliteit-bewuste Multi-Exit Architectuur: Adaptive-WAM introduceert een mechanisme om de backbone-diepte dynamisch toe te wijzen op basis van de kwaliteit van de momenteel gedecodeerde planning, waardoor de noodzaak voor volledige video-generatie of uitvoering met een vaste diepte wordt vermeden.
Efficiëntie-Prestatie Afweging: De methode bereikt state-of-the-art planningsprestaties onder vergeleken world-model planners, terwijl de inferentie-latentie aanzienlijk wordt verminderd door onnodige berekeningen voor "gemakkelijke" scenario's over te slaan.

Experimentele Resultaten

NAVSIM v1 en v2

NAVISM v1: De adaptieve single-trajectory planner bereikt 90.8 PDMS. Een variant met een vaste exit met 64 voorstellen (gebruikmakend van blok 22) bereikt 92.6 PDMS, waarmee het de DriveVA baseline overtreft.
NAVISM v2: Adaptive-WAM bereikt 89.9 EPDMS, wat de best gerapporteerde resultaten oplevert onder vergeleken front-view video world-model planners.
Latentie: Op een A100 GPU bedraagt de end-to-end latentie van de adaptieve planner gemiddeld 170 ms. Dit is ongeveer 10% sneller dan een fixed block-15 planner (190 ms) en 47% sneller dan een fixed full-depth planner (320 ms).

Zero-Shot Transfer

Zonder doeldomein-fijnstemming transfeert het model naar nuScenes, waarbij een gemiddelde L2-fout van 0.88 m en een botsingspercentage van 0.08% wordt behaald. Deze prestatie is competitief met DriveVA (0.84 m, 0.06%), maar met substantieel lagere inferentiekosten, aangezien Adaptive-WAM volledige video-generatie vermijdt.

Ablatie-studies

Backbone: Gezamenlijke LoRA-training van de Wan-backbone is cruciaal; het bevriezen van de backbone of het gebruik van aparte caching herstelt slechts een fractie van de prestaties.
Scorer: DINOv2-Small is voldoende voor de kwaliteitsscorer; het gebruik van de Wan-backbone features voor scoring biedt een verwaarloosbare winst (0.03 punten) tegen een veel hogere computationele kost.
Diepte: Hoewel blok 15 over het algemeen de sterkste vaste exit is, presteert het adaptieve beleid beter door dynamisch diepere lagen te selecteren voor moeilijke scenario's.

Betekenis en Claims

Het artikel claimt dat intermediaire video-DiT features robuuste planningsrepresentaties zijn die geen volledige beeld-synthese vereisen om effectief te zijn. Door multi-diepte trajectorie-heads te koppelen aan een tie-aware kwaliteitcontroller, demonstreert Adaptive-WAM een praktische weg van grote generatieve world models naar efficiënte, real-time rij-policies.

De auteurs benadrukken dat hun aanpak:

De iteratieve classifier-free denoising loop en VAE-decodering vereist voor toekomstige video-synthese vermijdt.
Computationele middelen dynamisch toewijst op basis van trajectorie-kwaliteit in plaats van zich vast te leggen op een enkele readout-diepte.
State-of-the-art resultaten bereikt op NAVSIM, terwijl het een lagere gemiddelde latentie behoudt dan de sterkste fixed-depth baselines.

Het werk suggereert dat voor autonome rijplanning het "world model" de toekomst niet volledig hoeft te renderen; het hoeft alleen voldoende latente features te berekenen om een betrouwbare trajectorie te decoderen.