Technische Samenvatting: Discrete-WAM

Probleemstelling

Autonoom rijden vereist fundamenteel het redeneren over hoe acties van de eigen voertuig (ego) de evolutie van de omgeving vormgeven, in plaats van louter te reageren op instantane observaties. Huidige end-to-end (E2E) systemen vertrouwen doorgaans op directe mapping van staat naar actie via behavior cloning, waarbij statistische correlaties worden vastgelegd zonder expliciet actie-geconditioneerde dynamiek te modelleren. Hoewel continue latente wereldmodellen sterke continuïteit bieden, missen ze vaak de compositionele structuur die nodig is voor causaal redeneren over contrafeitelijke toekomsten. Bovendien behandelen bestaande benaderingen wereldmodellering, beleidsleren en besluitvorming vaak als afzonderlijke taken of aanvullende doelstellingen, waardoor ze er niet in slagen een consistente causale correspondentie tussen observaties, acties en geïnduceerde toekomstige staten te vestigen binnen één verenigd generatief proces.

Methodologie: Discrete-WAM

De auteurs stellen Discrete-WAM voor, een verenigde latente visie-actie wereldbeleid (vision-action world policy) die toekomstige visuele staten en ego-acties representeert als uitgelijnde discrete tokens. Dit framework maakt compositioneel causaal redeneren mogelijk over alternatieve toekomsten via een gedeelde discrete diffusie-architectuur.

1. Verenigde Discrete Representatie

Discrete-WAM zet continue observaties en acties om in een gedeelde discrete tokenruimte:

• Visuele Tokenisatie: Continue camerabeelden worden gecodeerd in discrete semantische tokens met behulp van een vooraf getrainde VQ-VAE tokenizer.
• Actie-Tokenisatie: Continue toekomstige beweging wordt omgezet in een discrete-token-compatibele representatie over een acceleratie-vocabulaire. De auteurs gebruiken een soft-label interpolatiestrategie over een 2D-acceleratiegrid om deterministische hard-kwantiseringsfouten te vermijden, waardoor continue controlewaarden behouden blijven via gewogen sommen van naburige prototypes.
• Beslissingstokens: Hoogwaardige beslissingscondities (bijv. manoeuvre-intentie, doelrijstrook) worden gerepresenteerd als ijle, laagfrequente beslissingstokens ($D_t$).

2. Hiërarchische Beleidsmodellering

In plaats van direct dichte toekomstige acties te genereren vanuit de scènecontext, deelt Discrete-WAM beleidsgeneratie op in een hiërarchisch proces:

• Hoog niveau: Het model voorspelt een ijle beslissings-skeleton ($D_t$) die grove manoeuvre-intentie en multimodale rijkeuzes vastlegt.
• Laag niveau: Een discrete diffusie-gebaseerde actie-token planner genereert vloeiende, temporeel consistente trajecten geconditioneerd op de voorspelde beslissing.
  Deze scheiding stelt het model in staat om multimodale beslissingen op het hoge niveau te selecteren, terwijl vloeiende trajecten op het lage niveau worden gerealiseerd, wat het instorten van alternatieve rijmodi voorkomt.

3. Verenigd Generatief Framework

Discrete-WAM formuleert autonoom rijden als sequentiemodellering over een gedeelde discrete tokenruimte, wat drie complementaire trainingsmodi ondersteunt onder een enkele architectuur:

• Wereldmodellering: Voorspelt toekomstige visuele tokens ($V_{t+1:t+H}$) geconditioneerd op scènecontext ($C_t$) en toekomstige actie-tokens ($A_{t+1:t+H}$).
• Wereld-Beleid Modellering: Traint visie- en actievoorspelling gezamenlijk binnen een geïnterleaved token-sequentie, wat de koppeling van beleidsgeneratie aan de wereldevolutie stimuleert.
• Beleidsmodellering: Voorspelt de hoogwaardige beslissing ($D_t$) gevolgd door de actie-sequentie ($A_{t+1:t+H}$) geconditioneerd op de beslissing.

4. Training en Post-Training

• Verenigde Pretraining: Het model ondergaat meerfasige pretraining met een token-editing objectief. Het leert gecorrumpeerde tokens (visueel of actie) te herstellen op basis van historische context en conditionering-inputs. De verliesfunctie combineert cross-entropy voor token-classificatie met continue bewegingsreconstructieverliezen (acceleratie, traject en positie) om fysieke consistentie te waarborgen.
• Post-Training (RL): Om zeldzame of veiligheidskritische gedragingen aan te pakken, passen de auteurs Grouped Relative Policy Optimization (GRPO) toe. Het model samplet kandidaat-trajecten, evalueert deze met een online beloningsfunctie (die veiligheids- en regelkritische metrieken bevat), en werkt het beleid bij om de combinatie van beslissing- en traject-elementen te verfijnen.

5. Inferentie en Editing

Tijdens de inferentie maakt Discrete-WAM gebruik van iteratieve planning-generatie en editing over toekomstige staten. Een scheduling-strategie (bijv. replace_confidence) werkt selectief tokens bij op basis van voorspellingsvertrouwen en entropie, wat een niet-causaal, globaal consistent redeneren over actie-geconditioneerde toekomsten mogelijk maakt zonder zich vast te leggen op een enkele forward rollout.

Belangrijkste Bijdragen

1. Verenigd Visie-Actie Wereldbeleid: De introductie van een framework dat observaties en ego-acties representeert in een gedeelde discrete latente ruimte, wat uitgelijnde semantische modellering en gestructureerd redeneren over actie-geconditioneerde toekomsten mogelijk maakt.
2. Discrete Diffusie Framework: Een verenigde pretraining-aanpak voor wereld- en actiemodellering die gezamenlijk actie-geconditioneerde toekomstige dynamiek vastlegt binnen één generatief proces, waarmee men verder gaat dan afzonderlijke doelstellingen.
3. Hiërarchische Beslissings-geconditioneerde Planning: Een demonstratie dat het opdelen van beleid in hoogwaardige beslissings-skeletten en laagwaardige actie-verfijning de planningsprestaties verbetert, terwijl het controleerbare toekomstige generatie, contrafeitelijk redeneren en veiligheidsbewuste evaluatie mogelijk maakt.

Experimentele Resultaten

Experimenten werden uitgevoerd op grootschalige autonome rij-benchmarks, specifiek NAVSIM-v1 en NAVSIM-v2.

• Planningsprestaties: Discrete-WAM behaalde competitieve of superieure planningsprestaties vergeleken met sterke end-to-end baselines. Op NAVSIM-v2 behaalde het een EPDMS-score van 90.4, waarmee het methoden zoals WAM-Flow (87.0) en SparseDriveV2 (90.1) versloeg. Op NAVSIM-v1 behaalde het een PDMS van 92.2, waarmee het state-of-the-art planners overtrof.
• Wereldgeneratie: Wat betreft de generatieve kwaliteit (FID en FVD), presteerde Discrete-WAM beter dan bestaande generatieve rij-wereldmodellen (bijv. Vista, DrivingWorld), met een FID van 6.6 en FVD van 80.0, ondanks de optimalisatie voor kort-horizon planning.
• Ablatie-studies:
  • Verenigde Pretraining: Modellen geïnitialiseerd met verenigde pretraining en gefinetuned via LoRA (LoRA-SFT) presteerden beter dan modellen getraind vanaf nul of met volledige fine-tuning, wat de waarde aantoont van het behouden van gepretraineerde wereld-beleid kennis.
  • Beslissingsmodellering: De inclusie van beslissingstokens ($D_t$) verbeterde de planningsmetrieken aanzienlijk, wat bevestigt dat beslissingsniveau-sturing een effectieve gedrags-prior biedt.
  • Post-Training: RL post-training verbeterde de EPDMS verder van 90.0 naar 90.4, wat het voordeel aantoont van het verkennen van beslissing-traject combinaties.
  • Contrafeitelijk Redeneren: Het model demonstreerde een sterke negatieve correlatie tussen "verrassing" (KL-divergentie tussen feitelijke en contrafeitelijke rollouts) en planningsveiligheidsmetrieken (PDMS), wat wijst op zijn vermogen om veiligheidskritische scènedynamiek te vatten.

Betekenis en Claims

Het artikel beweert dat Discrete-WAM een principieel pad biedt naar betrouwbaardere besluitvorming in autonoom rijden door verder te gaan dan reactieve imitatie naar gestructureerd wereld-beleid redeneren. Door wereldmodellering, beleidsleren en besluitvorming te verenigen binnen een discrete tokenruimte, ondersteunt het framework:

• Controleerbare Generatie: De mogelijkheid om specifieke aspecten van toekomstige observaties en trajecten te bewerken.
• Contrafeitelijk Redeneren: Het vermogen om over alternatieve toekomsten te redeneren en veiligheidsrisico's te beoordelen vóór uitvoering.
• Veiligheidsbewuste Voorspelling: Het vermogen om scenario's met een hoge verrassing te identificeren die corresponderen met botsingen of regelovertredingen.

De auteurs stellen dat deze aanpak fundamentele knelpunten in representatieformulering en generatieve modellering aanpakt, en een schaalbare basis biedt voor belichaamde intelligentie die kan generaliseren over diverse rijscenario's.