DAP: A Discrete-token Autoregressive Planner for Autonomous Driving

Dit artikel introduceert DAP, een compacte autoregressieve planner die discrete tokens gebruikt om zowel BEV-semantiek als ego-trajecten gezamenlijk te voorspellen en via versterkingslering te optimaliseren, waardoor state-of-the-art prestaties worden bereikt op de NAVSIM-benchmark.

De kern

Stel je voor dat je een zelfrijdende auto bestuurt, maar in plaats van alleen te kijken waar de weg naartoe gaat, moet je ook voorspellen hoe de hele wereld om je heen zal veranderen.

Deze paper introduceert DAP (Discrete-token Autoregressive Planner). Laten we dit uitleggen alsof het een verhaal is over een super slimme, maar bescheiden, chauffeur.

1. Het Probleem: De "Blinde" Chauffeur

Tot nu toe waren veel zelfrijdende systemen als een blinde pianist. Ze keken naar de muziek (de camera-beelden) en probeerden direct de juiste toetsen in te drukken (sturen en gas geven).

• Het nadeel: Ze leerden alleen de toetsen te indrukken, maar begrepen niet waarom ze dat deden. Als de situatie een beetje anders was dan in hun training, raakten ze in paniek. Ze zagen de wereld niet als een levendige film, maar als een statisch plaatje.

2. De Oplossing: DAP, de "Scenario-schrijver"

DAP is anders. Het is alsof we de chauffeur een scenario-schrijver hebben gegeven.
In plaats van alleen te zeggen: "Ik ga linksaf", zegt DAP:

1. "Ik ga linksaf."
2. "En tegelijkertijd zie ik dat de auto voor mij iets harder gaat, en dat de regen op de weg begint te glimmen."

DAP doet twee dingen tegelijk:

• Het voorspelt de beweging van de eigen auto (de route).
• Het voorspelt de toekomst van de hele omgeving (wat er gebeurt met andere auto's, bomen, verkeerslichten).

De Analogie van de Lego-blokken:
Stel je voor dat de wereld uit Lego-blokjes bestaat.

• Oude systemen probeerden de hele toekomstige route in één keer uit één grote klomp klei te vormen. Dat was lastig en onnauwkeurig.
• DAP werkt als een Lego-meester. Het pakt één blokje (een "token") per keer.
  • Eerst legt het een blokje neer voor de auto: "Ik ga hierheen."
  • Dan legt het een blokje neer voor de omgeving: "Die andere auto gaat daarheen."
  • Dan weer een blokje voor de auto, dan weer voor de omgeving.
  • Zo bouwt het de toekomst steentje voor steentje op, net zoals een verhaal wordt geschreven. Dit heet "autoregressief".

3. Waarom is dit slim? (De "Compacte Genie")

Meestal denken mensen dat je een super-intelligente robot nodig hebt met een enorme hersenpan (miljarden parameters) om dit te doen.

• DAP is een compacte genie: Het heeft maar een klein brein (120 miljoen parameters). Ter vergelijking: andere systemen zijn als een hele universiteit vol met professoren. DAP is als één slimme student die alles snapt omdat hij de juiste manier van leren heeft gevonden.
• Het is zo efficiënt dat het net zo goed presteert als die enorme systemen, maar veel sneller en goedkoper is.

4. De "Trainingsmethode": Van Leerling naar Meester

Hoe leer je zo'n systeem?

• Fase 1: Imitatie (Kopiëren). Eerst leert DAP gewoon na te doen wat een echte, perfecte chauffeur doet. Dit is als een leerling die de hand van de meester volgt.
• Fase 2: Reinforcement Learning (Beloning). Dit is het geheim. Soms is kopiëren niet genoeg. Als de leerling een gevaarlijke bocht neemt die toevallig niet crasht, leert hij dat niet dat het gevaarlijk was.
  • DAP krijgt nu een beloningssysteem (zoals in een videogame).
  • Goed gedaan: Je blijft veilig in je rijbaan en de passagiers voelen zich comfortabel. -> + Punten.
  • Slecht gedaan: Je komt te dicht bij een ander voertuig of je schokt de passagiers. -> - Punten.
  • Hierdoor leert DAP niet alleen te kopiëren, maar ook om veilig en comfortabel te rijden, zelfs als de situatie nieuw is.

5. Het Resultaat: Een Soepele Rit

Doordat DAP de toekomst van de omgeving én de auto samen voorspelt, voelt het rijden als een soepele dans in plaats van een haperende robot.

• Het ziet een auto die dreigt te gaan remmen, en reageert daarop voordat het gebeurt.
• Het blijft rustig in de rijbaan, zelfs als de weg krom is.
• Het doet dit allemaal binnen een fractie van een seconde.

Samenvatting in één zin

DAP is een slimme, compacte zelfrijdende planner die niet alleen de weg volgt, maar als een scenario-schrijver de toekomst van de hele verkeerssituatie "opstapelt" (steentje voor steentje), waardoor hij veiliger, sneller en slimmer is dan de zware systemen van voorheen.

Technische samenvatting

Probleemstelling

Autonoom rijden staat voor de uitdaging om schaalbare prestatieverbeteringen te bereiken door het vergroten van datasets en modelbudgetten. Bestaande methoden voor planning (het bepalen van de toekomstige trajecten van het voertuig) hebben twee belangrijke beperkingen:

1. Non-autoregressieve modellen: Deze genereren het hele toekomstige traject in één keer. Hoewel ze snel zijn, lijden ze vaak onder supervisie-schaarste (sparse supervision). Ze voorspellen alleen de beweging van het eigen voertuig (ego-vehicle) zonder expliciet te modelleren hoe de omgeving zich zal ontwikkelen. Dit leidt tot een zwakke koppeling tussen de scene-evolutie en de beweging van het voertuig.
2. Reine imitatielearning (IL): Zelfs autoregressieve modellen die puur imiteren, kunnen overfiten op expert-demonstraties. Ze missen vaak het vermogen om risico's te evalueren of veilige alternatieven te kiezen wanneer de expert-actie suboptimaal is (bijvoorbeeld bij covariaatverschuivingen).

De kernvraag is hoe men een planner kan bouwen die schaalbaar is, rijke ruimtelijk-temporale supervisie biedt en veilig gedrag leert zonder enorme rekenkosten.

Methodologie: DAP

De auteurs introduceren DAP (Discrete-token Autoregressive Planner), een architectuur die planning behandelt als een taak voor discrete-token sequentiemodeling, vergelijkbaar met Large Language Models (LLMs).

1. Discrete Tokenisatie en Architectuur

• Input: Het model neemt historische BEV (Bird's Eye View) semantische kaarten en de staat van het voertuig als input.
• Tokenisatie:
  • BEV: Multi-view camera-informatie wordt omgezet in een semantische BEV-kaart en vervolgens gediskretiseerd tot discrete tokens met behulp van een VQ-VAE (Vector Quantized Variational Autoencoder).
  • Traject: De beweging van het voertuig wordt vertaald naar kromming ($\kappa$) en versnelling ($a$) en ook gediskretiseerd in tokens.
  • Commando: Routecommando's worden als categorische tokens behandeld.
• Model: Een Decoder-only Transformer met Sparse Mixture-of-Experts (MoE) lagen. Dit model is "autoregressief", wat betekent dat het tokens één voor één (of in blokken) genereert op basis van de geschiedenis.
• Unieke Generatiestrategie: In tegenstelling tot standaard causale attention die alles sequentieel doet, gebruikt DAP een bidirectionele attention binnen elke tijdstap voor de BEV-tokens. Dit betekent dat alle BEV-tokens voor een specifieke toekomstige stap parallel kunnen worden gegenereerd, terwijl de actie-token (traject) causaal afhankelijk is van de gegenereerde BEV-tokens. Dit versnelt de inferentie aanzienlijk.

2. Gezamenlijke Voorspelling (Joint Forecasting)
Het model voorspelt niet alleen het toekomstige traject, maar gelijktijdig de toekomstige semantische BEV-omgeving.

• Dit creëert een dichte ruimtelijk-temporale supervisie. Het model moet leren hoe de scene verandert (bijv. andere auto's bewegen, verkeerslichten veranderen) en hoe dat de eigen beweging beïnvloedt.
• Dit koppelt scene-voorspelling en bewegingsgeneratie in de latente ruimte, wat robuustheid verhoogt.

3. Twee-fasen Training: IL + RL (SAC-BC)
Om de beperkingen van pure imitatielearning te overwinnen, gebruikt DAP een twee-staps trainingsproces:

• Fase 1: Supervised Pre-training (Behavior Cloning): Het model leert om de ground-truth tokens (BEV en traject) te voorspellen via cross-entropy loss. Dit zorgt voor een sterke prior.
• Fase 2: Offline Reinforcement Learning Fine-tuning (SAC-BC): Het model wordt verfijnd met Soft Actor-Critic plus Behavior Cloning.
  • Een beloningssysteem (reward) wordt ingesteld voor veiligheid (afstand tot obstakels, rijbaanmiddellijn) en comfort (versnellingsvariatie).
  • De SAC-BC loss fungeert als een regularisatie: het model mag het expert-gedrag afwijken om een hogere beloning te krijgen (bijv. een veiliger route kiezen), maar blijft binnen de grenzen van het oorspronkelijke gedrag om instabiliteit te voorkomen.
  • Dit doorbreekt de symmetrie in de loss-functie waarbij verschillende (veilige en onveilige) trajecten dezelfde imitatie-fout zouden hebben.

4. Post-tuning
Een lichtgewicht, regelgebaseerde module past het gegenereerde discrete traject aan om "zig-zag" bewegingen te verminderen en de comfort te verhogen, zonder de planner zelf te wijzigen.

Belangrijkste Bijdragen

1. Decoder-only Autoregressieve Planner met Discrete Tokens: DAP is een compact model (120M parameters) dat gebruikmaakt van een schaalbare, decoder-only architectuur met MoE, specifiek ontworpen voor autonoom rijden.
2. Gezamenlijke Omgeving-Traject Voorspelling: Door zowel de toekomstige BEV-omgeving als het traject te voorspellen, wordt een dichte supervisie bereikt die scene-ontwikkeling en voertuigbeweging strak koppelt.
3. SAC-BC Fine-tuning: Een effectieve strategie die imitatielearning combineert met beloningsgestuurde verbeteringen, waardoor het model veiliger en robuuster wordt zonder de architectuur complex te maken.
4. Efficiëntie en Schaalbaarheid: Ondanks het kleine aantal parameters presteert het model competitief met state-of-the-art methoden die vaak veel grotere modellen (miljarden parameters) gebruiken.

Resultaten

DAP is getest op meerdere benchmarks en toont uitstekende prestaties:

• Open-loop Evaluatie (nuScenes & NuPlan):
  • Op nuScenes behaalt DAP state-of-the-art resultaten op de $L_{2max}$ (maximale fout) en komt dicht in de buurt van de beste $L_{2avg}$ (gemiddelde fout), wat wijst op betere controle in worst-case scenario's.
  • Op NuPlan (Val4k, Test4k, Val14) behaalt DAP de beste resultaten voor 8s ADE (Average Displacement Error) en OLS (Optimal Lane Selection), wat aangeeft dat het model de juiste rijbaan kiest en nauwkeurig is.
• Closed-loop Evaluatie (NAVSIM):
  • Op de NAVSIM v1 benchmark (PDMS-score) behaalt DAP een score van 90.0. Dit is vergelijkbaar met of beter dan veel zwaardere modellen, terwijl het alleen camera-invoer gebruikt en slechts 120M parameters heeft. Het behaalt een perfecte comfort-score (100.0).
  • Op de strengere NAVSIM v2 benchmark (EPDMS-score) behaalt DAP een score van 85.6, wat een aanzienlijke verbetering is ten opzichte van de baseline en zeer competitief is met andere leer-methoden.
• Efficiëntie: DAP is aanzienlijk lichter dan concurrenten zoals DriveVLA-W0 (die vaak VLM-backbones met miljarden parameters gebruiken), maar levert vergelijkbare of betere prestaties.

Significantie

DAP demonstreert dat discrete-token autoregressieve planning een veelbelovende en schaalbare paradigma is voor autonoom rijden. De belangrijkste inzichten zijn:

• World Modeling in Compacte Ruimte: Het is mogelijk om wereldmodellen (voorspellen van de omgeving) te integreren in een compacte latent space (BEV-tokens) in plaats van zware pixel-gebaseerde modellen, wat training en inferentie efficiënter maakt.
• Supervisie Kwaliteit: Het gezamenlijk voorspellen van omgeving en beweging lost het probleem van schaarste in supervisie op en creëert een sterker causaal verband tussen wat er gebeurt en wat het voertuig moet doen.
• RL voor Veiligheid: Het combineren van imitatielearning met RL (SAC-BC) is cruciaal voor het leren van veiligheidsmarges en het vermijden van suboptimale gedragingen die door pure imitatie worden overgenomen.
• Schaalwet: Het paper suggereert dat deze architectuur goed schaalt met meer data, wat een pad opent voor toekomstige verbeteringen zonder noodzaak tot exponentieel grotere modelgroottes.

Samenvattend biedt DAP een efficiënt, robuust en schaalbaar raamwerk dat de kloof tussen imitatielearning en veilige, real-world planning overbrugt.