DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model

Op basis van het verstrekte artikel volgt hier een gedetailleerde technische samenvatting van DriveStack-VLA.

Probleemstelling

Bestaande Vision-Language-Action (VLA) rijmodellen maken gebruik van de wereldkennis en redeneercapaciteiten van grote vooraf getrainde Vision-Language Models (VLM's) om rijtrajecten te voorspellen vanuit multi-view beelden en taalcommando's. Deze modellen lijden echter aan een gebrek aan rijgeoriënteerde ruimtelijke intelligentie. Huidige benaderingen baseren hun beleid primair op perspectivische beeldtokens en taalprioriteiten, wat viewpoint-afhankelijk is en er niet in slaagt om de metrische geometrie en de top-down scène-structuur die vereist zijn voor nauwkeurige bewegingsplanning expliciet te coderen.

Deze beperking manifesteert zich op twee kerngebieden:

1. Zwakke visuele geometrie: Beleid vertrouwt op 2D-verschijningsvormen in plaats van robuuste geometrische representaties, waardoor ze kwetsbaar zijn voor hiaten in de perceptuele dekking van expertdemonstraties.
2. Perceptuele misalignement: Hoewel synthetische of gerasterde beelden voor schonere geometrische structuren en diverse contrafeitelijke scenario's kunnen zorgen, introduceert het direct mengen van deze met echte beelden een domeingat. Bestaande methoden slagen er vaak niet in om ervoor te zorgen dat de actie-decoder in zowel de echte als de synthetische domeinen naar dezelfde planningsrelevante kenmerken (bijv. rijstroken, agenten) kijkt.

Methodologie: DriveStack-VLA

De auteurs stellen DriveStack-VLA voor, een verenigd driestaps trainingsframework gebouwd op een grote VLM-backbone (specifiek Qwen3-VL-4B). Het framework integreert een multimodale LLM-planner met een verbeterde visuele stack om bottlenecks op het gebied van geometrie, datasets en traject-sampling aan te pakken.

1. Duale Visuele Modellering Componenten
Om de ruimtelijke gronding te versterken, gebruikt het model twee specifieke mechanismen:

• BEV DeepStack Injectie: De auteurs injecteren Bird-Eye-View (BEV) representaties direct in de LLM-decoder met behulp van een "DeepStack-stijl" verbinding. Een BEV-encoder (gebaseerd op BEVFormer) extraheert een top-down feature map, die wordt geprojecteerd naar tokens en wordt geconcateneerd met perspectivische cameratokens op specifieke decoderlagen. Dit voorziet de LLM van stabiele, metrische geometrische priors voor langetermijncontexten.
• Render-Teacher Alignment: Om de voordelen van gerasterde beelden te benutten zonder een domeinverschuiving te introduceren, behandelen de auteurs de gerasterde beelden als een "teacher" modaliteit. Ze lijnen de perceptuele focus van echte beelden uit met die van gerasterde beelden via twee verliezen:
  • Masked Camera-Token Alignment: Een door rendering geleide soft-mask verlaagt de weging van achtergrondtokens (die in gerasterde beelden vaak zwart zijn) tijdens de feature-alignement, waardoor het model zich concentreert op voorgrondagenten en rijstroken.
  • Action-to-Vision Attention Distillatie: De aandachtdistributie van actietokens naar visuele tokens in de pass van het echte beeld wordt gedistilleerd van de gerasterde beeldpass, waardoor het model wordt gedwongen om in echte beelden naar dezelfde veiligheidskritische kenmerken te kijken als in de schonere synthetische data.

2. Driestaps Trainingspipeline

• Fase 1: Supervised Fine-Tuning (SFT): De actor wordt getraind met behulp van de hierboven beschreven duale visuele modelleringscomponenten. Het model leert actietokens te genereren vanuit multi-view beelden, instructies en ego-states.
• Fase 2: Reinforcement Fine-Tuning (RFT): Om de kwaliteit van gesamplede trajecten te verbeteren, passen de auteurs Group Relative Policy Optimization (GRPO) toe. Het beleid wordt bijgewerkt op basis van een gezamenlijke beloning bestaande uit een rijbeloning (die botsingsvrijheid, veiligheidsmarges en naleving van het begaanbare gebied evalueert) en een formaatbeloning (om strikte decodeerbaarheid van actietokens te garanderen).
• Fase 3: Scoring en Verfijning (Self-Critic): Een lichtgewicht critic-module wordt getraind om kandidaattrajecten te rangschikken en de beste ervan conditioneel te verfijnen.
  • Scoring Head: Hergebruikt de laatste laag verborgen toestanden (hidden states) van de LLM om een kwaliteitsscore voor kandidaattrajecten te produceren.
  • Refinement Head: Als de score van de beste kandidaat onder een drempelwaarde ligt, voorspelt deze head een begrensde residu om het traject te verfijnen, waardoor de noodzaak voor trage iteratieve generate-critique-rewrite lussen tijdens inferentie wordt vermeden.

Belangrijkste Bijdragen

1. DriveStack-VLA Framework: Een verenigd VLA-rijframework dat geometrische gronding, datasetdekking en traject-sampling gelijktijdig aanpakt.
2. BEV DeepStack Injectie: Een nieuwe methode om top-down geometrische priors direct in de LLM-decoder in te bedden, wat de stabiliteit van langetermijnplanning verbetert.
3. Render-Teacher Alignment: Een techniek om visuele-actie aandacht tussen echte en gerasterde beelden uit te lijnen, waardoor het model kan profiteren van synthetische geometrische augmentatie zonder te lijden onder domein-misalignement.
4. Lichtgewicht Self-Critic: Een module die traject-rangschikking en conditionele verfijning mogelijk maakt zonder redundante tekstgeneratie of complexe inferentie-lussen.

Experimentele Resultaten

De auteurs evalueerden DriveStack-VLA op zowel real-log-gedreven als gesimuleerde closed-loop benchmarks:

• NAVSIMv1: Bereikte een 91.6 PDMS (Predictive Driver Model Score) met RFT, waarmee het alle voorgaande VLM-gebaseerde methoden overtrof en een nieuwe state-of-the-art vestigde.
• NAVSIMv2: Bereikte 91.0 EPDMS (Extended Predictive Driver Model Score) met de human penalty filter ingeschakeld, waarmee een nieuwe state-of-the-art werd gevestigd onder beide evaluatiesettings.
• Bench2Drive (Closed-Loop): Behaalde een rij-score van 79.49 en een succespercentage van 56.36%, wat een sterke overdraagbaarheid naar complexe stedelijke simulaties aantoont zonder dat RFT nodig is.
• Navhard: Behield een robuuste prestatie (34.9 EPDMS) op deze uitdagende benchmark die out-of-distribution scenario's bevat.

Betekenis en Claims

Het artikel beweert dat DriveStack-VLA er succesvol in slaagt de kloof te overbruggen tussen de redeneercapaciteiten van grote taalmodellen en de strikte ruimtelijke vereisten van autonoom rijden. Door BEV-features te injecteren en de perceptuele focus tussen echte en synthetische data uit te lijnen, overwint het model de beperkingen van "zwakke visuele geometrie" van eerdere VLA-benaderingen. De auteurs benadrukken dat hun methode state-of-the-art kwantitatieve resultaten bereikt op zowel open-loop (NAVSIM) als closed-loop (Bench2Drive) benchmarks, wat valideert dat een verenigde VLA-architectuur effectief kan omgaan met veiligheidskritische planningstaken wanneer deze is uitgerust met passende geometrische gronding en alignementstrategieën.