Technische Samenvatting: Uitgestelde Blootstelling van Toekomstige Trajecten voor Verifieerbare Redenering in Autonome Rijden VLM's

Probleemstelling

Recente Vision-Language-Action (VLA) modellen voor autonoom rijden (AD) vertrouwen steeds vaker op Chain-of-Thought (CoT) supervisie om de redeneerkracht van hun Vision-Language Model (VLM) componenten te verbeteren. De huidige annotatie-pipelines leggen de teacher-modellen echter doorgaans bloot aan het gelogde grondwaarheid (GT) toekomstige traject voordat het model zijn redenering genereert.

De auteurs identificeren en valideren empirisch een fenomeen dat zij traject-ankerbias noemen. Wanneer het GT-traject wordt onthuld, heeft het teacher-model de neiging om de bekende uitkomst te rationaliseren in plaats van een beslissing af te leiden uit de scène-informatie. Dit leidt tot:

1. Verminderde Causale Getrouwheid: De gegenereerde CoT's zijn geometrisch consistent met de GT, maar falen er fundamenteel in om de scène-informatie te identificeren die de actie ondersteunt.
2. Toegenomen Hallucinaties: Modellen zijn aanzienlijk vatbaarder voor het verzinnen van causale aanwijzingen (bijv. het fabriceren van verkeersborden) om het onthulde traject te rechtvaardigen, vooral in causale uitdagende scènes.
3. Supervisie-mismatch: Het GT-traject fungeert als een redeneersnelkoppeling (een pre-beslissing anker) in plaats van een beslissingstarget, waardoor het model leert om verklaringen achteraf te construeren voor bekende uitkomsten.

Hoewel het verbergen van het GT-traject deze snelkoppeling elimineert, introduceert het een nieuwe uitdaging: open-ended trajectgeneratie verweeft hoogwaardige besluitvorming met precieze geometrische synthese en lage-orde dynamica, wat de taak moeilijk maakt voor VLMs en lastig te verifiëren is.

Methodologie

Om deze problemen aan te pakken, stelt het artikel een framework voor bestaande uit een nieuwe benchmark-formulering en een trainingsstrategie: AD-MCQ en DEFT-RLVR.

1. AD-MCQ: Autonomous-Driving Multiple-Choice Question

In plaats van open-ended coördinaatgeneratie, beschouwen de auteurs AD-planning als een selectietaken tussen expliciete traject-kandidaten.

• Discrete Traject-prototypes: Een codeboek van $K=8192$ traject-prototypes wordt geconstrueerd met behulp van K-means clustering op een corpus van gelogde toekomsten. Dit kwantiseert continue trajecten in een eindige bewegingsvocabulaire.
• Constructie van Kandidaten: Voor elke scène wordt het GT-traject gemapt naar het dichtstbijzijnde prototype (de oracle). Distractoren worden geconstrueerd door prototypes op te halen die geometrisch vergelijkbaar maar verschillend zijn (harde negatieven), inclus�| van schaal-gematchte alternatieven en constant-snelheid extrapolaties.
• Verifieerbaarheid: De taak wordt het selecteren van de juiste optie-index uit een geschudde set van $M$ kandidaten, wat een exact verifieerbaar beslissingstarget biedt zonder de noodzaak voor open-ended geometrische synthese.

2. DEFT-RLVR: Deferred Exposure of Future Trajectories for RLVR

Bouwend op AD-MCQ, stellen de auteurs DEFT-RLVR voor (Deferred Exposure of Future Trajectories for Reinforcement Learning with Verifiable Rewards) om ankerbias tijdens de training te mitigeren.

• Tweefasige Interactie:
  • Beurt 1 (Causale Beslissingsredenering): Het policy-model ontvangt alleen de scène-context (visuele historie, ego-status, navigatie-instructie) en moet een hoogwaardige beslissing en redeneringsspoor genereren zonder de traject-kandidaten te zien.
  • Beurt 2 (Expliciete Traject-gronding): Pas nadat het model zich heeft gecommitteerd aan een scène-afgeleide beslissing, worden de traject-kandidaten onthuld. Het model selecteert vervolgens de kandidaat die het beste overeenkomt met de gecommitteerde beslissing.
• Uitgestelde Blootstelling: Dit ontwerp zorgt ervoor dat de kandidaat-geometrie de gronding van een beslissing vormt, en niet de vorming van de beslissing zelf, waardoor voorkomt dat het model snelkoppelingen neemt door rondom een zichtbaar antwoord te redeneren.
• Gestructureerde Rubriek-beloningen: Om te voorkomen dat het model het MCQ-formaat exploiteert via willekeurige gokken of het gebruik van snelkoppelingen, introduceren de auteurs proces-supervisie.
  • Voor rollouts met correcte MCQ-antwoorden wordt het redeneringsspoor van Beurt 1 geëvalueerd tegen een instantie-specifieke rubriek.
  • De rubriek wordt offline gegenereerd door een groot VLM op basis van de scène-informatie.
  • Een online tekst-gebaseerde judge evalueert het redeneringsspoor tegen de rubriekscriteria (bijv. gronding, afwezigheid van hallucinaties, causale coherentie) zonder toegang tot de visuele input of de traject-opties.
  • De uiteindelijke beloning is het product van de exacte-keuze beloning en de rubriek-beloning ($R = R_{MCQ} \times R_{RUB}$).

Belangrijkste Bijdragen

1. Identificatie van Traject-ankerbias: Het artikel levert empirisch bewijs dat het blootstellen van GT-trajecten tijdens CoT-annotatie post-hoc rationalisatie en ernstige hallucinaties induceert, wat de causale getrouwheid van AD-redenering degradeert.
2. AD-MCQ Benchmark: Een verifieerbare kandidaat-traject benchmark die traject-niveau granulariteit behoudt (remtijd, snelheidsprofiel, laterale geometrie) terwijl open-ended generatie wordt vervangen door exacte selectie, wat schaalbare en controleerbare moeilijkheidsgraad mogelijk maakt.
3. DEFT-RLVR Framework: Een trainingsparadigma dat de blootstelling van kandidaten uitstelt totdat de policy een beslissing heeft genomen. Gecombineerd met rubriek-gebaseerde proces-supervisie, verbetert dit de AD-redenering terwijl de algemene visuele capaciteiten van het basis-VLM behouden blijven.

Experimentele Resultaten

De auteurs evalueerden hun aanpak met behulp van Qwen3-VL-8B-Instruct en Qwen3.5-4B als basismodellen, waarbij Qwen3.5-397B-A17B diende als de teacher/judge.

• AD Redeneringsprestaties:

  • DEFT-RLVR presteert significant beter dan training-vrije baselines en ablaties. Op het Qwen3-VL-8B model behaalde het 77,9% nauwkeurigheid op de AD-MCQ-500 testset, vergeleken met 28,1% voor het basismodel en 56,6% voor training-vrije DEFT.
  • Het verbeterde ook de Causal Faithfulness Score (CFS) van 0,431 (training-vrije DEFT) naar 0,658, en de High-Level Decision (HLD) consistentie van 0,425 naar 0,501.
  • Vergeleken met de JEFT (Joint Exposure) ablatie liet DEFT-RLVR consistente winst zien (bijv. +15,3% nauwkeurigheid op Qwen3-VL-8B), wat bevestigt dat uitgestelde blootstelling shortcut-gedreven optimalisatie vermindert.

• Algemene Visuele Capaciteit:

  • In tegen tegenstelling tot Supervised Fine-Tuning (SFT) distillatie, die de algemene visuele capaciteiten degradeerde (gemiddelde algemene capaciteit daalde van 54,81% naar 49,80%), behield en verbeterde DEFT-RLVR de algemene capaciteiten.
  • Op Qwen3-VL-8B steeg de gemiddelde algemene visuele capaciteitsscore van 54,81% naar 56,09%. De auteurs schrijven dit toe aan de fijnmazige aard van RL-gebaseerde policy gradiënten en de gedeelde visuele-ruimtelijke redenering die vereist is voor de taak.

• Generalisatie:

  • De methode demonstreerde sterke out-of-distribution (OOD) transfer op de nuScenes domein, waarbij de nauwkeurigheid verbeterde van 39,6% (training-vrij) naar 49,5% met DEFT-RLVR.
  • De winst was robuust over verschillende kandidaat-set constructies en distractor-geometrieën.

• Efficiëntie:

  • De instantie-specifieke rubriekgeneratie in DEFT-RLVR voegde slechts 0,5% overhead toe aan de trainingstijd vergeleken met correctness-only training, terwijl het 41,1% sneller was dan online beeld-geconditioneerde rubriek-grading varianten.

Betekenis en Claims

Het artikel claimt dat DEFT-RLVR een schaalbare en flexibele basis biedt voor verifieerbare AD-redenering door:

1. Beslissing en Verificatie te Ontkoppelen: Het transformeren van toekomstige trajecten van pre-beslissing ankers naar post-beslissing verificatietargets, waardoor modellen worden gedwongen eerst vanuit scène-informatie te redeneren.
2. Dubbele Bottlenecks te Vermijden: Door kandidaat-selectie te gebruiken in plaats van directe traject-tokengeneratie, vermijdt de methode de bottlenecks van traject-kwantisatiefouten en de degradatie van algemene visuele capaciteiten die vaak bij directe generatie-taken optreedt.
3. Verifieerbare RL Mogelijk te Maken: Het bieden van een mechanisme om reinforcement learning met verifieerbare beloningen (RLVR) toe te passen op complexe, continue controle-taken zoals autonoom rijden zonder de noodzaak voor open-ended geometrische synthese.

De auteurs concluderen dat hun aanpak de generaliseerbare AD-redenering verbetert terwijl de algemene visuele capaciteiten van het model behouden blijven, waarmee een kritiek gat in huidige VLA-trainingspipelines wordt gedicht waar CoT-supervisie vaak rust op bevooroordeelde, uitkomst-onthullende data.