Sintesi Tecnica: Esposizione Differita delle Traiettorie Future per il Ragionamento Verificabile nella Guida Autonoma VLM

Definizione del Problema

I recenti modelli Vision-Language-Action (VLA) per la guida autonoma (AD) si affidano sempre più alla supervisione Chain-of-Thought (CoT) per potenziare le capacità di ragionamento dei loro componenti Vision-Language Model (VLM). Tuttavia, le attuali pipeline di annotazione espongono tipicamente il modello "insegnante" alla traiettoria futura (ground-truth, GT) registrata prima che il modello generi il proprio ragionamento.

Gli autori identificano e validano empiricamente un fenomeno denominato traiettoria-ancoraggio bias (trajectory anchoring bias). Quando la traiettoria GT viene rivelata, il modello insegnante tende a razionalizzare l'esito noto piuttosto che inferire una decisione basata sulle evidenze della scena. Ciò porta a:

1. Ridotta Fedeltà Causale: Le CoT generate sono geometricamente coerenti con la GT, ma non riescono a identificare fedelmente le evidenze della scena che supportano l'azione.
2. Aumento delle Allucinazioni: I modelli sono significativamente più propensi a fabbricare indizi causali (ad esempio, inventando segnali stradali) per giustificare la traiettoria rivelata, specialmente in scene causalmente complesse.
3. Disallineamento della Supervisione: La traiettoria GT agisce come una scorciatoia per il ragionamento (un ancoraggio pre-decisionale) piuttosto che come un obiettivo decisionale, causando l'apprendimento del modello nel melakukan reverse-inference di spiegazioni per esiti già noti.

Mentre nascondere la traiettoria GT elimina questa scorciatoia, introduce una nuova sfida: la generazione open-ended di traiettorie intreccia il processo decisionale di alto livello con la sintesi geometrica precisa e la dinamica a basso livello, rendendo il compito difficile per i VLM e complesso da verificare.

Metodologia

Per affrontare questi problemi, il documento propone un framework composto da una nuova formulazione di benchmark e una strategia di addestramento: AD-MCQ e DEFT-RLVR.

1. AD-MCQ: Autonomous-Driving Multiple-Choice Question

Invezione di una generazione di coordinate open-ended, gli autori inquadrano la pianificazione AD come un compito di selezione tra candidati di traiettoria espliciti.

• Prototipi di Traiettoria Discreti: Un codebook di $K=8192$ prototipi di traiettoria è costruito utilizzando il clustering K-means su un corpus di futuri registrati. Questo quantizza le traiettorie continue in un vocabolario di movimento finito.
• Costruzione dei Candidati: Per ogni scena, la traiettoria GT viene mappata sul prototipo più vicino (l'oracle). I distrattori vengono costruiti recuperando prototipi che sono geometricamente simili ma distinti (hard negatives), inclusi alternativi con scala corrispondente ed estrapolazioni a velocità costante.
• Verificabilità: Il compito consiste nel selezionare l'indice dell'opzione corretta da un set rimescolato di $M$ candidati, fornendo un obiettivo decisionale esattamente verificabile senza richiedere una sintesi geometrica aperta.

2. DEFT-RLVR: Deferred Exposure of Future Trajectories for RLVR

Basandosi su AD-MCQ, gli autori propongono DEFT-RLVR (Deferred Exposure of Future Trajectories for Reinforcement Learning with Verifiable Rewards) per mitigare il bias di ancoraggio durante l'addestramento.

• Interazione in Due Fasi:
  • Turno 1 (Ragionamento Decisionale Causale): Il modello di policy riceve solo il contesto della scena (storia visiva, stato dell'ego, istruzione di navigazione) e deve generare una decisione di alto livello e una traccia di ragionamento senza vedere le traiettorie candidate.
  • Turno 2 (Grounding della Traiettoria Esplicita): Solo dopo che il modello si è impegnato su una decisione derivata dalla scena, le traiettorie candidate vengono rivelate. Il modello seleziona quindi il candidato che meglio corrisponde alla decisione assunta.
• Esposizione Differita: Questo design assicura che la geometria del candidato plasmi il grounding di una decisione, non la sua formazione, impedendo al modello di prendere scorciatoie ragionando attorno a una risposta visibile.
• Reward Basati su Rubrica Strutturata: Per evitare che il modello sfrutti il formato MCQ tramite tentativi casuali o sfruttamento di scorciatoie, gli autori introducono la supervisione del processo.
  • Per i rollout con risposte MCQ corrette, la traccia di ragionamento del Turno 1 viene valutata rispetto a una rubrica specifica per l'istanza.
  • La rubrica è generata offline da un grande VLM basandosi sulle evidenze della scena.
  • Un giudice testuale online valuta la traccia di ragionamento rispetto ai criteri della rubrica (ad esempio, grounding, assenza di allucinazioni, coerenza causale) senza accesso all'input visivo o alle opzioni candidate.
  • Il reward finale è il prodotto del reward della scelta esatta e del reward della rubrica ($R = R_{MCQ} \times R_{RUB}$).

Contributi Chiave

1. Identificazione del Trajectory Anchoring Bias: Il documento fornisce prove empiriche che l'esposizione delle traiettorie GT durante l'annotazione CoT induce razionalizzazione post-hoc e gravi allucinazioni, degradando la fedeltà causale nel ragionamento AD.
2. Benchmark AD-MCQ: Un benchmark di traiettorie candidate verificabile che preserva la granularità a livello di traiettoria (tempo di frenata, profilo di velocità, geometria laterale) sostituendo la generazione open-ended con la selezione esatta, permettendo una difficoltà scalabile e controllabile.
3. Framework DEFT-RLVR: Un paradigma di addestramento che differisce l'esposizione dei candidati fino a quando la policy non si è impegnata su una decisione. Combinato con la supervisione del processo basata su rubrica, migliora il ragionamento AD preservando le capacità visive generali del VLM di base.

Risultati Sperimentali

Gli autori hanno valutato il loro approccio utilizzando Qwen3-VL-8B-Instruct e Qwen3.5-4B come modelli base, con Qwen3.5-397B-A17B come teacher/judge.

• Prestazioni di Ragionamento AD:

  • DEFT-RLVR supera significativamente i baseline senza addestramento e le ablazioni. Sul modello Qwen3-VL-8B, ha raggiunto il 77,9% di accuratezza sul test set AD-MCQ-500, rispetto al 28,1% del modello base e al 56,6% del DEFT senza addestramento.
  • Ha inoltre migliorato il Causal Faithfulness Score (CFS) da 0,431 (DEFT senza addestramento) a 0,658, e la coerenza della High-Level Decision (HLD) da 0,425 a 0,501.
  • Rispetto all'ablazione JE (Joint Exposure), DEFT-RLVR mostra guadagni costanti (ad esempio, +15,3% di accuratezza su Qwen3-VL-8B), confermando che l'esposizione differita riduce l'ottimizzazione guidata dalle scorciatoie.

• Capacità Visiva Generale:

  • A differenza della distillazione SFT (Supervised Fine-Tuning), che degrada le capacità visive generali (facendo scendere la capacità visiva media da 54,81% a 49,80%), DEFT-RLVR preserva e anzi potenzia le capacità generali.
  • Su Qwen3-VL-8B, il punteggio medio della capacità visiva generale è aumentato dal 54,81% al 56,09%. Gli autori attribuiscono ciò alla natura fine dei gradienti di policy basati su RL e al ragionamento spazio-visivo condiviso richiesto dal compito.

• Generalizzazione:

  • Il metodo ha dimostrato una forte capacità di trasferimento out-of-distribution (OOD) sul dominio nuScenes, migliorando l'accuratezza dal 39,6% (senza addestramento) al 49,5% con DEFT-RLVR.
  • I guadagni sono stati robusti attraverso diversi set di candidati e geometrie dei distrattori.

• Efficienza:

  • La generazione della rubrica specifica per istanza in DEFT-RLVR aggiunge solo lo 0,5% di overhead al tempo di addestramento rispetto all'addestramento basato sulla sola correttezza, ed è il 41,1% più veloce rispetto alle varianti di valutazione della rubrica condizionate dall'immagine online.

Significato e Rivendicazioni

Il documento afferma che DEFT-RLVR offre una base scalabile e flessibile per il ragionamento AD verificabile:

1. Decoupling di Decisione e Verifica: Trasformando le traiettorie future da ancoraggi pre-decisione a obiettivi di verifica post-decisione, costringendo così i modelli a ragionare partendo dalle evidenze della scena.
2. Evitare i Doppi Colli di Bottiglia: Utilizzando la selezione dei candidati invece della generazione diretta di token di traiettoria, il metodo evita i colli di bottiglia dell'errore di quantizzazione della traiettoria e la degradazione delle capacità visive generali spesso visti nei compiti di generazione diretta.
3. Abilitare l'RL Verificabile: Fornendo un meccanismo per applicare l'apprendimento per rinforzo con reward verificabili (RLVR) a compiti di controllo continui e complessi come la guida autonoma senza richiedere la sintesi geometrica open-ended.

Gli autori concludono che il loro approccio migliora il ragionamento AD generalizzabile mantenendo le capacità visive generali del modello, affrontando una lacuna critica negli attuali pipeline di addestramento VLA dove la supervisione CoT spesso si basa su dati con esito già rivelato.