Riepilogo Tecnico: Colmare il divario tra Privilegiato e Camera

Definizione del Problema

I modelli di guida autonoma "camera-first" predicono i futuri waypoint del veicolo ego utilizzando solo immagini RGB, feature dello stato del veicolo ego e comandi di rotta. Sebbene i sistemi end-to-end che mappano questi input direttamente ai controlli siano scalabili, gli autori sostengono che la sola supervisione dei waypoint spesso lascia la rappresentazione degli utenti della strada nelle vicinanze (attori) debolmente supervisionata. In scene urbane complesse, la traiettoria del veicolo ego dipende spesso da un piccolo set di specifici veicoli, pedoni o ciclisti. Un puro obiettivo di waypoint vincola il percorso finale, ma può non riuscire a forzare le feature intermedie dell'immagine a codificare esplicitamente quali attori esistono, quali sono rilevanti o come si muovono.

Il problema centrale affrontato è se la supervisione a livello di attore, disponibile solo durante l'addestramento, possa migliorare la predizione dei waypoint in open-loop basata solo su RGB senza richiedere informazioni privilegiate sullo stato degli attori (ad esempio, coordinate esatte del simulatore) al momento dell'inferenza. Gli autori mirano a quantificare il "divario tra privilegiato e camera" (privileged-to-camera gap): la differenza di prestazioni tra modelli che utilizzano gli stati esatti degli utenti della strada e quelli che si affidano esclusivamente agli input della camera.

Metodologia

Panoramica del Framework

L'approccio proposto tratta la predizione dei waypoint camera-first come un problema di apprendimento di rappresentazioni centrato sugli attori e supervisionato. Il sistema introduce la supervisione Road-User Sidecar (RU-sidecar): etichette ausiliarie derivate offline dagli stati del simulatore che guidano l'addestramento di un modello basato su camera. Queste etichette non vengono mai utilizzate come input durante l'inferenza.

Il framework consiste in tre componenti principali:

1. Percorso Camera Deployable (Deployable Camera Path): Un modello studente che riceve in input multi-view RGB, stato del veicolo ego e comandi di rotta. Predice rappresentazioni intermedie incentrate sugli attori (actor tokens), ne classifica la rilevanza, predice futuri a breve orizzonte per gli attori selezionati e utilizza questi ultimi per predire i futuri waypoint del veicolo ego.
2. Generatore di Etichette Offline (Offline Label Generator): Un modulo che elabora lo stato del simulatore per generare etichette sidecar ($S_t$) per l'addestramento. Queste includono:
   • Geometria e Attributi dell'Attore ($B_t$): Classe, posizione, heading, velocità e maschere di validità.
   • Etichette Grounded sull'Immagine ($G_t$): Posizioni proiettate degli attori nelle viste della camera.
   • Rilevanza Condizionata al Target ($C_t$): Un punteggio di rilevanza ($c_i$) che classifica gli attori in base a distanza, velocità relativa, tempo al conflitto, rilevanza della corsia di rotta, stato di utente vulnerabile della strada (VRU) e sovrapposizione hindsight con il percorso futuro del veicolo ego.
   • Futuri degli Attori Selezionati ($F_t$): Obiettivi di movimento a breve orizzonte per i top-$K$ attori rilevanti.
3. Percorso Simulatore Non-Deployable (Non-Deployable Simulator Path): Un modello di riferimento diagnostico che utilizza gli stati esatti degli attori del simulatore ($A_t$) come input. Questo funge da oracle per stimare il gap di prestazioni rimanente e, opzionalmente, come insegnante per la distillazione.

Architettura del Modello

Il modello deployable utilizza un encoder visivo condiviso (ConvNeXt-Tiny) per elaborare la cronologia RGB. Impiega un'interfaccia studente composta da:

• Actor-Token Head: Predice un set fisso di slot e attributi derivati dalla camera.
• Selector: Classifica gli slot degli attori in base alla rilevanza rispetto al veicolo ego.
• Dynamics Head: Predice futuri a breve orizzonte per i top-$K$ attori selezionati.
• Waypoint Planner: Attende ai token degli attori-futuri selezionati per predire la traiettoria del veicolo ego.

Durante l'addestramento, gli slot predetti vengono accoppiati agli attori sidecar tramite un matching deterministico greedy nearest-center. Le perdite (loss) includono:

• Primaria: Perdita di imitazione dei waypoint ($L_{wp}$).
• Perdite Sidecar: Oggettività/geometria ($L_{obj}$), attributi ($L_{attr}$), ranking di rilevanza ($L_{sel}$) e dinamica dell'attore selezionato ($L_{dyn}$).
• Distillazione Opzionale: Allineamento con l'insegnante ($L_{dist}$) utilizzando il modello con stato del simulatore.

Protocollo Sperimentale

Gli esperimenti utilizzano uno snapshot fisso del simulatore da LMDrive con split route-disjoint (nessuna rotta appare in più split). La valutazione è strettamente open-loop, misurando il Final Displacement Error (FDE) e l'Average Displacement Error (ADE) su rotte non viste. Lo studio confronta:

• Un baseline RGB semplice basato solo sui waypoint.
• Un controllo "no-teacher" accoppiato (stessa architettura, senza perdite sidecar).
• Modelli RU-sidecar (con e senza allineamento con l'insegnante).
• Diagnostiche non-deployable (Oracle sidecar-selected e Simulator-state dynamics).

Risultati Chiave

Prestazioni Quantitative

Sul set di test, il modello RU-sidecar senza allineamento con l'insegnante ha ottenuto un Final Displacement Error (FDE) di 1,223 ± 0,01 m.

• Rappresenta una riduzione del 32,6% rispetto al baseline RGB semplice basato solo sui waypoint (1,815 m).
• Rappresenta una riduzione del 28,7% rispetto al controllo accoppiato "no-teacher" (1,716 m).
• Il modello è migliorato rispetto al baseline su 1445/1494 rotte tenute fuori dal training e rispetto al controllo accoppiato su 1417/1494 rotte.

Allineamento con l'Insegnante: L'aggiunta di un insegnante basato sullo stato del simulatore ha ridotto ulteriormente l'FDE a 1,186 m, ma ha introdotto una maggiore variabilità tra i seed. Gli autori considerano questo aspetto come secondario rispetto al risultato robusto senza insegnante.

Diagnostiche:

• La diagnostica Oracle sidecar-selected actor (utilizzando la selezione esatta degli attori ma le feature della camera) ha ottenuto un FDE di 1,146 m.
• La diagnostica Simulator-state actor-dynamics (utilizzando gli stati esatti degli attori) ha ottenuto un FDE di 0,174 m.
• Il grande divario tra il modello RU-sidecar (1,223 m) e la diagnostica dello stato del simulatore (0,174 m) conferma che rimane un significativo "divario tra privilegiato e camera".

Analisi per Slices

I miglioramenti sono stati coerenti in tutti i segmenti (slices) non vuoti condizionati dagli attori:

• Scene ad alta densità di attori: Riduzione del 29,1% dell'FDE per i campioni con $\ge$ 4 attori sidecar validi.
• Utenti Vulnerabili della Strada (VRU): Riduzione del 30,0% dell'FDE in presenza di un pedone o di un ciclista.
• Orizzonte temporale: La riduzione dell'errore è stata osservata in tutti i 6 orizzonti di predizione.

Risultati delle Ablation

• Rimuovere la supervisione del futuro dell'attore ($L_{dyn}$) o la supervisione del selettore ($L_{sel}$) ha causato una regressione delle prestazioni vicino al baseline, indicando che entrambi i componenti sono critici per i guadagni.
• Il semplice ripesaggio della perdita dei waypoint o i controlli con insegnante rimescolato hanno prodotto miglioramenti trascurabili, suggerendo che i guadagni sono specifici della struttura di supervisione incentrata sull'attore.

Significato e Rivendicazioni

Il paper sostiene che la supervisione sidecar derivata dal simulatore e disponibile solo durante l'addestramento migliora significamente la predizione dei waypoint in open-loop per i modelli camera-first. Formulando il problema come apprendimento di rappresentazioni incentrate sugli attori, il modello impara a codificare la struttura degli utenti della strada (esistenza, rilevanza e movimento) partendo solo dagli input RGB, il che a sua volta aiuta la pianificazione della traiettoria.

I contributi chiave includono:

1. Formulazione: Trattare la predizione dei waypoint camera-first come un problema di rappresentazione supervisionata incentrata sugli attori.
2. Metodo: Introdurre le etichette RU-sidecar per l'ancoraggio (grounding), la rilevanza e il movimento degli attori senza compromettere l'inferenza basata solo su RGB.
3. Valutazione: Una "scala di controllo" controllata che isola gli effetti della supervisione degli attori dai cambiamenti architettonici o dal ripesaggio delle perdite, utilizzando split route-disjoint.
4. Quantificazione del Gap: Fornire prove empiriche del gap rimanente tra le rappresentazioni derivate dalla camera e gli stati privilegiati degli attori.

Limitazioni e Modestia:
Gli autori dichiarano esplicitamente che le loro rivendicazioni sono limitate alle diagnostiche in simulazione open-loop. Lo studio non stabilisce la sicurezza in closed-loop, l'evitamento di collisioni, il trasferimento nel mondo reale o la prontezza per la distribuzione. Inoltre, la testa del futuro dell'attore è caratterizzata come un "meccanismo di modellazione della rappresentazione e condizionamento del pianificatore" piuttosto che come un modulo di forecasting deployable, poiché la sua predizione assoluta dello stato futuro (Dyn-FDE) rimane scarsa. La principale rivendicazione supportata è l'efficacia della ricetta RU-sidecar senza insegnante, poiché l'allineamento con l'insegnante ha offerto solo guadagni marginali con maggiore instabilità.