Sintesi Tecnica: DrivoR – Driving on Registers

Problematica

La guida autonoma end-to-end (E2E) mira a mappare i dati grezzi dei sensori direttamente sulle decisioni di guida, riducendo i costi di etichettatura ed evitando annotazioni modulari intermedie. Sebbene i metodi basati sulla proposta di traiettorie abbiano mostrato prestazioni elevate generando molteplici percorsi candidati e selezionando il migliore, essi affrontano un significativo collo di bottiglia computazionale. Gli approcci allo stato dell'arte attuali spesso si affidano a backbone pesanti (ad esempio, grandi Vision Transformer o CNN) che generano migliaia di token per fotogramma. L'elaborazione di questi token per centinaia di candidati di traiettoria crea un carico computazionale che scala in modo inefficiente rispetto alla risoluzione e al numero di sensori. Inoltre, le soluzioni esistenti spesso si affidano a un pooling uniforme delle caratteristiche, che tratta tutti gli input delle telecamere come ugualmente informativi e impone requisiti di risoluzione rigidi, potenzialmente scartando contesti critici per la pianificazione.

Metodologia: Architettura DrivoR

Gli autori propongono DrivoR, un'architettura pure-transformer semplice ed efficiente, progettata per la pianificazione E2E. Il sistema evita rappresentazioni intermedie complesse (come le proiezioni Bird's Eye View) e grandi dizionari di traiettorie pre-calcolati. Invece, utilizza una pipeline transformer a tre stadi:

1. Encoder di Percezione con Register Camera-Aware

L'innovazione principale risiede nell'encoder di percezione, che sostituisce il pooling uniforme con token register camera-aware.

• Meccanismo: Per ciascuna delle $N$ telecamere di input, il modello introduce un set fisso di $R$ token register apprendibili. Questi vengono concatenati con i normali token di patch e inseriti in un backbone Vision Transformer (ViT) pre-addestrato (specificamente DINOv2 ViT-S).
• Compressione: Il ViT comprime le caratteristiche visive ad alta dimensione in questi $R$ register per ogni telecamera. L'output è un set compatto di $N \times R$ "scene tokens".
• Vantaggio: Questo approccio riduce drasticamente la lunghezza della sequenza per l'elaborazione successiva (da migliaia di token a poche decine) preservando al contempo il contesto rilevante per la pianificazione. I register sono specifici per ogni telecamera, permettendo al modello di differenziare tra viste anteriori, laterali e posteriori.
• Addestramento: Il backbone viene perfezionato utilizzando la Low-Rank Adaptation (LoRA) per apprendere efficientemente la compressione vision-to-register, mantenendo basso il numero di parametri.

2. Decoder di Traiettoria

Il decoder di traiettoria genera percorsi candidati utilizzando un'architettura transformer decoder standard.

• Input: Riceve un set di query di traiettoria apprendibili, aumentate dalle informazioni sullo stato dell'ego-vehicle (posa, velocità, accelerazione, comandi).
• Attenzione: Le query effettuano l'attenzione (attention) verso i "scene tokens" compressi tramite cross-attention.
• Output: Il decoder produce un set di traiettorie candidate, ciascuna rappresentata come una sequenza di pose $(x, y, \theta)$ nel frame locale dell'agente ego.
• Loss: L'addestramento utilizza una perdita Winner-Takes-All (WTA) o minimum-over-$N$ (MoN), supervisionando solo la traiettoria predetta più vicina alla ground truth, incoraggiando la diversità nel set di proposte.

3. Scoring Decoder (Disentangled)

Un modulo di scoring distinto valuta la qualità delle traiettorie generate.

• Disentanglement: Fondamentalmente, le traiettorie decodificate vengono ri-embeddate in un nuovo spazio di caratteristiche e staccate dal grafo dei gradienti prima di entrare nello scoring decoder. Ciò impedisce che il processo di generazione della traiettoria sia influenzato dalla qualità immediata dello scorer durante l'addestramento, imponendo una separazione tra generazione e valutazione.
• Sotto-score: Inveovce di un singolo valore scalare, il modello predice sei sotto-score interpretabili corrispondenti ai componenti del Predictive Driver Model Score (PDMS) (ad esempio, sicurezza, comfort, efficienza, progresso).
• Condizionamento del Comportamento: Durante l'inferenza, questi sotto-score possono essere pesati diversamente (tramite un set di pesi $\lambda$) per modulare il comportamento di guida (ad esempio, dando priorità alla sicurezza rispetto al progresso) senza dover ri-addestrare il modello.

Contributi Chiave

1. Architettura Transformer Semplice: Un pianificatore E2E pure-transformer che elimina la necessità di rappresentazioni BEV intermedie o grandi vocabolari di traiettoria.
2. Compressione dei Token basata su Register: Il primo lavoro che riutilizza i token register di ViT specificamente per comprimere le caratteristiche visive nella pianificazione E2E. Ciò ottiene una rappresentazione della scena compatta che mantiene il contesto critico riducendo il carico computazionale di ordini di grandezza rispetto alle mappe di caratteristiche complete.
3. Scoring Disentangled: Un design modulare che separa la generazione della traiettoria dallo scoring, consentendo l'apprendimento di sotto-score interpretabili e permettendo policy di guida condizionate dal comportamento durante l'inferenza.

Risultati Sperimentali

DrivoR è stato valutato su tre benchmark principali: NAVSIM-v1, NAVSIM-v2 e il benchmark closed-loop fotorealistico HUGSIM.

• NAVSIM-v1: DrivoR supera tutti gli esistenti metodi camera-only, ottenendo un PDMS di 93.7 (usando dati trainval) e 94.0 con dati sintetici aggiuntivi, avvicinandosi alle prestazioni umane (94.8). Supera significativamente i forti baseline come RAP e UniAD.
• NAVSIM-v2: Nello split impegnativo navhard-two-stage, DrivoR raggiunge un nuovo stato dell'arte EPDMS di 54.6, superando modelli come GTRS e ZTRS. Notevolmente, lo raggiunge con un backbone molto più piccolo (ViT-S) e meno parametri (~40M) rispetto ai competitor.
• HUGSIM: In una valutazione zero-shot sul benchmark closed-loop HUGSIM, DrivoR (addestrato solo su NAVSIM-v1) ha ottenuto il più alto Road Completion (49.8%) e HD-Score (35.7) tra i baseline riportati, dimostrando una forte generalizzazione in ambienti 3D fotorealistici.
• Efficienza: La compressione basata su register produce un miglioramento del throughput di 3 volte (110ms vs 400ms per passaggio forward su una GPU A100) e una riduzione di 3 volte in GFLOPS e picco di memoria rispetto a un baseline ViT-L, rendendo l'implementazione in tempo reale più fattibile.

Significato e Rivendicazioni

Il paper sostiene che un'architettura pure-transformer, se combinata con una compressione dei token mirata tramite register, è sufficiente per una guida end-to-end accurata, efficiente e adattiva. Gli autori evidenziano che:

• Il pooling uniforme è subottimale; i register camera-aware permettono al modello di apprendere quali viste siano più informative (ad esempio, le telecamere anteriori per la pianificazione, le telecamere posteriori per specifici controlli di sicurezza).
• Disaccoppiare lo scoring dalla generazione migliora le prestazioni e consente comportamenti di guida controllabili.
• Alte prestazioni non richiedono enormi dizionari di traiettoria o rappresentazioni 3D intermedie complesse; un semplice pipeline transformer ben strutturato può eguagliare o superare le prestazioni di sistemi più complessi pur essendo significativamente più efficiente.

Il lavoro suggerisce uno spostamento verso strategie di compressione leggere basate su register per sistemi di guida autonoma in tempo reale, dimostrando che "meno è meglio" quando la compressione è appresa e consapevole del contesto.