Riepilogo Tecnico: Ottimizzazione della Traiettoria al Tempo di Test per la Guida Autonoma (TOAD)

1. Definizione del Problema

I pianificatori end-to-end (E2E) per la guida autonoma seguono tipicamente un paradigma "genera-e-seleziona": producono un insieme finito di traiettorie candidate (sia da un vocabolario pre-calcolato che generate al volo) e utilizzano uno scorer appreso per classificarle, restituendo l'opzione con il punteggio più alto.

Gli autori identificano un collo di bottiglia critico in questa pipeline: lo scorer viene applicato solo dopo la generazione e non può influenzare l'insieme dei candidati. Se l'insieme iniziale di proposte è subottimale (ad esempio, se tutti i candidati sono insicuri o inefficienti), il pianificatore è costretto a restituire il "migliore di un insieme scadente", indipendentemente dalla qualità dello scorer. Gli attuali metodi trattano lo scorer meramente come un meccanismo di classificazione per un insieme fisso, perdendo l'opportunità di usarlo come funzione obiettivo per cercare attivamente traiettorie migliori.

Inoltre, il documento evidenzia una debolezza nascosta in molti scorer esistenti: quelli addestrati per valutare vocabolari fissi spesso non riescono a generalizzare su traiettorie al di fuori della loro distribuzione di addestramento. Quando utilizzati come funzione di ricompensa per la ricerca, questi scorer possono portare al "reward hacking" o al degrado delle prestazioni perché sono imprecisi su traiettorie nuove e decodificate liberamente.

2. Metodologia: TOAD

Gli autori propongono TOAD (Test-time Optimization for Autonomous Driving), una procedura plug-and-play che inquadra lo scorer E2E congelato come una funzione di ricompensa appresa ed esegue una ricerca nello spazio delle traiettorie al tempo dell'inferenza.

Algoritmo Core: Metodo della Cross-Entropy (CEM)

TOAD avvolge un pianificatore base congelato in un ciclo di inferenza basato sul Metodo della Cross-Entropy (CEM):

1. Warm-Start & Trust Region: La ricerca viene inizializzata utilizzando la traiettoria selezionata dal pianificatore base ($\tau_{base}$) e il suo insieme di candidati. Questo confina la ricerca in una "regione di fiducia" (trust region) attorno alle proposte del pianificatore, garantendo che la ricerca rimanga all'interno della distribuzione dove lo scorer è affidabile.
2. Ricerca nello Spazio di Controllo: Invece di campionare direttamente nello spazio delle pose (il che produrrebbe traiettorie dinamicamente non fattibili), TOAD campiona nello spazio di controllo. Le traiettorie sono mappate in sequenze di accelerazione longitudinale ($a_t$) e velocità angolare ($\omega_t$) utilizzando un modello di bicicletta a cinematica inversa. Ciò assicura che tutte le traiettorie campionate siano fluide e cinematicamente fattibili.
3. Funzione Obiettivo: Il CEM massimizza un obiettivo composito $J(u)$:
   $$J(u) = S(\text{BM}(u, v_0); o, g) - \lambda_a C_{anchor}(u) - \lambda_c C_{comf}(u)$$
   • $S$ (Scorer): La ricompensa appresa dal pianificatore congelato.
   • $C_{anchor}$: Un regolarizzatore che penalizza la deviazione dalla traiettoria ancora (anchor) del pianificatore base per mantenere la regione di fiducia.
   • $C_{comf}$: Un regolarizzatore di comfort a forma chiusa (che penalizza accelerazione, jerk, ecc.) per fornire un segnale che lo scorer appreso potrebbe stimare grossolanamente.
4. Raffinamento Iterativo: In ogni iterazione, $M$ sequenze di controllo vengono campionate da una distribuzione Gaussiana, proiettate in traiettorie, valutate, e le prime $E$ sequenze "élite" vengono utilizzate per riadattare i parametri gaussiani ($\mu, \sigma$).
5. Selezione Finale: Dopo $K$ iterazioni, la traiettoria indotta dalla media convergente viene confrontata con la proposta base originale. Viene selezionata quella con il punteggio finale più alto (inclusi i termini di penalità del comfort).

Scelta di Design Chiave: Lo Scorer

Un risultato critico è che non tutti gli scorer funzionano per TOAD.

• Scorer a Vocabolario Fisso: Gli scorer addestrati solo per classificare traiettorie pre-calcolate (es. Hydra-MDP, GTRS) falliscono quando usati come ricompense per la ricerca. Degradano drasticamente su traiettorie al di fuori del loro specifico vocabolario.
• Scorer Disgiunti: TOAD richiede uno scorer addestrato per valutare traiettorie decodificate liberamente (es. lo scorer di DrivoR). Questo scorer rimane accurato al di fuori della distribuzione di proposta, rendendolo una funzione di ricompensa valida per il ciclo CEM.

3. Contributi Principali

1. Riframing dello Scorer: Gli autori propongono di vedere lo scorer di traiettoria E2E non solo come uno strumento di classificazione per un insieme fisso, ma come una funzione di ricompensa appresa capace di guidare una ricerca per traiettorie ottimali.
2. Framework TOAD: Un algoritmo di ricerca al tempo di test che si integra in qualsiasi pianificatore base esistente senza necessità di riaddestramento. Utilizza il CEM per ottimizzare le traiettorie nello spazio di controllo, partendo dalle proposte del pianificatore tramite warm-start.
3. Identificazione dei Limiti degli Scorer: Il lavoro espone come la valutazione standard della classifica non riveli l'incapacità di generalizzazione di uno scorer. TOAD dimostra che l'ottimizzazione al tempo di test richiede uno scorer che generalizzi oltre le sue proposte di addestramento, una proprietà assente negli approcci a vocabolario fisso.
4. Prestazioni Plug-and-Play: TOAD migliora le prestazioni su sei diversi pianificatori base (sia con vocabolario che con generatori on-the-fly) su molteplici benchmark con un carico computazionale trascurabile e senza aggiornamenti del modello.

4. Risultati Sperimentali

Il metodo è stato valutato su NAVSIM-v1, NAVSIM-v2 e sul simulatore in loop chiuso HUGSIM.

• NAVSIM-v2 (Nuovo Stato dell'Arte):

  • L'applicazione di TOAD a DrivoR ha raggiunto 56.3 EPDMS, un nuovo stato dell'arte che quasi eguaglia il baseline PDM-Closed privilegiato (56.6) che utilizza la percezione ground-truth.
  • Si sono osservati guadagni significativi in tutti i pianificatori. Ad esempio, iPad è migliorato del +43.6% (da 34.7 a 49.8 EPDMS), mentre DrivoR è migliorato del +3.1%.
  • La ricerca riduce efficacementmente il divario di prestazioni tra pianificatori deboli e forti, con i pianificatori più deboli che ottengono i maggiori benefici.

• NAVSIM-v1:

  • Sono stati osservati miglioramenti costanti, con DrivoR + TOAD che raggiunge 94.7 PDMS, solo 0.1 punti sotto il baseline del conducente umano (94.8).

• HUGSIM (Loop Chiuso):

  • TOAD ha migliorato le metriche di sicurezza (Nessuna Collisione, Area Guidabile, Tempo alla Collisione) e il comfort in scene fotorealistiche.
  • Sebbene il completamento del percorso (RC) sia talvolta diminuito (indicando una guida più cauta), il punteggio di guida complessivo (HDS) è migliorato, in particolare su nuScenes e KITTI360.

• Studi di Ablazione:

  • Ricerca vs. Re-ranking: La semplice riclassificazione delle proposte del pianificatore base con lo scorer ha prodotto risultati inconsistenti (a volte peggiorando le prestazioni). I guadagni derivano specificamente dalla ricerca che scopre nuove traiettorie al di fuori dell'insieme originale.
  • Necessità dello Scorer: L'uso di scorer non generalizzanti (es. GTRS) come ricompense ha causato un calo delle prestazioni al di sotto del baseline, confermando la necessità di uno scorer disgiunto e generalizzante.
  • Spazio di Controllo: L'ottimizzazione nello spazio di controllo ha superato il campionamento diretto nello spazio delle traiettorie.

• Costo Computazionale:

  • L'overhead è minimo. La ricerca aggiunge solo da 1.9 ms a 20.4 ms per campione (a seconda del numero di iterazioni $K$).
  • Quando lo scorer fa parte del pianificatore base (condividendo l'architettura di percezione), il costo è quasi nullo. Quando è esterno, il costo è dominato dalla backbone di percezione ridondante (~100 ms), ma la ricerca stessa rimane leggera.

5. Significato e Rivendicazioni

L'articolo sostiene che il principale collo di bottiglia nell'attuale pianificazione E2E sia spesso l'insieme di candidati, non lo scorer. Trattando lo scorer come una funzione di ricompensa ottimizzabile, TOAD sblocca prestazioni precedentemente inaccessibili al pianificatore.

Gli autori sottolineano che TOAD è un miglioramento modesto e plug-and-play che non richiede riaddestramento. Il suo successo dipende dalla disponibilità di uno scorer generalizzante. Il lavoro suggerisce una direzione chiara per il design dei futuri pianificatori: costruire scorer che siano disgiunti dal generatore di traiettorie e addestrati per valutare traiettorie decodificate liberamente. Ciò permetterebbe alla potente ricerca al tempo di test di arrivare "gratuitamente", aumentando significativamente sicurezza e comfort senza cambiamenti strutturali alla rete di generazione.

L'articolo conclude che, sebbene TOAD attualmente si basi su un pianificatore base per l'inizializzazione, uno scorer sufficientemente accurato e generalizzante potrebbe eventualmente permettere la ricerca partendo da zero, eliminando potenzialmente la necessità di un generatore base. Tuttavia, ciò rimane una direzione futura dipendente dalla scalabilità della capacità dello scorer.