💻 computer science

CLOVER: Closed-Loop Value Estimation \& Ranking for End-to-End Autonomous Driving Planning

CLOVER è un framework di stima e ranking del valore a ciclo chiuso che affronta il disallineamento tra addestramento e valutazione nella guida autonoma end-to-end utilizzando un'architettura generatore-scorer con traiettorie pseudo-esperte e auto-distillazione conservativa per ottenere prestazioni allo stato dell'arte sul benchmark NAVSIM.

Autori originali: Sining Ang, Yuguang Yang, Canyu Chen, Yan Wang

Pubblicato 2026-05-15

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Sining Ang, Yuguang Yang, Canyu Chen, Yan Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot a guidare un'auto. Per molto tempo, il modo standard per insegnare a questo robot è stato mostrargli un singolo video di un umano che guida perfettamente e dirgli: "Copia esattamente questo".

Il problema? A volte il robot copia l'umano troppo alla lettera. Se l'umano ha commesso un piccolo errore o una mossa strana, il robot potrebbe copiare quell'errore, anche se è pericoloso. Al contrario, a volte il robot avrebbe potuto trovare un modo migliore per guidare (come prendere una corsia leggermente diversa per evitare un camion lento), ma poiché quel percorso non era nel singolo video che gli era stato mostrato, non ha mai pensato di provarlo.

Questo è il disallineamento tra "addestramento" e "test" descritto nel documento. Il robot è addestrato a imitare un singolo percorso, ma viene testato su una complessa lista di controllo di regole relative a sicurezza, comfort e progresso.

Ecco CLOVER: L'istruttore di guida per robot

Gli autori propongono un nuovo sistema chiamato CLOVER (Closed-Loop Value Estimation & Ranking). Pensa a CLOVER non come a un singolo studente, ma come a una scuola guida con due ruoli distinti: un Generatore (il neopatentato) e un Valutatore (l'istruttore di guida severo).

Ecco come funziona, usando analogie semplici:

1. Il Vecchio Metodo vs. Il Metodo CLOVER

Il Vecchio Metodo: Al neopatentato è permesso esercitarsi solo sul percorso che l'istruttore ha guidato ieri. Se l'istruttore ha preso una curva stretta, lo studente deve prendere quella curva stretta, anche se esisteva un percorso più dritto e sicuro.
Il Metodo CLOVER: Al neopatentato viene incoraggiato a generare 64 percorsi possibili diversi per ogni situazione. Forse uno è veloce, uno è super sicuro, uno è molto fluido e uno è un po' rischioso.

2. Il Processo di Addestramento in Due Fasi

Fase 1: Costruire una "Rete di Sicurezza" di Idee
Invece di copiare semplicemente un percorso, il sistema crea una libreria di "Pseudo-Esperti".

L'Analogia: Immagina che l'istruttore non mostri solo un video. Invece, genera un mucchio di scenari "cosa succederebbe se": "Cosa succederebbe se guidassimo 5 mph più lentamente?", "Cosa succederebbe se rimanessimo a 2 piedi a sinistra?", "Cosa succederebbe se frenassimo prima?".
Il sistema filtra questi scenari usando un rigido regolamento (il valutatore). Mantiene quelli che sono sicuri e legali, anche se non sono il percorso esatto che l'umano ha seguito.
Il neopatentato (Generatore) viene quindi addestrato a coprire tutte queste diverse possibilità "sicure", non solo il percorso originale. Questo assicura che il robot abbia un ampio menù di buone opzioni tra cui scegliere.

Fase 2: Il Coaching "Closed-Loop" (Ad Anello Chiuso)
Ora che lo studente ha un ampio menù di opzioni, deve imparare a scegliere quella migliore.

L'Analogia: Lo studente genera 64 percorsi. L'istruttore severo (il Valutatore) li esamina e assegna voti basati sul regolamento del mondo reale (sicurezza, comfort, velocità).
Il Colpo di Scena: L'istruttore non è perfetto. A volte potrebbe assegnare un voto leggermente sbagliato. Quindi, CLOVER utilizza un "Insegnante" (una versione congelata del sistema) per guidare lo studente. L'insegnante dice: "Non inseguire ciecamente il voto più alto; guarda i 10 percorsi migliori e quelli che sono migliori nel bilanciare sicurezza e velocità".
Lo studente affina quindi la sua guida per corrispondere a questi esempi "di alto livello" senza perdere la capacità di generare opzioni diversificate. È come un allenatore che dice: "Stai migliorando nel trovare buoni percorsi, ora perfezioniamo le tue capacità di selezione senza renderti rigido".

3. Perché Funziona (La Condizione "Magica")

Il documento pone una domanda intelligente: E se l'istruttore (Valutatore) commette errori?
Gli autori dimostrano matematicamente che finché l'istruttore è statisticamente migliore di un'ipotesi casuale – nel senso che può solitamente distinguere i percorsi "buoni" da quelli "cattivi" – il sistema migliorerà. Non ha bisogno di un istruttore perfetto; ne ha solo bisogno uno abbastanza bravo da indicare allo studente la direzione giusta.

I Risultati

Quando hanno testato CLOVER sui benchmark di guida NAVSIM (che sono come gli "esami finali" per le auto a guida autonoma):

Ha ottenuto un punteggio di 94.5 (su 100), battendo tutti i metodi precedenti.
È stato particolarmente bravo a gestire scenari di guida difficili e insidiosi (NavHard), eguagliando i migliori risultati mai riportati.
Crucialmente, non è diventato solo migliore nel scegliere l'unico percorso migliore; in realtà è diventato migliore nel generare una varietà più ampia di percorsi di alta qualità fin dall'inizio.

Riepilogo

CLOVER è come elevare uno studente di guida da "Copia i movimenti esatti dell'istruttore" a "Genera molte possibilità sicure, poi usa un allenatore intelligente per aiutarti a scegliere quella assolutamente migliore". Risolve il problema dei robot troppo rigidi insegnando loro a esplorare molte buone opzioni e poi a classificarle attentamente, portando a una guida autonoma più sicura e più simile a quella umana.

Riepilogo Tecnico: CLOVER

Enunciato del Problema

I pianificatori per la guida autonoma end-to-end sono tipicamente addestrati tramite apprendimento per imitazione su una singola traiettoria umana registrata. Tuttavia, vengono valutati utilizzando metriche di pianificazione basate su regole (ad esempio, NAVSIM PDMS/EPDMS) che valutano sicurezza, fattibilità, progresso e comfort. Ciò crea una fondamentale discrepanza tra addestramento e valutazione:

Le traiettorie vicine al percorso registrato possono comunque violare le regole di sicurezza o indurre interazioni pericolose.
Le traiettorie alternative che si discostano dalla dimostrazione possono essere valide e ottenere punteggi elevati, ma non vengono mai osservate durante l'addestramento.

Questa discrepanza è particolarmente limitante per i pianificatori a proposta-selezione, che generano multiple traiettorie candidate e selezionano la migliore. Le loro prestazioni sono vincolate da due fattori accoppiati: la capacità del generatore di coprire alternative di alta qualità (copertura) e la capacità dello scorer di classificarle correttamente (qualità della classificazione). La supervisione su singola traiettoria spesso collassa l'insieme dei candidati attorno a un unico comportamento realizzato, fallendo nel catturare la natura multi-modale della guida (ad esempio, mantenere la velocità vs. frenare vs. cambiare corsia).

Metodologia: Framework CLOVER

CLOVER (Closed-LOop Value Estimation and Ranking) è un framework progettato per chiudere il ciclo tra la generazione delle proposte e la classificazione delle traiettorie. Impiega un'architettura leggera generatore-scorer e opera in due fasi di addestramento distinte.

Architettura

Generatore: Produce $K$ traiettorie future candidate dell'ego ( $\tau_i$ ) basate su immagini multi-view della telecamera e sullo stato dell'ego.
Scorer: Un modulo a livello di traiettoria che prevede i sottopunteggi delle metriche di pianificazione (collisione, area percorribile, progresso, comfort, ecc.) per ogni candidato.
Inferenza: I candidati sono classificati in base al punteggio previsto composto (utilizzando la regola ufficiale PDMS $\Gamma_{PDMS}$ ) e viene selezionata la traiettoria con il punteggio più alto. Il valutatore basato su regole non è richiesto al momento della distribuzione.

Fase 1: Copertura delle Proposte Filtrata dal Valutatore

Per affrontare la mancanza di diversità nell'imitazione su singola traiettoria, CLOVER costruisce un insieme pseudo-esperto $\mathcal{E}(o)$ per ogni scena durante l'addestramento.

Generazione: Invece di perturbare la traiettoria registrata, i candidati sono generati a partire da famiglie di azioni interpretabili (ad esempio, variando offset laterali, profili di accelerazione, comportamenti stop-and-go, casi limite) utilizzando informazioni privilegiate dalla cache metrica (centrolinee del percorso, occupazione futura degli ostacoli) disponibili solo durante l'addestramento.
Filtraggio: I candidati sono pre-filtrati per area percorribile e occupazione, valutati dal vero valutatore basato su regole e selezionati tramite una strategia consapevole della copertura per garantire pattern di sottopunteggio e intervalli di punteggio diversificati.
Obiettivo di Addestramento: Il generatore è addestrato a coprire questi pseudo-esperti mantenendo la traiettoria registrata come prior. Lo scorer è pre-addestrato per prevedere i veri sottopunteggi del valutatore.
- Funzione di perdita: $L_{stage1} = \lambda_{gt} L_{gt} + \lambda_{pe} L_{pe} + \lambda_{score} L_{score}$ , dove $L_{pe}$ incoraggia la copertura dell'insieme pseudo-esperto.

Fase 2: Auto-distillazione Conservativa in Closed-Loop

Questa fase rifinisce la distribuzione delle proposte espansa utilizzando una procedura conservativa e alternata per evitare l'instabilità derivante dalla massimizzazione diretta di una ricompensa appresa imperfetta.

Fase Scorer: Lo scorer viene adattato ai veri sottopunteggi del valutatore sull'insieme corrente di proposte generate.
Fase Generatore: Un "insegnante" congelato (il generatore corrente) produce proposte. Lo scorer le valuta per selezionare due insiemi target:
- Insieme Top-k: Selezionato in base al punteggio previsto composto.
- Insieme Pareto Vettoriale: Composto da proposte non dominate nello spazio dei sottopunteggi (preservando i compromessi sicurezza-progresso-comfort).
- Il generatore studente è addestrato a coprire questi target utilizzando un termine di regolarizzazione per la stabilità che scoraggia la deviazione dalla distribuzione dell'insegnante.
- Funzione di perdita: $L_{gen} = \lambda_{traj} L_{gt} + \lambda_{topk} L_{set} + \lambda_{pareto} L_{set} + \lambda_{stab} L_{stab}$ .

Giustificazione Teorica

Il documento analizza quando uno scorer imperfetto può migliorare in modo affidabile il generatore. Si ipotizza una condizione di arricchimento dell'insieme selezionato: se i target selezionati dallo scorer (Top-k o Pareto) sono statisticamente arricchiti con vere traiettorie di alta qualità rispetto alla distribuzione corrente delle proposte, allora la distillazione conservativa a livello di insieme aumenta la massa di probabilità sulle traiettorie ad alto punteggio. Gli autori dimostrano che CLOVER soddisfa empiricamente questa condizione, poiché i target selezionati dallo scorer hanno punteggi veri significativamente più alti rispetto alla media del pool di proposte.

Contributi Chiave

Framework CLOVER: Un framework di stima del valore e classificazione in closed-loop che accoppia la generazione delle proposte e la classificazione delle traiettorie per affrontare la discrepanza tra addestramento e valutazione.
Supervisione Pseudo-Esperta Filtrata dal Valutatore: Un metodo per estendere l'imitazione su singola traiettoria all'addestramento multi-modale a livello di insieme, costruendo insiemi di candidati diversificati e di alta qualità utilizzando informazioni privilegiate disponibili solo durante l'addestramento.
Auto-distillazione Conservativa in Closed-Loop: Una strategia di addestramento alternata che adatta lo scorer ai veri sottopunteggi e rifinisce il generatore utilizzando target Top-k e Pareto Vettoriale selezionati dall'insegnante con regolarizzazione per la stabilità, evitando le insidie della massimizzazione della ricompensa senza vincoli.
Analisi Teorica ed Empirica: Una dimostrazione che scorers imperfetti possono guidare efficacemente il raffinamento se i target selezionati sono statisticamente arricchiti sotto il vero valutatore, validata da dati empirici che mostrano significativi gap di arricchimento negli insiemi selezionati dallo scorer.

Risultati Sperimentali

CLOVER è stato valutato su NAVSIM v1, NAVSIM v2 (EPDMS), NavHard e sui benchmark open-loop di nuScenes.

NAVSIM v1: Ha raggiunto 94.5 PDMS, superando la forte baseline DrivoR (93.7) e classificandosi primo o secondo in tutti i sottopunteggi.
NAVSIM v2 (navtest): Ha raggiunto 90.4 EPDMS (implementazione ufficiale aggiornata) e 87.2 EPDMS (codice originale), eguagliando o superando i risultati più forti riportati.
NavHard: Ha raggiunto 48.3 EPDMS sulla divisione navhard-two-stage impegnativa, eguagliando il risultato più forte riportato.
nuScenes Open-Loop: Ha raggiunto l'errore di spostamento L2 più basso (0.31m sotto il protocollo ST-P3) e il tasso di collisione migliore/pari al migliore (0.10%) tra i metodi confrontati.
Ablazione e Analisi:
- La Fase 1 ha espanso significativamente lo spazio delle proposte (Oracle@64 è aumentato da 0.9933 a 0.9976) ma ha introdotto una coda a basso punteggio.
- La Fase 2 ha rifinito questa distribuzione, migliorando il PDMS selezionato a 0.9448 preservando un'alta diversità (ADE a coppie di 5.20 contro 1.80 della baseline).
- I guadagni sono stati attribuiti a una distribuzione dei candidati più forte piuttosto che semplicemente alla selezione di una migliore traiettoria top-1.

Significato e Affermazioni

Il documento afferma che CLOVER stabilisce una nuova prestazione state-of-the-art sui principali benchmark di pianificazione per la guida autonoma. Il suo significato risiede in:

Risoluzione della Discrepanza: Utilizzare esplicitamente il feedback fornito dal valutatore per addestrare un estimatore di valore a livello di traiettoria e rifinire la distribuzione dei candidati, invece di affidarsi esclusivamente all'imitazione su singola traiettoria.
Raffinamento Affidabile: Dimostrare che uno scorer imperfetto appreso può servire come mediatore utile per il raffinamento delle proposte, a condizione che i target selezionati siano statisticamente arricchiti sotto il vero valutatore e gli aggiornamenti rimangano conservativi.
Miglioramento Centrato sulla Proposta: Mostrare che i miglioramenti nelle metriche finali di pianificazione derivano dal potenziamento sia della qualità che della diversità dell'intero insieme dei candidati, non solo dalla selezione finale.

Gli autori notano che, sebbene CLOVER assomigli all'apprendimento per rinforzo attore-critico, è distinto perché opera interamente offline su scene registrate con un valutatore basato su regole, senza interazione con l'ambiente online o esplorazione per tentativi ed errori. Si suggerisce un lavoro futuro per integrare scorers consapevoli della storia o a livello di sequenza per modellare meglio la coerenza temporale per metriche come il Comfort Esteso (EC).