Sintesi Tecnica: Scalare il Self-Play per la Guida End-to-End

Problematica

I modelli di guida autonoma end-to-end sono attualmente dominati dal Behavior Cloning (BC) addestrato su dataset di dimostrazioni umane offline. Sebbene questo paradigma sia scalabile in termini di capacità del modello, presenta limitazioni strutturali:

1. Copertura Limitata dello Stato: I log offline forniscono una distribuzione ristretta di stati, lasciando le policy fragili quando incontrano scenari al di fuori della guida umana nominale.
2. Shift Covariante (Covariate Shift): L'assenza di interazione in loop chiuso durante l'addestramento porta a errori cumulativi durante la distribuzione, poiché il modello incontra stati che non è mai stato addestrato a gestire.
3. Incompatibilità del Self-Play Esistente: Gli approcci di self-play precedenti in simulazione hanno mostrato risultati promettenti, ma tipicamente si basano su osservazioni vettorializzate Bird's-Eye-View (BEV). Queste sono incompatibili con le moderne policy end-to-end che devono operare direttamente su input sensoriali grezzi (pixel). Inoltre, l'apprendimento per rinforzo (RL) diretto dai pixel alla scala dei modelli end-to-end è proibitivamente inefficiente in termini di campionamento a causa del costo computazionale dei passaggi forward e backward attraverso ampi backbone visivi.

Metodologia

Il documento propone un framework in tre fasi: Gigapixel (un simulatore ad alto throughput), Self-Play DAgger (un algoritmo di addestramento efficiente nel campionamento) e Sim-to-Real Perception Adaptation.

1. Simulatore Gigapixel

Per consentire un self-play scalabile direttamente dai pixel, gli autori introducono Gigapixel, un simulatore di guida batch ad alto throughput.

• Architettura: Estende il simulatore PufferDrive con il motore di rendering Madrona, supportando sia la rasterizzazione che il ray tracing.
• Rappresentazione: Invece di una simulazione sensoriale fotorealistica, Gigapixel renderizza un "mondo a bounding-box" semplificato. Agenti, ostacoli statici e semafori sono rappresentati come primitive geometriche (cuboidi, piani, sfere).
• Performance: Questa astrazione preserva l'essenziale geometria della scena e la fedeltà dell'interazione, pur raggiungendo un throughput di 50.000 agent steps per secondo (SPS) su una singola GPU NVIDIA A100, scalando quasi linearmente con il numero di GPU. Questo throughput è di ordini di grandezza superiore rispetto ai simulatori fotorealistici come HUGSIM o RAP, consentendo la generazione di enormi quantità di esperienza on-policy.

2. Addestramento Self-Play DAgger

Riconoscendo che il RL diretto nello spazio dei pixel è troppo inefficiente in termini di campionamento per i grandi modelli end-to-end, gli autori propongono il Self-Play DAgger. Questo approccio decupla l'addestramento RL dalla policy basata sui pixel:

• Insegnante Vettorializzato: Una policy insegnante leggera e privilegiata ($\pi_{teacher}$) viene addestrata tramite self-play RL in un simulatore astratto utilizzando osservazioni BEV vettorializzate. Questo insegnante apprende comportamenti robusti in loop chiuso e può essere interrogato a basso costo.
• Studente Basato sui Pixel: Una policy studente basata sui pixel ($\pi_{student}$) viene addestrata tramite distillazione on-policy. Lo studente controlla tutti gli agenti nella scena (multi-agent self-play) e osserva solo immagini pixel renderizzate.
• Processo di Distillazione: Durante l'addestramento, lo studente esegue rollout di traiettorie nel simulatore. L'insegnante viene poi eseguito in un ambiente parallelo forked dallo stesso stato per generare target di traiettoria ($\tau$). Lo studente viene addestrato per corrispondere a questi target.
• Vantaggi: Ciò preserva i benefici del self-play in loop chiuso (apprendere dalle conseguenze delle azioni e generare diverse interazioni multi-agente) riducendo drasticamente la complessità di campionamento rispetto al RL diretto. Permette inoltre allo studente di produrre direttamente traiettorie, corrispondendo al formato degli standard planner end-to-end.

3. Sim-to-Real Perception Adaptation

Per colmare il divario tra le rappresentazioni astratte di Gigapixel e i dati sensoriali del mondo reale, gli autori impiegano una strategia di adattamento leggera:

• Fine-tuning della sola Percezione: La testa di pianificazione ($f_{\theta_{plan}}$), che codifica i comportamenti in loop chiuso appresi nel self-play, viene congelata. Solo il backbone della percezione ($f_{\theta_{per}}$) viene sottoposto a fine-tuning.
• Obiettivo: Utilizzando un dataset di osservazioni accoppiate (immagini reali e le relative rappresentazioni Gigapixel), lo studente viene addestrato per mappare le immagini reali nella stessa rappresentazione latente delle immagini simulate. Ciò avviene tramite una perdita di pianificazione (planning loss) e una perdita di matching delle feature percettive.

Contributi Chiave

1. Il Self-Play come Alternativa Scalabile: Il documento stabilisce il self-play come una valida alternativa al behavior cloning offline per l'addestramento di modelli di guida end-to-end, affrontando la fragilità strutturale del BC.
2. Self-Play DAgger: Un nuovo paradigma di addestramento efficiente che distilla un insegnante RL privilegiato in uno studente basato sui pixel, consentendo un apprendimento scalabile in loop chiuso senza il costo proibitivo del RL diretto nello spazio dei pixel.
3. Gigapixel: Un simulatore ad alto throughput con rendering di prospettiva che consente il self-play basato sui pixel su larga scala (50k SPS) renderizzando mondi semplificati a bounding-box invece di scene fotorealistiche.
4. Trasferimento Sim-to-Real Leggero: Una dimostrazione che comportamenti di guida robusti appresi in simulazione possono essere trasferiti a sensori del mondo reale adattando solo il modulo di percezione, senza richiedere la supervisione di traiettorie umane durante la fase di self-play.

Risultati Sperimentali

Gli autori hanno valutato il loro approccio sugli benchmark HUGSIM (closed-loop, fotorealistico) e NAVSIM-v2 (pseudo-closed-loop).

• Performance di HUGSIM: Il modello Gigapixel-DrivoR, addestrato tramite self-play, ha raggiunto prestazioni state-of-the-art sul benchmark HUGSIM, superando tutti i baseline in termini di Route Completion (RC) media e HD-Score senza alcuna supervisione di traiettorie umane. Nello specifico, ha migliorato l'HD-Score di 2,8 punti rispetto al baseline behavior-cloned DrivoR e di 12,5 punti rispetto al DrivoR-Reg basato su regressione.
• Performance di NAVSIM-v2: I modelli hanno ottenuto prestazioni competitive sulla split navhard di NAVSIM-v2. In particolare, i modelli self-play hanno mostrato guadagni significativi nello Stage 2 (recupero da pose ego perturbate), che funge da proxy per la robustezza in loop chiuso. Gigapixel-DrivoR ha migliorato il punteggio EPDMS dello Stage 2 di 4,1 punti rispetto al suo equivalente behavior-cloned.
• Leggi di Scalabilità (Scaling Laws): Gli esperimenti hanno dimostrato che le performance scalano coerentemente con l'esperienza di addestramento. L'aumento del numero di agent step in Gigapixel ha prodotto guadagni proporzionali nelle performance della policy, con il Self-Play DAgger che supera significativamente sia il Behavior Cloning che il DAgger single-agent.
• Analisi Qualitativa: Le visualizzazioni hanno mostrato che le policy addestrate con self-play gestiscono con successo scenari critici per la sicurezza (es. decelerazione di veicoli di testa, recupero da derive verso il bordo stradale) che le policy addestrate con behavior cloning non riescono a navigare, risultando spesso in collisioni o violazioni del bordo strada.

Significato e Rivendicazioni

Il documento sostiene di aver stabilito il self-play come una strategia pratica e scalabile per l'addestramento di modelli di guida end-to-end. Combinando un simulatore ad alto throughput con un algoritmo di distillazione efficiente nel campionamento, gli autori dimostrano che è possibile apprendere comportamenti di guida robusti in loop chiuso direttamente dai pixel senza dipendere dai limiti dei dati umani offline.

Il lavoro suggerisce che le limitazioni strutturali del behavior cloning — specificamente la fragilità rispetto alle interazioni long-tail e gli errori cumulativi — possono essere superate attraverso la generazione di esperienza sintetica. Gli autori sottolineano che il loro approccio raggiunge risultati competitivi su rigorosi benchmark senza supervisione di traiettorie umane durante la fase centrale di addestramento del self-play, aprendo una strada verso il miglioramento continuo tramite dati sintetici.

Limitazioni Riconosciute:
Gli autori notano che la rappresentazione astratta di Gigapixel non può catturare indizi fini come detriti, meteo o illuminazione complessa. Inoltre, l'asimmetria insegnante-studente (osservazioni vettorializzate privilegiate vs pixel) rimane un limite teorico, sebbene i risultati suggeriscano che lo studente possa inferire con successo le azioni necessarie. Infine, l'attuale adattamento sim-to-real richiede dati accoppiati, il che può essere meno diretto quando sono disponibili solo log sensoriali grezzi.