ReinDriveGen: Reinforcement Post-Training for Out-of-Distribution Driving Scene Generation

1. Il Problema: Il Divario Distributivo (OOD) nella Simulazione di Guida

La simulazione fotorealistica delle scene di guida è fondamentale per lo sviluppo e la validazione dei sistemi di guida autonoma, specialmente per generare casi limite critici per la sicurezza (es. incidenti, veicoli che sbandano, pedoni che attraversano all'improvviso).

Tuttavia, esiste un divario fondamentale tra distribuzione di addestramento e inferenza:

• I modelli attuali (basati su ricostruzione 3D o generazione video) sono addestrati su dati reali registrati.
• Durante l'inferenza, un simulatore utile deve permettere modifiche arbitrarie (es. cambiare la traiettoria di un veicolo, ruotare un'auto sul posto, cambiare il punto di vista dell'ego-veicolo).
• Queste modifiche creano condizioni Out-of-Distribution (OOD) che non esistono nei dati di addestramento.
• Il Fine-Tuning Supervisionato (SFT) fallisce in questi scenari perché non esistono dati reali di riferimento (ground truth) per configurazioni editate o accidentali.
• Il risultato è un degrado significativo della qualità, specialmente per i veicoli, che mostrano artefatti geometrici, texture irrealistiche e illuminazione incoerente.

2. Metodologia: ReinDriveGen

ReinDriveGen è un framework unificato composto da due componenti principali: un Simulatore Video Diffusivo Condizionato a Nuvole di Punti e una strategia di Post-Training basata sul Reinforcement Learning (RL).

A. Simulatore Video Diffusivo Condizionato a Nuvole di Punti

L'obiettivo è fornire condizioni geometriche robuste per guidare la generazione video.

1. Costruzione della Scena 3D Dinamica: Aggrega nuvole di punti LiDAR multi-frame (da dataset come Waymo) per creare una scena 3D dinamica. I punti statici vengono accumulati su 200 frame, mentre gli attori dinamici (veicoli, pedoni) sono aggregati in modo categoriale.
2. Completamento del Veicolo (Vehicle Completion): Poiché i veicoli sono spesso parzialmente occlusi o osservati solo da angoli limitati, viene utilizzato un modulo di completamento (basato su AdaPoinTr) per ricostruire la geometria 360° completa dei veicoli. Questo elimina i "buchi" geometrici quando si spostano i veicoli.
3. Rendering e Condizionamento: La scena 3D modificata (con traiettorie editate) viene renderizzata in immagini 2D "pseudo". Queste immagini, sebbene geometricamente corrette, sono rumorose e prive di texture.
4. Generazione Video Condizionata: Un modello di diffusione video (basato su VACE-1.3B) trasforma queste pseudo-immagini in video fotorealistici. Il modello è condizionato sia dalle pseudo-immagini (guida geometrica) che da un frame di riferimento originale (per preservare l'aspetto e l'illuminazione).

B. Post-Training basato su Reinforcement Learning (RL)

Poiché l'SFT non può colmare il divario OOD, viene introdotto un modulo RL per migliorare la qualità senza supervisione di ground truth.

1. Estensione di DiffusionNFT: Il framework estende DiffusionNFT dalla generazione di immagini a quella di video, ottimizzando direttamente il processo di diffusione forward in modo efficiente.
2. Modello di Preferenza a Coppie (Pairwise Preference Model):
   • Invece di un modello di reward puntuale (che assegna un punteggio assoluto, soggetto a "reward hacking"), viene addestrato un modello che confronta coppie di ritagli di veicoli.
   • I dati di preferenza sono generati automaticamente: variando la frequenza di campionamento delle immagini di condizione (es. ogni frame vs ogni 4 frame), si ottengono naturalmente coppie "migliore/peggiore" senza annotazione manuale.
   • L'architettura utilizza un backbone DINOv3 per estrarre feature e un MLP per calcolare la probabilità di preferenza $P(I_1 \succ I_2)$.
3. Meccanismo di Reward a Coppie (Pairwise Reward Mechanism):
   • Per ogni condizione OOD, vengono generati $N$ candidati video.
   • Si eseguono tutte le possibili comparazioni a coppie tra i candidati.
   • Il reward per un candidato è calcolato come il suo tasso di vittoria (win rate) contro gli altri candidati, filtrando le comparazioni ambigue.
   • Questo approccio relativo è più robusto ai bias sistematici rispetto ai punteggi assoluti.
4. Ottimizzazione: Il modello viene aggiornato per massimizzare la probabilità di generare campioni con alto win rate, migliorando progressivamente la qualità dei veicoli in scenari OOD (es. rotazioni, collisioni).

3. Contributi Chiave

1. Simulatore Unificato: Un framework che combina editing esplicito di nuvole di punti 3D con sintesi video basata su diffusione, permettendo il controllo completo su traiettorie degli attori e punti di vista.
2. Modulo di Completamento: Una soluzione efficace per ricostruire la geometria 360° dei veicoli, permettendo manipolazioni libere senza artefatti geometrici.
3. RL Post-Training per Video: Estensione delle tecniche RL (DiffusionNFT) alla generazione video, risolvendo il problema della mancanza di ground truth per scenari OOD.
4. Meccanismo di Reward Innovativo: Introduzione di un meccanismo di reward basato su comparazioni a coppie e un modello di preferenza dedicato, che fornisce segnali di addestramento robusti per migliorare la qualità dei veicoli in scenari critici.

4. Risultati Sperimentali

Il paper presenta valutazioni quantitative e qualitative su scenari di guida editati:

• Scenari OOD: Il metodo dimostra capacità di generare casi limite come veicoli che ruotano sul posto (in-place spinning), capovolgimenti, incroci di ciclisti e collisioni, mantenendo coerenza geometrica e fotorealismo.
• Confronto Quantitativo:
  • Su scenari di cambio corsia e nuove traiettorie dell'ego-veicolo, ReinDriveGen supera gli stati dell'arte (inclusi DriveDreamer4D, ReconDreamer, Street Gaussians) in metriche come FID (minore è meglio), NTA-IoU e NTL-IoU.
  • Nella modifica delle traiettorie dei veicoli, ottiene i migliori punteggi per qualità dell'immagine, coerenza dello sfondo e fluidità del movimento.
• Ablation Study:
  • Il modulo di Vehicle Completion è essenziale: senza di esso, si osservano distorsioni e buchi nelle texture.
  • Il Post-Training RL mostra un miglioramento progressivo della qualità (geometria, texture, illuminazione) all'aumentare dei step di addestramento, confermando che il modello impara a generalizzare su scenari non visti durante l'SFT.

5. Significato e Impatto

ReinDriveGen affronta una sfida fondamentale nell'addestramento della guida autonoma: la necessità di generare dati di addestramento per casi limite rari e pericolosi che non possono essere raccolti facilmente nel mondo reale.

• Superamento del divario OOD: Dimostra che l'RL può colmare il divario tra dati di addestramento e condizioni di test estreme, superando i limiti del solo fine-tuning supervisionato.
• Sicurezza: Permette di simulare scenari di sicurezza critica (es. incidenti, comportamenti errati) con alto realismo, facilitando la valutazione robusta delle politiche di guida autonoma.
• Generalizzabilità: Il paradigma proposto (uso di reward relativi e completamento geometrico) potrebbe essere esteso ad altri domini dove i dati di addestramento non coprono l'intero spazio delle condizioni di test desiderate.

In sintesi, ReinDriveGen rappresenta un passo avanti significativo verso simulatori di guida autonoma completamente controllabili e fotorealistici, capaci di generare scenari "impossibili" o estremamente rari con alta fedeltà.