🤖 machine learning

CoIRL-AD: Collaborative-Competitive Imitation-Reinforcement Learning in Latent World Models for Autonomous Driving

CoIRL-AD è un framework collaborativo-competitivo che integra l'apprendimento per imitazione e l'apprendimento per rinforzo all'interno di modelli di mondo latenti per migliorare la robustezza e la generalizzazione della guida autonoma end-to-end, in particolare negli scenari long-tail e in contesti cross-city, attraverso il disaccoppiamento degli obiettivi e l'utilizzo di rollout immaginati per l'addestramento offline.

Autori originali: Xiaoji Zheng, Ziyuan Yang, Yanhao Chen, Yuhang Peng, Yuanrong Tang, Gengyuan Liu, Bokui Chen, Jiangtao Gong

Pubblicato 2026-06-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xiaoji Zheng, Ziyuan Yang, Yanhao Chen, Yuhang Peng, Yuanrong Tang, Gengyuan Liu, Bokui Chen, Jiangtao Gong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un'auto a guida autonoma. Tradizionalmente, lo abbiamo fatto mostrando al veicolo migliaia di ore di filmati di conducenti esperti e dicendo: "Copia esattamente ciò che fanno". Questo è chiamato Imitation Learning (IL) (Apprendimento per Imitazione). Funziona molto bene su strade familiari, ma se l'auto incontra una situazione strana o rara (come un cervo che salta fuori in una città che non ha mai visto prima), spesso va nel panico o si schianta perché non ha mai visto quello specifico scenario nei suoi video di addestramento.

Per risolvere il problema, i ricercatori hanno provato ad aggiungere il Reinforcement Learning (RL) (Apprendimento per Rinforzo). Pensa al RL come a un videogioco in cui l'auto guadagna punti per la guida sicura e ne perde per gli incidenti. L'auto impara provando diverse azioni e vedendo cosa succede.

Il Problema:
Il documento evidenzia un grosso ostacolo: non puoi facilmente giocare ai "videogiochi" con vere auto a guida autonoma su strade reali. Non puoi lasciare che si schiantino migliaia di volte per imparare. Quindi, dobbiamo addestrarle "offline" usando solo i dati video esistenti. Ma ecco il punto: questi dati esistenti sono quasi interamente composti da una guida esperta perfetta. Non ci sono esempi di guida "cattiva" da cui imparare, e l'auto non sa come esplorare nuove opzioni perché non le ha mai viste. Se lasci semplicemente che l'auto cerchi di "giocare" con il sistema di ricompensa usando questi dati limitati, spesso si confonde, sopravvaluta le proprie capacità e guida in modo pericoloso.

La Soluzione: CoIRL-AD
Gli autori propongono un nuovo sistema chiamato CoIRL-AD. Utilizzano un approccio astuto a "doppia policy", che è come assumere due conducenti diversi per farli addestrare insieme in una simulazione virtuale.

Ecco come funziona, suddiviso in concetti semplici:

1. I Due Conducenti (Dual Policies)

Invece di un unico cervello che cerca di fare tutto, dividono il lavoro:

Il Conducente "Studente" (Imitazione): Il suo unico compito è copiare perfettamente i video degli esperti. Rimane sicuro e segue le regole.
Il Conducente "Esploratore" (Rinforzo): A questo conducente è permesso provare cose nuove. Immagina percorsi diversi e cerca di trovare modi migliori per guidare rispetto al semplice copiare.

2. La Palla di Cristallo (Latent World Model)

Poiché non possono testare su strade reali, hanno bisogno di un simulatore. Ma costruire un simulatore 3D perfetto è difficile. Invece, hanno costruito una "Palla di Cristallo" (un Modello di Mondo Latente).

Quando l'Esploratore pensa: "E se girassi a sinistra qui?", la Palla di Cristallo predice istantaneamente come apparirà la strada tra pochi secondi.
Questo permette all'Esploratore di "immaginare" scenari futuri e vedere se si schianterebbe o avrebbe successo, tutto all'interno del cervello del computer, senza toccare un'auto reale.

3. Il Pensiero a Ritroso (Inverse Causality)

Di solito la pianificazione viene fatta passo dopo passo: "Andrò qui, poi lì, poi lì".
Il documento suggerisce un modo più intelligente: Pensa a ritroso.
Immagina di stare guidando e di vedere una destinazione. Decidi dove vuoi essere tra 3 secondi, e poi capisci la prima mossa per arrivarci. Il documento ha scoperto che questo tipo di pensiero "prima l'obiettivo" aiuta l'Esploratore a trovare percorsi migliori e più fluidi rispetto al metodo passo dopo passo.

4. La Competizione Amichevole

Questo è il ingrediente segreto. Lo Studente e l'Esploratore competono costantemente tra loro.

Corrono l'uno contro l'altro.
Se l'Esploratore trova un modo migliore e più sicuro per guidare, lo Studente impara da lui.
Se l'Esploratore diventa troppo sregolato e inizia a guidare pericolosamente (perché sta allucinando una ricompensa), lo Studente agisce come un'ancora, riportando l'Esploratore a un comportamento sicuro e simile a quello dell'esperto.
Scambiano costantemente conoscenze, ma l'Esploratore non ha mai il permesso di andare così fuori strada da dimenticare come si guida in sicurezza.

I Risultati

Quando hanno testato il sistema sul dataset nuScenes (una enorme collezione di dati di guida reali):

Maggiore Sicurezza: L'auto si è schiantata meno spesso rispetto ai metodi precedenti.
Nuove Città: Quando hanno addestrato l'auto a Singapore e l'hanno testata a Boston (una città completamente diversa), ha gestito il nuovo ambiente molto meglio rispetto alle auto addestrate solo copiando gli esperti.
Eventi Rari: In scenari "long-tail" (incidenti o ostacoli rari e strani), l'auto è stata molto più robusta.

In Sintesi:
Il documento afferma che, avendo un "copiatore sicuro" e un "esploratore rischioso" che competono e imparano l'uno dall'altro all'interno di un simulatore a "palla di cristallo", possiamo insegnare alle auto a guida autonoma a essere più sicure e adattabili, anche quando disponiamo solo di una quantità limitata di dati reali da cui imparare.

Riepilogo Tecnico: CoIRL-AD

1. Definizione del Problema

I modelli di guida autonoma end-to-end (E2E) si affidano prevalentemente all'Imitation Learning (IL), addestrato per imitare le dimostrazioni degli esperti. Sebbene efficaci in scenari comuni, questi modelli soffrono di una scarsa capacità di generalizzazione in situazioni "long-tail" dove i dati degli esperti sono scarsi. Piccoli errori di predizione possono accumularsi nel tempo, spostando l'agente in stati non visti (shift distributivo).

Il Reinforcement Learning (RL) offre una potenziale soluzione, apprendendo dai segnali di ricompensa piuttosto che solo dalle dimostrazioni. Tuttavia, applicare l'RL alla guida autonoma nel mondo reale in un contesto offline (senza simulatori interattivi) presenta sfide significative:

Bias dei Dati: I dataset del mondo reale sono dominati da traiettorie quasi ottimali degli esperti, fornendo una copertura limitata di comportamenti subottimali o alternativi, il che rende difficile l'apprendimento delle differenze di valore.
Conflitto di Obiettivi: L'ottimizzazione congiunta di IL (behavior cloning) e RL (massimizzazione della ricompensa) all'interno di una singola policy spesso porta a conflitti di gradiente.
Bias del Modello: Nei contesti offline, i modelli del mondo addestrati su dati di esperti possono produrre predizioni distorte per azioni fuori distribuzione, portando a stime di valore troppo ottimistiche e a un addestramento instabile se utilizzati per l'esplorazione RL.

Gli approcci esistenti si affidano o a simulatori esterni (convertendo il problema in RL online) o utilizzano strategie in due fasi (pre-addestramento con IL, fine-tuning con RL) che sono soggette a instabilità con dati reali offline.

2. Metodologia: CoIRL-AD

Gli autori propongono CoIRL-AD (Collaborative-Competitive Imitation-Reinforcement Learning), un framework che integra IL e RL sotto un unico regime di addestramento offline utilizzando un Modello del Mondo Latente condiviso.

Architettura Core

Il framework impiega un'architettura a doppia policy composta da due attori separati:

Attore IL: Ottimizzato tramite behavior cloning (perdita di imitazione) per imitare le traiettorie degli esperti.
Attore RL: Ottimizzato tramite reinforcement learning per massimizzare le ricompense cumulative.
Entrambi gli attori condividono un modulo di percezione e un modello del mondo latente, ma sono aggiornati separatamente per isolare l'apprendimento per imitazione dal rumore di esplorazione dell'RL.

Componenti Tecnici Chiave

A. Modello del Mondo Latente e Pianificazione Backward

Modello del Mondo Latente: Inveve della generazione a livello di pixel, il modello opera nello spazio latente per predire stati futuri ( $\hat{s}'$ ) dato lo stato corrente ( $s$ ) e una sequenza di azioni ( $\tau_a$ ). Questo funge da "simulatore reattivo" per l'attore RL per immaginare rollouts futuri.
Pianificazione Backward (Causalità Inversa): Diversamente dalla pianificazione standard forward-causale, gli autori propongono una strategia di pianificazione backward in cui la $i$ -esima azione è condizionata su feature di waypoint correnti e futuri ( $\pi_i(a_i | s_{w,i}, ..., s_{w,n})$ ). Questo ragionamento "dal goal all'azione" fornisce alle prime azioni informazioni contestuali più ricche, che gli autori hanno trovato benefiche per l'obiettivo dell'attore RL di massimizzare le ricompense cumulative.

B. Formulazione RL per Dati Offline

Campionamento a Gruppi (Ispirato a GRPO): Per affrontare la mancanza di diversità comportamentale nei dataset dominati dagli esperti, l'attore RL campiona $G$ traiettorie di azioni dalla sua policy stocastica.
Funzione di Ricompensa: Le ricompense sono calcolate utilizzando segnali basati su regole derivati dalle annotazioni del dataset (mappe e bounding box), tra cui:
- Ricompensa di Imitazione: Prossimità alle azioni dell'esperto.
- Ricompensa di Collisione: Evitamento di ostacoli statici e dinamici.
Stima del Vantaggio (Advantage Estimation): Il framework utilizza il modello del mondo latente per predire stati futuri per le traiettorie campionate. Una rete critic stima il valore degli stati correnti e immaginati futuri. Il vantaggio è calcolato utilizzando una normalizzazione Z-score della ricompensa totale (inclusa la futura ricompensa scontata) all'interno del gruppo.
Policy Stocastica: L'attore RL produce una distribuzione Gaussiana per le azioni per consentire l'esplorazione, con un meccanismo "step-aware" che garantisce la fluidità della traiettoria rendendo stocastica solo un'azione per sequenza mentre le altre seguono la moda.

C. Meccanismo di Dual-Policy Competitivo

Per risolvere l'instabilità dell'RL offline e i conflitti di gradiente dell'ottimizzazione congiunta, i due attori partecipano a un meccanismo di apprendimento competitivo:

Confronto Periodico: Ogni $k$ iterazioni, viene confrontata la performance (ricompensa cumulativa) degli attori IL e RL.
Trasferimento Adattivo:
- Se la performance è simile, entrambi rimangono invariati.
- Se il divario è moderato, un "soft merge" trasferisce la conoscenza dal vincitore al perdente.
- Se il divario è ampio, i parametri del perdente sono direttamente sostituiti da quelli del vincitore.
Ruolo: Questo meccanismo ancora l'attore RL a una guida simile a quella dell'esperto (prevenendo la divergenza catastrofica dovuta al bias del modello del mondo) pur permettendo all'attore RL di trasferire selettivamente comportamenti esplorativi benefici all'attore IL.

3. Contributi Chiave

Framework RL Offline per la Guida E2E: Un approccio innovativo per integrare l'RL nella guida end-to-end senza simulatori esterni, utilizzando un modello del mondo latente addestrato su dati reali per rollouts immaginati.
Addestramento Decoupled Competitivo: Un framework a doppia policy che separa IL e RL in attori distinti per evitare conflitti di gradiente, collegati tramite un meccanismo competitivo che stabilizza l'addestramento e facilita lo scambio di conoscenze.
Strategia di Backward Planning: L'introduzione del masking di causalità inversa nell'head di pianificazione, che migliora le prestazioni dell'RL allineando la policy con un ragionamento orientato all'obiettivo.
Campionamento a Gruppi per Dati Offline: Un adattamento del campionamento a gruppi (GRPO) per generare diversità comportamentale da dataset dominati da esperti, consentendo una stima efficace del valore.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset nuScenes.

Benchmark Principali: CoIRL-AD supera costantemente i forti baseline basati su IL (es. LAW) sia in termini di errore di spostamento L2 che di tassi di collisione. Raggiunge il miglior metrico combinato ( $L2 \cdot Col$ ) e mantiene una bassa latenza di inferenza.
Generalizzazione Cross-City: Quando addestrato su nuScenes-Singapore e testato su nuScenes-Boston, CoIRL-AD ha dimostrato una robustezza significativamente superiore (riduzione del 77% nel metrico $L2 \cdot Col$ rispetto al baseline), attribuita alle capacità di esplorazione dell'attore RL.
Scenari Long-Tail: Sui subset di dati con alti tassi di collisione o alti errori L2 (casi rari/difficili), CoIRL-AD ha mostrato miglioramenti sostanziali rispetto al baseline, mentre il baseline faticava.
Studi di Ablazione:
- Decoupling & Competizione: Solo gli attori disaccoppiati con il meccanismo competitivo hanno migliorato sia l'accuratezza che la sicurezza. Le strategie a due fasi e di merging della perdita sono fallite o hanno performato peggio.
- Modello del Mondo: Rimuovere il modello del mondo latente ha degradato significativamente le prestazioni, specialmente nell'evitamento di collisioni a lungo termine.
- Causalità Inversa: La strategia di pianificazione backward ha beneficiato specificamente l'attore RL; applicarla al puro IL ha degradato le prestazioni, evidenziando la sua utilità specifica per la massimizzazione della ricompensa.

5. Significato e Rivendicazioni

Il paper sostiene che CoIRL-AD dimostra che il reinforcement learning può efficacemente potenziare i sistemi di guida autonoma end-to-end offline se opportunamente strutturato.

Stabilità rispetto ai Simulatori: Utilizzando un modello del mondo latente appreso invece di un simulatore esterno, il metodo evita i gap sim-to-real e le assunzioni specifiche del simulatore.
Risoluzione della Sfida Offline: Il framework a doppia policy competitiva affronta l'instabilità specifica dell'RL offline (causata dal bias del modello del mondo e dalla mancanza di dati diversificati) usando l'attore IL come ancora stabilizzante.
Miglioramento Mirato: Gli autori sottolineano che l'RL fornisce i benefici più significativi in scenari impegnativi, sotto-rappresentati e long-tail dove le dimostrazioni degli esperti sono scarse, mantenendo al contempo le prestazioni negli scenari standard.
Generalizzabilità: L'approccio è presentato come un framework general-purpose per combinare l'imitation learning e il reinforcement learning nell'AI incarnata (embodied AI), offrendo una direzione promettente per migliorare la generalizzazione senza dipendere dalla simulazione interattiva.