Sintesi Tecnica: CLEAR – Closed-Loop Reinforcement Learning at Scale per l'End-to-End Autonomous Driving

Problematica

L'end-to-end autonomous driving (E2E-AD) mira a mappare i dati grezzi dei sensori direttamente nelle azioni di guida. Recentemente, i modelli Vision-Language-Action (VLA) sono emersi come un paradigma promettente, integrando la percezione visiva, la comprensione del linguaggio e la predizione delle azioni all'interno di un'unica policy. Tuttavia, gli approcci basati su VLA esistenti si affidano prevalentemente all'Imitation Learning (IL). Sebbene l'IL sia scalabile con i dati, soffre di un critico shift distributivo tra l'apprendimento open-loop (apprendimento da traiettorie esperte registrate) e l'inferenza closed-loop (dove le azioni stesse dell'agente influenzano gli stati futuri). Questo shift porta spesso a prestazioni subottimali e fallimenti in scenari complessi e dinamici.

Inoltre, l'applicazione del Reinforcement Learning (RL) a policy basate sulla visione su larga scala affronta significativi ostacoli ingegneristici. L'RL è avido di dati e richiede migliaia di ambienti di simulazione paralleli. Nella pratica, eseguire il simulatore (ad esempio, CARLA) e il VLA learner sullo stesso hardware crea una contesa di risorse (specificamente memoria GPU e instabilità del rendering), limitando il numero di ambienti paralleli e ostacolando l'efficace addestramento.

Metodologia: Il Sistema CLEAR

Gli autori propongono CLEAR, un sistema progettato per abilitare il fine-tuning tramite RL closed-loop su larga scala per le policy VLA. L'approccio consiste in tre componenti principali:

1. Framework di Addestramento a Due Stadi

• Stadio 1: Pretraining Open-Loop: Il sistema effettua prima il pretraining di un modello VLA (utilizzando InternVL3-1B come backbone) su un ampio dataset di traiettorie esperte (~3,1 milioni di campioni) tramite imitation learning. Questo stabilisce un "prior di waypoint", dotando il modello di capacità di guida di base e una percezione robusta.
• Stadio 2: Fine-tuning RL Closed-Loop: Invece di addestrare da zero o produrre direttamente controlli a basso livello, CLEAR apprende una policy di waypoint residua.
  • Il VLA pre-addestrato genera un percorso base e dei waypoint di velocità.
  • L'agente RL (ottimizzato tramite Proximal Policy Optimization, PPO) apprende a predire correzioni residue ($\Delta y, \Delta v$) a questi waypoint base.
  • Il comando finale del waypoint è la somma del piano base e del residuo, limitata entro margini di sicurezza.
  • Un controller deterministico mappa quindi questi waypoint in controlli del veicolo a basso livello (sterzo, accelerazione, frenata). Fondamentalmente, il controller è trattato come parte della dinamica dell'ambiente, il che significa che nessun gradiente fluisce attraverso di esso durante gli aggiornamenti RL.

2. Pipeline di Fine-tuning Eterogenea

Per superare il collo di bottiglia della scalabilità, CLEAR impiega una pipeline eterogenea che scinde l'ambiente di simulazione dall'agente di apprendimento:

• Separazione del Calcolo: I simulatori CARLA vengono avviati su macchine host indipendenti (utilizzando GPU di generazione precedente o consumer come Tesla V100), mentre il VLA learner gira su cluster ad alte prestazioni (ad esempio, NVIDIA H100).
• Comunicazione: Tunnel Secure Shell (SSH) facilitano la comunicazione tra il server (simulatore) e il client (learner).
• Impatto: Questa architettura elimina la contesa delle risorse GPU, permettendo al sistema di avviare 64 ambienti CARLA paralleli simultaneamente. Ciò consente l'addestramento su 100 milioni di campioni con batch size elevate (batch totale: 16.384; mini-batch: 4.096), elemento critico per la convergenza degli algoritmi RL che richiedono grandi quantità di dati.

3. Funzione di Reward

L'obiettivo RL massimizza il ritorno scontato atteso basandosi sul Percorso Completato (RC - Route Completion). La funzione di reward include:

• Un fattore di penalità soft per le deviazioni.
• Penalità hard (che terminano l'episodio) per collisioni, violazioni dei semafori rossi o infrazioni ai segnali di stop.

Contributi Chiave

1. RL Closed-Loop per VLA: CLEAR è il primo sistema che abilita efficacementamente il fine-tuning RL closed-loop su larga scala per le policy E2E-AD basate su VLA, andando oltre i limiti del puro imitation learning.
2. Policy di Waypoint Residua: Imparando le correzioni attorno a un prior di waypoint pre-addestrato invece del controllo diretto a basso livello, il metodo sfrutta efficacemente la conoscenza incorporata nel VLA pre-addestrato pur migliorando la robustezza negli scenari closed-loop.
3. Infrastruttura Eterogenea Scalabile: La pipeline proposta risolve il problema della contesa delle risorse GPU, consentendo l'implementazione di un numero massiccio di simulatori paralleli (64+) e l'addestramento su 100 milioni di campioni, che gli autori identificano come un fattore chiave per raggiungere prestazioni state-of-the-art.

Risultati Sperimentali

CLEAR è stato valutato su tre benchmark impegnativi:

• CARLA longest6 v2: Questo benchmark presenta percorsi lunghi con scenari complessi e critici per la sicurezza.
  • I metodi precedenti (inclusi l'IL su larga scala e i precedenti tentativi IL+RL) hanno ottenuto una Success Rate (SR) dello 0%, fallendo in ogni percorso.
  • CLEAR (InternVL3-1B) ha ottenuto una SR del 25,00% e una Route Completion (RC) del 47,24%, superando significativamente tutti i baseline.
• Bench2Drive: Un benchmark con 220 scenari distinti critici per la sicurezza.
  • CLEAR ha ottenuto il punteggio più alto in Driving Score (86.8), Success Rate (69.5%) ed Efficienza tra tutti i metodi confrontati, inclusi altri approcci basati su VLA e transformer.
• nuScenes: Un dataset del mondo reale.
  • CLEAR è stato valutato in un contesto zero-shot (senza addestramento sui dati nuScenes). Ha ottenuto il miglior errore L2 medio (0.49m) e tassi di collisione competitivi rispetto ai modelli addestrati specificamente su nuScenes, dimostrando una forte generalizzazione.

Significato e Limitazioni

Il paper afferma che CLEAR stabilisce un nuovo stato dell'arte per le policy VLA nei simulatori di guida, dimostrando che il Reinforcement Learning su larga scala è essenziale per colmare il divario tra l'addestramento open-loop e le prestazioni closed-loop. Il lavoro evidenzia che semplicemente aumentare la scala dei dati tramite imitation learning non è sufficiente; l'ottimizzazione closed-loop è necessaria per gestire gli shift distributivi.

Gli autori riconoscono diverse limitazioni e direzioni per il lavoro futuro:

• Trasferimento Sim2Real: Il successo attuale è nella simulazione; il dispiegamento nel mondo reale richiede l'indagine di tecniche di trasferimento Sim2Real.
• Limiti di Scalabilità: L'attuale scalabilità è limitata dal numero di istanze CARLA parallele. Migliorare la stabilità dello stack di rendering GPU di CARLA potrebbe consentire una scalabilità ancora maggiore.
• Design del Reward: L'attuale funzione di reward si allinea all'ottimo globale del metrica. Progettare reward efficaci per metriche che mancano di un chiaro ottimo globale rimane una questione di ricerca aperta.