CorrectionPlanner: Self-Correction Planner with Reinforcement Learning in Autonomous Driving

1. Il Problema

La guida autonoma richiede una pianificazione sicura ed efficiente su orizzonti temporali lunghi. Tuttavia, la maggior parte dei pianificatori basati sull'apprendimento (learning-based planners) attuali manca di una capacità esplicita di auto-correzione.

• Limitazione attuale: Una volta che un modello propone un'azione insicura (es. una traiettoria che porta a una collisione), non esiste un meccanismo interno per valutare e correggere tale azione prima dell'esecuzione. Il modello procede semplicemente con l'azione proposta, anche se pericolosa.
• Confronto con gli LLM: Mentre i Large Language Models (LLM) hanno dimostrato che il ragionamento esplicito e l'auto-riflessione (tramite "tracce di ragionamento" in linguaggio naturale) migliorano l'affidabilità e la sicurezza, i pianificatori di guida autonoma operano nello spazio delle azioni fisiche senza un analogo processo di correzione iterativa.

2. Metodologia: CorrectionPlanner

Gli autori propongono CorrectionPlanner, un pianificatore autoregressivo che modella la pianificazione come la generazione di "token di movimento" (motion tokens) all'interno di un ciclo di proposta, valutazione e correzione.

A. Rappresentazione e Tokenizzazione

• Le traiettorie continue vengono discretizzate in token di movimento (segmenti di 0.5 secondi) utilizzando un algoritmo di clustering (K-disk), creando un vocabolario discreto di 1024 token.
• Ogni token rappresenta un cambiamento di posizione e orientamento.

B. Il Ciclo di Auto-Correzione

Il processo di pianificazione avviene in due fasi principali per ogni passo temporale:

1. Proposta: La policy (pianificatore) genera un token di movimento per l'ego-veicolo basandosi sulla storia, sulla mappa e sulle previsioni degli altri agenti.
2. Valutazione (Critic): Un "collision critic" (un classificatore binario appreso) valuta se il token proposto causerà una collisione entro un orizzonte breve (es. 2.5 secondi).
3. Correzione:
   • Se il token è sicuro, viene eseguito.
   • Se il token è insicuro, viene scartato e aggiunto a una traccia di correzione (correction trace). Questa traccia è una sequenza di tutti i token di movimento proposti ma rifiutati in precedenza.
   • La policy genera un nuovo token condizionato non solo dalla storia della scena, ma anche dall'intera traccia di correzione (codificata tramite un blocco di self-attention).
   • Questo processo si ripete iterativamente fino a quando non viene proposto un token sicuro o viene raggiunto un limite massimo di tentativi.

Questa "traccia di correzione" funge da processo di ragionamento interno nello spazio dei token di movimento, analogo alle tracce di pensiero negli LLM.

C. Schema di Addestramento in Due Fasi

Per insegnare al modello a correggere le azioni insicure, viene utilizzato uno schema ibrido:

1. Imitation Learning (IL): Addestramento iniziale sulla previsione del prossimo token utilizzando dati di esperti. Durante questa fase, il modello viene esposto a scenari di collisione e gli viene insegnato a generare token corretti condizionati alla traccia di correzione, minimizzando la perdita di cross-entropia rispetto alle traiettorie degli esperti.
2. Reinforcement Learning (RL) basato su Modello:
   • Viene utilizzato un World Model pre-addestrato (SMART) che simula il comportamento reattivo degli altri agenti (non solo replay passivo, ma interazione dinamica).
   • La policy genera roll-out che includono sia i token eseguiti che i token intermedi di correzione.
   • Viene ottimizzata una funzione di ricompensa basata su regole: massimizza il progresso (progression rate) e penalizza le collisioni.
   • L'obiettivo di ottimizzazione utilizza REINFORCE con regolarizzazione KL per mantenere la policy vicina a quella dell'IL, evitando deviazioni eccessive.

3. Contributi Chiave

1. Architettura di Auto-Correzione: Introduzione di CorrectionPlanner, il primo pianificatore che utilizza un ciclo di "proposta-valutazione-correzione" basato su token di movimento, permettendo un affinamento iterativo delle azioni insicure prima dell'esecuzione.
2. Schema di Addestramento Ibrido: Sviluppo di una strategia in due fasi (IL + RL con World Model reattivo) che permette al modello di imparare non solo a imitare gli esperti, ma anche a correggere attivamente le proprie previsioni in scenari interattivi complessi.
3. Prestazioni Superiori: Dimostrazione che l'auto-correzione riduce significativamente i tassi di collisione rispetto ai pianificatori basati sull'apprendimento tradizionali, superando i limiti dei metodi di campionamento semplice (come il rejection sampling).

4. Risultati Sperimentali

Il metodo è stato valutato su due dataset principali: Waymax (simulatore WOMD) e nuPlan.

• Waymax (Simulazione Closed-Loop):
  • Rispetto ai migliori baseline (come SMART, LatentDrive, PlanT), CorrectionPlanner riduce il tasso di collisione di oltre il 20% in modalità reattiva e non reattiva.
  • Mantiene prestazioni competitive in termini di progresso (progression rate) e fuoristrada (off-road), dimostrando un ottimo compromesso sicurezza-efficienza.
• nuPlan:
  • Ottiene punteggi di pianificazione State-of-the-Art (SOTA) su diverse split (Val14, Test14-hard, Test14-random).
  • In modalità reattiva, supera significativamente i baseline, confermando che la modellazione reattiva degli agenti è cruciale per la sicurezza.
• Analisi Ablativa:
  • L'addestramento con RL e l'uso della traccia di correzione sono entrambi essenziali: l'IL da solo non impara a correggere efficacemente, e il RL senza auto-correzione non riduce le collisioni quanto CorrectionPlanner.
  • Il metodo supera approcci alternativi come il Rejection Sampling (che fallisce perché campiona dalla stessa distribuzione) e la Selezione di Candidati (che è meno efficace nel modificare la distribuzione condizionale).

5. Significato e Impatto

• Ponte tra LLM e Guida Autonoma: Il lavoro stabilisce un parallelo fondamentale tra il ragionamento linguistico negli LLM e il "ragionamento motorio" nella guida autonoma, dimostrando che l'auto-correzione iterativa è applicabile anche allo spazio fisico delle azioni.
• Sicurezza Proattiva: A differenza dei filtri post-hoc o della selezione basata su regole, CorrectionPlanner corregge le azioni prima che diventino critiche, agendo in modo proattivo.
• Generalizzazione: La capacità di auto-correzione migliora la robustezza del sistema in scenari multi-agente complessi e offre una via promettente per la scalabilità verso robotica più generale dove la sicurezza è prioritaria.
• Trade-off Accettabile: Il paper nota che l'auto-correzione può portare a una leggera riduzione del progresso (es. rallentare per cedere il passo), ma questo è considerato un compromesso accettabile e necessario per garantire la sicurezza, imitando il comportamento di un conducente esperto.

In sintesi, CorrectionPlanner rappresenta un avanzamento significativo verso sistemi di guida autonoma più sicuri e affidabili, introducendo un meccanismo di "pensiero" interno direttamente nello spazio delle azioni di guida.