$AutoDrive\text{-}P^3$: Unified Chain of Perception-Prediction-Planning Thought via Reinforcement Fine-Tuning

1. Il Problema

I sistemi di guida autonoma basati su Modelli Linguistici Visivi (VLM) stanno guadagnando popolarità per la loro capacità di gestire scenari a "coda lunga" (long-tail scenarios) grazie alla conoscenza del mondo appresa durante il pre-addestramento. Tuttavia, l'approccio attuale presenta due limitazioni fondamentali:

1. Mancanza di Ragionamento a Catena (CoT): Alcuni VLM generano direttamente la traiettoria di pianificazione saltando le fasi cruciali di percezione e predizione. Questo crea un divario di dominio significativo e compromette la capacità decisionale.
2. Mancanza di Sinergia tra Moduli: Altri VLM sono in grado di generare output per percezione, predizione e pianificazione, ma trattano questi compiti in modo frammentato e separato. L'assenza di una collaborazione strutturata tra questi moduli porta a una scarsa sinergia, indebolendo le prestazioni complessive della pianificazione.

Inoltre, le tecniche di ottimizzazione esistenti basate su GRPO (Group Relative Policy Optimization) si concentrano spesso solo sulla metrica di pianificazione finale (es. distanza L2), ignorando la supervisione diretta sui moduli di percezione e predizione, il che limita l'interpretabilità e l'affidabilità.

2. Metodologia: AutoDrive-P 3

Gli autori propongono AutoDrive-P 3, un framework innovativo che integra Percezione, Predizione e Pianificazione in un'unica catena di ragionamento strutturata (Chain-of-Thought), potenziata da un algoritmo di apprendimento per rinforzo gerarchico.

A. Dataset P 3-CoT

Per abilitare il ragionamento coerente, è stato creato il dataset P 3-CoT. A differenza dei dataset QA tradizionali, questo dataset collega esplicitamente i tre stadi:

• Percezione: Identifica e localizza solo gli oggetti chiave (es. veicoli, pedoni) rilevanti per la decisione.
• Predizione: Utilizza i risultati della percezione per prevedere le azioni future degli oggetti chiave.
• Pianificazione: Genera la traiettoria del veicolo ego basandosi sulle informazioni di percezione e predizione.
  Il dataset è stato generato utilizzando il modello Qwen2.5-VL-72B per creare catene di ragionamento coerenti, verificate manualmente, coprendo scenari da nuScenes e NAVSIM.

B. Addestramento in Due Fasi

1. Supervised Fine-Tuning (SFT) - Cold Start: Il modello VLM di base (Qwen2.5-VL-3B) viene addestrato sul dataset P 3-CoT per imparare il formato strutturato di output (pensiero + risposta) per i tre moduli. Questo riduce il divario di dominio e allinea il modello al compito di guida.
2. P 3-GRPO (Reinforcement Fine-Tuning): Viene introdotto un algoritmo di ottimizzazione della politica gerarchico e progressivo. A differenza dei metodi precedenti che ottimizzano solo la pianificazione, P 3-GRPO fornisce una supervisione esplicita su tutti e tre i moduli simultaneamente.

C. Funzione di Ricompensa Gerarchica

La funzione di ricompensa totale $R$ è una somma ponderata di quattro componenti:
$$R = \lambda_{format} R_{format} + \lambda_{perc} R_{perc} + \lambda_{pred} R_{pred} + \lambda_{plan} R_{plan}$$

• $R_{perc}$ (Percezione): Basata su IoU, Precisione e Recall per garantire la corretta localizzazione degli oggetti.
• $R_{pred}$ (Predizione): Valuta la correttezza dell'azione futura degli oggetti, pesata dalla qualità della localizzazione spaziale (IoU).
• $R_{plan}$ (Pianificazione): Misura la qualità della traiettoria (distanza L2 o metriche PDMS/EPDMS su NAVSIM).
  Questa struttura garantisce che i miglioramenti nella pianificazione siano radicati in una migliore comprensione percettiva e predittiva.

D. Modalità di Pensiero Duali

Per bilanciare efficienza e prestazioni, il sistema supporta due modalità:

• Detailed Thinking: Genera il ragionamento completo (CoT) per ogni modulo prima della risposta.
• Fast Thinking: Salta il ragionamento esplicito e genera direttamente la risposta, mantenendo la struttura ma riducendo il tempo di inferenza.

3. Contributi Chiave

1. Framework AutoDrive-P 3: Un approccio end-to-end che risolve la limitazione dei VLM attuali rendendo esplicita la relazione causale tra percezione, predizione e pianificazione.
2. Algoritmo P 3-GRPO: Un nuovo algoritmo di ottimizzazione della politica che fornisce supervisione gerarchica e progressiva, migliorando la coerenza del ragionamento e l'affidabilità della pianificazione.
3. Dataset P 3-CoT: Un dataset di alta qualità con annotazioni unificate e catene di pensiero strutturate, essenziale per l'addestramento di VLM nella guida autonoma.
4. Modalità Duali: L'introduzione di modalità "Dettaglio" e "Veloce" per adattarsi a diverse esigenze computazionali senza sacrificare la sicurezza.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark open-loop (nuScenes) e closed-loop (NAVSIMv1/v2):

• nuScenes: AutoDrive-P 3 raggiunge prestazioni state-of-the-art (SOTA), riducendo il tasso di collisione di oltre il 40% rispetto ai metodi SOTA esistenti, mantenendo un errore di spostamento L2 competitivo.
• NAVSIM: Il modello ottiene i migliori risultati sia su NAVSIMv1 (90.6 PDMS) che su NAVSIMv2 (89.9 EPDMS) utilizzando solo input visivi, superando modelli più grandi e complessi.
• Efficienza: Nonostante l'uso di un modello base più piccolo (Qwen2.5-3B) rispetto ad altri approcci (es. LLaVA-7B), AutoDrive-P 3 dimostra un'efficienza superiore, raggiungendo quasi il tempo reale (1 Hz) nella modalità "Fast".
• Ablation Study: Gli esperimenti confermano che l'uso congiunto di SFT e P 3-GRPO su tutti e tre i moduli è cruciale; l'ottimizzazione solo sulla pianificazione non porta agli stessi benefici.

5. Significato e Impatto

AutoDrive-P 3 rappresenta un passo significativo verso la guida autonoma basata su VLM. Dimostra che:

• La sinergia tra i moduli di percezione, predizione e pianificazione è essenziale per una guida sicura e robusta, superando i limiti degli approcci modulari decoupled o dei modelli end-to-end "black-box".
• L'uso del CoT (Chain-of-Thought) non è solo un esercizio di interpretazione, ma un meccanismo funzionale che migliora le prestazioni reali di guida fornendo un ragionamento intermedio verificabile.
• L'approccio P 3-GRPO offre una nuova direzione per l'addestramento di agenti intelligenti, dove la supervisione deve essere distribuita lungo l'intera catena di ragionamento e non solo sul risultato finale.

In sintesi, il lavoro propone un paradigma unificato che combina la conoscenza del mondo dei VLM con la logica strutturata della guida autonoma, ottenendo risultati superiori in termini di sicurezza, interpretabilità ed efficienza.