An Open-Source Modular Benchmark for Diffusion-Based Motion Planning in Closed-Loop Autonomous Driving

1. Il Problema

Nonostante i modelli di diffusione (Diffusion Models) abbiano raggiunto risultati state-of-the-art nei benchmark di pianificazione del movimento (come nuPlan), la loro valutazione e implementazione in sistemi di guida autonoma (AD) reali e in ciclo chiuso rimangono ampiamente inesplorate. Il paper identifica due lacune critiche nelle attuali valutazioni:

• Gap di Valutazione in Ciclo Chiuso: La maggior parte delle valutazioni attuali avviene in ambienti "pseudo-chiusi" (simulatori Python o replay di scenari) che ignorano i vincoli di latenza reali. Questi ambienti non tengono conto dell'overhead di comunicazione ROS 2, delle pipeline di pre-elaborazione dei sensori e dei vincoli di scheduling in tempo reale sui computer di bordo. Di conseguenza, le prestazioni misurate nei benchmark non riflettono la fattibilità di un'effettiva implementazione su veicolo.
• Deploy Monolitico e Rigido: Le pipeline di deployment attuali esportano l'intero processo di denoising (inclusi scheduler, logica del solver e blocchi iterativi) in un singolo grafo ONNX monolitico. Questo approccio "congela" tutti i parametri del solver (numero di passi, ordine del solver, schedule del rumore) al momento dell'esportazione. Per modificare questi parametri, è necessario riesportare e ricompilare il modello, impedendo agli ricercatori di studiare domande fondamentali come: "Quanti passi di denoising sono realmente necessari in tempo reale?" o "Qual è il guadagno reale dell'uso di solver di secondo ordine rispetto a quelli di primo ordine?".

2. Metodologia

Gli autori propongono un benchmark modulare open-source che risolve questi problemi decomponendo il piano di diffusione monolitico in moduli indipendenti eseguibili, orchestrati da un solver esterno in C++.

• Decomposizione del Grafo (GraphSurgeon): Utilizzando ONNX GraphSurgeon, il modello originale (che nel caso di Diffusion Planner contiene 18.398 nodi) viene scomposto in tre moduli indipendenti:
  1. Context Encoder: (3.417 nodi) Elaborato una sola volta per ciclo di pianificazione.
  2. DiT Core (Diffusion Transformer): (1.237 nodi) Il nucleo di denoising, invocato $N$ volte (dove $N$ è configurabile a runtime).
  3. Turn Indicator Classifier: (7 nodi) Per la previsione dei segnali di svolta.
• Implementazione del Solver in C++: Il ciclo di denoising (basato su DPM-Solver++) è stato reimplementato in C++ nativo. Questo permette di:
  • Eseguire il ciclo di denoising al di fuori del grafo ONNX.
  • Configurare dinamicamente il numero di passi ($N \in [1, 50]$), l'ordine del solver (1° o 2°) e i parametri dello scheduler del rumore senza ricompilare il modello.
  • Integrare il sistema come un nodo ROS 2 all'interno dello stack Autoware, lo standard open-source per la guida autonoma.
• Caching dell'Encoder: Poiché l'output dell'encoder dipende solo dal contesto della scena e non dallo stato di denoising, il risultato dell'encoder viene calcolato una sola volta e memorizzato nella cache, riutilizzato per tutti i passi successivi del DiT.
• Validazione: Il sistema è stato validato in un ambiente di simulazione in ciclo chiuso (AWSIM) integrato con Autoware, su scenari urbani reali.

3. Contributi Chiave

1. Benchmark Modulare Open-Source: La prima decomposizione di un planner di diffusione monolitico in moduli eseguibili separatamente, permettendo una valutazione "plug-and-play" dei solver in uno stack di produzione (Autoware + AWSIM) in condizioni di ciclo chiuso reale.
2. Solver Configurabile a Runtime: Un'implementazione nativa in C++ che permette di studiare il comportamento del solver (numero di passi, ordine, schedule) senza la necessità di re-training o ricompilazione del modello, una capacità assente in tutti i deploy esistenti.
3. Analisi Sistematica: Un confronto dettagliato tra diverse configurazioni (DPM-Solver++ 1° e 2° ordine, DDIM) su 50 frame di guida, dimostrando l'impatto dell'ordine del solver e della pianificazione dei timestep.
4. Validazione Numerica e di Performance: Conferma dell'equivalenza numerica con il modello monolitico (errore massimo $< 10^{-5}$) e dimostrazione di un successo nella guida urbana in simulazione.

4. Risultati Sperimentali

Gli esperimenti hanno evidenziato miglioramenti significativi sia in termini di latenza che di accuratezza:

• Riduzione della Latenza (Encoder Caching):
  • Nel modello monolitico, l'encoder viene rieseguito a ogni passo di denoising, causando uno spreco computazionale del 90,9%.
  • Con l'architettura modulare e il caching, la latenza totale per un ciclo di pianificazione (con $N=10$) scende da 328 ms (equivalente CPU) a 53 ms.
  • Per un numero ridotto di passi ($N=3$), la latenza scende da 119 ms a 37 ms, ottenendo un speedup di 3,2× a parità di errore di previsione.
• Miglioramento dell'Accuratezza (Solver di Secondo Ordine):
  • L'uso di un solver di secondo ordine (DPM-Solver++ 2nd order) riduce l'errore di spostamento finale (FDE) del 41% rispetto al solver di primo ordine quando si utilizzano solo 3 passi ($N=3$).
  • Un solver di secondo ordine con $N=3$ raggiunge la stessa accuratezza di un solver di primo ordine con $N=5$, dimezzando efficacemente il numero di passi necessari.
• Ottimizzazione dei Timestep:
  • Utilizzare uno schedule di timestep dedicato per un numero ridotto di passi (es. $N=3$) migliora la qualità di 7 volte rispetto al semplice arresto anticipato di uno schedule progettato per 10 passi.
• Rispetto dei Vincoli di Tempo:
  • Tutte le configurazioni modulari rientrano nel budget di pianificazione tipico di 100 ms (necessario per i nodi di pianificazione di Autoware), mentre nessuna configurazione monolitica riesce a rispettare questo limite.

5. Significato e Impatto

Questo lavoro colma il divario tra la ricerca accademica sui modelli di diffusione e la loro applicazione pratica nell'industria della guida autonoma.

• Trasparenza: Rompe il "black box" dei deploy monolitici, permettendo l'osservabilità passo-passo del processo di denoising.
• Flessibilità: Abilita strategie di pianificazione "anytime" (adattive), dove il numero di passi può essere ridotto dinamicamente in base al tempo di calcolo residuo disponibile nel ciclo ROS 2, mantenendo comunque prestazioni accettabili.
• Riproducibilità: Fornendo il codice completo open-source, offre un percorso diretto dalla simulazione al deployment su veicolo reale, permettendo alla comunità di ricerca di testare nuove strategie di scheduling e solver in condizioni realistiche senza dover ricreare l'intera infrastruttura di deployment.

In sintesi, il paper dimostra che la modularità non è solo un'ottimizzazione tecnica, ma un prerequisito fondamentale per rendere i pianificatori basati su diffusione utilizzabili in sistemi di guida autonoma sicuri e in tempo reale.