Riepilogo Tecnico: HyPlan - Hybrid Learning-Assisted Planning Under Uncertainty for Safe Autonomous Driving

1. Definizione del Problema

Il documento affronta il problema della Navigazione Senza Collisioni (Collision-Free Navigation - CFN) per veicoli autonomi (AV) che operano in ambienti di traffico parzialmente osservabili. L'obiettivo è minimizzare il tempo necessario per raggiungere un obiettivo evitando collisioni con agenti esogeni (pedoni, ciclisti, altre auto).

Questo problema è modellato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP). Le caratteristiche chiave includono:

• Spazio degli Stati ($S$): Composto dallo stato completo dell'auto ego e dagli stati parziali di $n$ agenti esogeni. Mentre lo stato dell'auto ego è completamente osservabile, gli agenti esogeni sono solo parzialmente osservabili (posizione soltanto, se non occlusi).
• Azioni ($A$): Input di controllo che consistono in un angolo di sterzata e scelte discrete di accelerazione (Accelerare, Decelerare, Mantenere).
• Vincoli: L'ambiente comporta incertezza riguardo alle intenzioni degli agenti e alle occlusioni.
• Il Gap: I metodi esistenti affrontano un compromesso. I metodi di Deep Learning (DL) puro sono veloci ma mancano di garanzie di sicurezza. I pianificatori POMDP espliciti online (ad esempio, IS-DESPOT) offrono sicurezza e provabilità, ma soffrono di tempi di esecuzione elevati, rendendoli inadatti al controllo in tempo reale rispetto ai baseline di DL.

2. Metodologia: HyPlan

HyPlan è un pianificatore POMDP online assistito da apprendimento ibrido progettato per colmare il divario tra la sicurezza della pianificazione esplicita e la velocità del deep learning. Integra quattro componenti principali:

A. Architettura di Sistema

HyPlan opera in un ciclo in cui, per ogni osservazione della scena:

1. Previsione del Comportamento Multi-Agente: Utilizza il modello MABP AutoBots per prevedere le traiettorie degli agenti esogeni.
2. Pianificazione del Percorso: Un pianificatore Hybrid A* pesato genera un percorso sicuro per l'auto ego utilizzando una costmap arricchita dalle traiettorie previste degli agenti. Questo determina l'angolo di sterzata.
3. Pianificazione della Velocità (Innovazione Core): Un pianificatore POMDP online potenziato, IS-DESPOT*, determina l'accelerazione ottimale.

B. Il Pianificatore IS-DESPOT*

IS-DESPOT* è un'estensione dello standard planner IS-DESPOT. La sua novità risiede nel modo in cui guida l'albero di ricerca tramite una componente di Deep Reinforcement Learning (DRL):

• NavPPO (Learner): Una rete neurale basata su Proximal Policy Optimization (PPO) agisce come un critico. Stima il valore degli stati di credenza (limiti superiori euristici) per guidare il pianificatore.
• Input per NavPPO:
  • Un'immagine di intenzione ($I$) che combina la costmap dell'auto ego, i percorsi previsti degli agenti e il percorso pianificato dell'auto.
  • Caratteristiche di stato non visive (ricompensa precedente, ultima azione, velocità corrente).
  • Stati nascosti LSTM per mantenere il contesto temporale.
• Addestramento: NavPPO è addestrato per imitare la policy di IS-DESPOT* (apprendimento per imitazione) mentre apprende a stimare i valori di stato. Utilizza una funzione di perdita basata su PPO che bilancia l'imitazione della policy e l'accuratezza della stima del valore.

C. Pruning Verticale Basato sulla Confidenza

Per ridurre il tempo di esecuzione, HyPlan introduce un meccanismo di pruning verticale durante il deployment:

• Stima dell'Incertezza: NavPPO esegue molteplici passaggi forward stocastici (utilizzando il Monte Carlo dropout) per generare una media ($\mu$) e una varianza ($\sigma^2$) per le stime del valore degli stati di credenza.
• Calibrazione: Il sistema utilizza CRUDE per calibrare queste stime, garantendo che i livelli di confidenza siano affidabili e riducendo i falsi positivi.
• Logica di Pruning: Il pianificatore calcola un limite inferiore euristico pesato dalla confidenza: $L(b) = (1-\phi)L_{tr}(b) + \phi U(b)$, dove $\phi$ è la confidenza derivata dalla varianza.
  • Se il pianificatore raggiunge uno stato di credenza con una stima di valore elevata e alta confidenza, interrompe anticipatamente la prova di pianificazione (pruning verticale).
  • Ciò evita di esplorare eccessivamente regioni familiari dello spazio di credenza dove l'esito è prevedibile, accelerando significativamente il processo decisionale senza compromettere la sicurezza.

3. Contributi Chiave

1. Framework HyPlan: Una nuova architettura ibrida che combina previsione multi-agente, pianificazione del percorso esplicita e pianificazione POMDP guidata dal DRL.
2. Algoritmo IS-DESPOT:* Un pianificatore POMDP online approssimato che utilizza un learner basato su PPO (NavPPO) per fornire stime del valore euristico e metriche di confidenza.
3. Strategia di Pruning Verticale: Un meccanismo per eseguire il pruning dinamico dell'albero di ricerca basato sulla confidenza del learner nelle sue stime di valore, riducendo drasticamente il tempo di pianificazione.
4. Meccanismo di Calibrazione: L'integrazione di CRUDE per calibrare le stime di confidenza del learner DRL, garantendo che le decisioni di pruning siano sicure e non basate su previsioni troppo ottimistiche.

4. Risultati Sperimentali

Gli autori hanno valutato HyPlan sul benchmark CARLA-CTS2, un dataset di 23.000 scenari di traffico critici che coinvolgono attraversamenti pedonali.

Metriche di Performance

• Sicurezza: HyPlan ha ottenuto l'indice di sicurezza più elevato tra tutti i metodi testati (inclusi DL puro, pianificazione esplicita pura e altri approcci ibridi). Ha registrato il tasso di collisioni più basso (12,36%) e il tasso di quasi-collisioni più basso (8,04%).
• Tempo di Esecuzione: HyPlan è stato significativamente più veloce (fino al 40% di riduzione) rispetto ad altri pianificatori POMDP espliciti e ibridi (ad esempio, IS-DESPOTp, LEADER, HyLEAP). Tuttavia, è rimasto 3-4 volte più lento dei baseline di deep learning puro (NavPPO, NavA2C).
• Efficienza di Pianificazione: HyPlan ha richiesto meno prove di pianificazione, profondità di ricerca minori e meno nodi di credenza da valutare rispetto ad altri pianificatori alternativi.
• Compromessi:
  • I metodi DL puri (NavPPO) erano i più veloci ma avevano il peggiore record di sicurezza.
  • I pianificatori espliciti puri erano i più lenti.
  • HyPlan ha offerto il miglior compromesso, dando priorità alla sicurezza pur migliorando significativamente la velocità della pianificazione esplicita.

Studio di Ablazione

• Senza Pruning Verticale: Il sistema era più sicuro ma con il tempo di esecuzione più lungo.
• Senza Calibrazione della Confidenza: Il sistema era il più veloce ma ha subito la peggiore sicurezza a causa del pruning troppo ottimistico.
• HyPlan Completo: La combinazione di tutti i componenti ha fornito il bilanciamento ottimale tra sicurezza e tempo di esecuzione.

5. Significato e Rivendicazioni

Il documento afferma che HyPlan affronta con successo il divario di performance tra il deep learning e la pianificazione esplicita nella guida autonoma.

• La Sicurezza Prima di Tutto: Dimostra che i metodi ibridi possono navigare in modo più sicuro rispetto sia ai modelli di deep learning puro che ai modelli di pianificazione esplicita pura in scenari critici con pedoni.
• Efficienza: Dimostra che il pruning assistito dall'apprendimento può rendere la pianificazione POMDP online praticabile per applicazioni in tempo reale, riducendo significativamente il tempo di esecuzione senza sacrificare le garanzie di sicurezza intrinseche alla pianificazione esplicita.
• Ambito Modesto: Gli autori riconoscono che, sebbene HyPlan sia più veloce di altri pianificatori espliciti, non ha ancora colmato il divario di velocità con i metodi di deep learning puro. Notano inoltre che l'attuale valutazione è limitata al benchmark CARLA-CTS2, con lavori futuri pianificati per scenari più ampi come nuPlan.

Il lavoro è presentato come un passo verso una pianificazione delle azioni provabilmente corretta sotto incertezza che non soffre dei costi computazionali proibitivi tradizionalmente associati ai POMDP online.