Path Planning Using Deep Deterministic Policy Gradient: A Reinforcement Learning Approach

Sintesi Tecnica: Pianificazione del Percorso Utilizzando il Deep Deterministic Policy Gradient

Definizione del Problema
Il documento affronta la sfida della pianificazione del percorso per veicoli autonomi che operano in ambienti carichi di minacce contenenti ostacoli. Gli autori caratterizzano questo problema come intrinsecamente non lineare e non convesso, anche in scenari semplici. Sebbene i metodi tradizionali di controllo ottimo (come i metodi pseudo-spettrali e il controllo predittivo del modello) possano teoricamente trovare percorsi ottimali, essi spesso soffrono di elevati costi computazionali che li rendono inadatti al processo decisionale in tempo reale. Inoltre, lo sviluppo di modelli ad alta fedeltà richiesti da tali metodi tradizionali è dispendioso in termini di tempo. Al contrario, sebbene i metodi euristici come gli Algoritmi Genetici e i diagrammi di Voronoi non richiedano modelli ad alta fedeltà, essi affrontano comunque colli di bottiglia computazionali per le applicazioni in tempo reale. Il documento cerca una soluzione che bilanci l'efficienza computazionale con la capacità di gestire spazi di stato e di azione continui senza fare affidamento su complessi modelli ambientali.

Metodologia
La soluzione proposta utilizza il Deep Deterministic Policy Gradient (DDPG), un algoritmo di apprendimento per rinforzo (RL) model-free. L'approccio modella le minacce come una o più zone di "non passaggio" circolari. Una missione è definita come un fallimento se il veicolo entra in una zona ristretta o non riesce a raggiungere un vicinato della destinazione.

I componenti principali della metodologia includono:

1. Architettura dell'Agente: Il sistema impiega due reti neurali:

   • Rete Actor (Attore): Mappa lo stato corrente (coordinate di posizione $x, y$, precedente direzione e passi temporali) direttamente verso un'azione continua (nuova direzione).
   • Rete Critic (Critico): Stima il valore Q (ricompensa scontata attesa a lungo termine) per una data coppia stato-azione.
   • Strategia di Esplorazione: Per bilanciare esplorazione e sfruttamento, viene aggiunto del rumore Gaussiano o di Ornstein-Uhlenbeck all'output dell'attore. La deviazione standard di questo rumore viene regolata, partendo da valori più alti durante l'addestramento iniziale e riducendola durante il riaddestramento per affinare le prestazioni.

2. Progettazione della Funzione di Ricompensa: La funzione di ricompensa è costruita utilizzando campi di potenziale artificiale e consiste di tre componenti distinte:

   • Campo Attrattivo: Un potenziale basato su Gaussiana centrato sulla destinazione ($P_f$) che premia l'agente per avvicinarsi all'obiettivo.
   • Campo Repulsivo: Un potenziale basato su Gaussiana centrato sulle origini degli ostacoli circolari ($P_c$) che penalizza l'agente per l'ingresso o l'avvicinamento a zone ristrette.
   • Penalità di Energia di Controllo: Un termine proporzionale al quadrato del cambiamento di direzione ($|A|^2$), che incoraggia indirettamente percorsi più rettilinei e minimizza il consumo di carburante.
   • Penalità di Tempo: Una penalità discreta di -10 viene applicata per ogni passo in cui non viene raggiunta la destinazione per minimizzare il tempo totale di percorrenza.

3. Direzione Iniziale Intelligente (Smart Initial Heading): Un'euristica chiave introdotta in questo lavoro consiste nel calcolare una direzione iniziale "intelligente" all'inizio di ogni episodio. Se la linea diretta verso la destinazione interseca un ostacolo, l'agente calcola i punti di tangenza dalla sua posizione di partenza all'ostacolo. Successivamente, seleziona il punto di tangenza che minimizza la distanza dalla destinazione finale, impostando la direzione iniziale verso tale punto. Questa strategia mira a evitare che l'agente si muova verso gli ostacoli nei primi passi della traiettoria.

4. Processo di Addestramento: L'agente viene addestrato tramite tentativi ed errori in un ambiente simulato (implementato in MATLAB). L'addestramento prevede una fase iniziale con rumore di esplorazione elevato seguita da una fase di riaddestramento con rumore ridotto per affinare la policy.

Contributi Chiave
Il documento presenta diversi contributi specifici all'applicazione del DDPG nella pianificazione del percorso:

• Integrazione della Direzione Iniziale Intelligente: Gli autori propongono e validano un'euristica per calcolare una direzione iniziale ottimale basata sulle tangenti geometriche agli ostacoli. Ciò migliora significativamente la capacità dell'agente di evitare gli ostacoli nelle fasi iniziali della traiettoria.
• Funzione di Ricompensa Raffinata: Lo studio modifica la funzione di ricompensa per includere una ricompensa passo-passo per il movimento verso la destinazione (basata sulla differenza tra le distribuzioni gaussiane normalizzate tra i passi temporali), insieme alla penalità di energia.
• Mappatura della Fattibilità: L'agente addestrato viene utilizzato per generare un "insieme fattibile" di punti di partenza. Questa mappa indica da quali posizioni è garantito un percorso sicuro verso la destinazione, fornendo informazioni critiche per la pianificazione pre-missione.
• Estensione a Più Ostacoli: Il metodo è esteso con successo da uno scenario con un singolo ostacolo a uno scenario complesso che coinvolge tre ostacoli con raggi e posizioni variabili, dimostrando la scalabilità dell'approccio.

Risultati
L'approccio è stato validato attraverso simulazioni confrontando il metodo DDPG con un metodo tradizionale di controllo ottimo (pseudo-spettrale).

• Scenario con Singolo Ostacolo: L'inclusione della direzione iniziale intelligente e della funzione di ricompensa modificata ha ampliato significativamente l'insieme fattibile dei punti di partenza rispetto a un agente base senza queste caratteristiche.
• Scenario con Più Ostacoli: L'agente specializzato ha navigato con successo un passaggio stretto tra tre ostacoli per raggiungere la destinazione. I risultati hanno confermato che il "principio di ottimalità" è valido, poiché la policy ottimale per lo scenario complesso conteneva sub-policy ottime.
• Confronto delle Prestazioni: L'agente basato sull'apprendimento ha prodotto percorsi efficaci pur essendo significativamente più veloce nel tempo di calcolo rispetto al metodo pseudo-spettrale tradizionale. Questo vantaggio di velocità rende l'approccio DDPG più adatto ad applicazioni in tempo reale.

Significato e Rivendicazioni
Il documento sostiene che l'approccio proposto basato su DDPG offre una soluzione pratica per la pianificazione del percorso in tempo reale in ambienti non lineari e non convessi. Sfruttando l'apprendimento per rinforzo, il metodo evita la necessità di modelli ambientali ad alta fedeltà e supera la latenza computazionale del controllo ottimo tradizionale. La capacità di pre-calcolare un "insieme fattibile" di punti di partenza è evidenziata come uno strumento critico per la pianificazione della missione, consentendo agli operatori di determinare in anticipo se un compito è realizzabile da una specifica posizione. Gli autori concludono che, sebbene il metodo sia efficace, il lavoro futuro potrebbe esplorare la combinazione del machine learning con altre tecniche di ottimizzazione per migliorare ulteriormente le prestazioni.