💻 computer science

Multi-UAV Path Planning in 3D based on APF-MADDPG

Questo articolo propone un framework di apprendimento per rinforzo profondo gerarchico che integra una funzione di ricompensa densa basata su un campo di potenziale artificiale migliorato con l'algoritmo Multi-Agent Deep Deterministic Policy Gradient (MADDPG) per ottenere una pianificazione del percorso 3D efficiente e ottimale per più UAV in ambienti sconosciuti con ostacoli complessi.

Autori originali: Ming Bai, Yan Chen, Yi Liu

Pubblicato 2026-08-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ming Bai, Yan Chen, Yi Liu

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un cielo pieno di piccoli velivoli autonomi, ognuno con il compito di volare da diversi punti di partenza verso un unico punto di incontro. La loro missione non è solo arrivare lì, ma arrivare contemporaneamente, intrecciandosi attraverso un mondo tridimensionale che potrebbe essere pieno di muri invisibili, zone pericolose e altri velivoli in movimento. Questa è la sfida della pianificazione del percorso multi-drone. Per decenni, gli ingegneri hanno cercato di risolvere questo problema usando regole basate sulla geometria o su semplici tentativi ed errori, ma questi metodi spesso si bloccano o falliscono quando l'ambiente diventa troppo complesso o cambia inaspettatamente. Negli ultimi anni, è emersa un approccio diverso: insegnare a queste macchine a imparare facendo. Permettendo loro di interagire con un mondo simulato e premiandole per le buone decisioni, i ricercatori possono aiutarle a capire come navigare autonomamente. Tuttavia, questo processo di apprendimento è spesso lento e difficile, specialmente quando le macchine devono coordinarsi tra loro senza scontrarsi.

Un team di ricercatori dell'Università di Yan'an ha sviluppato un nuovo metodo per rendere questo processo di apprendimento più veloce e affidabile per gruppi di droni che volano in tre dimensioni. Hanno combinato due idee esistenti: un modo per far sì che più macchine imparino insieme osservandosi a vicenda, e un concetto classico di navigazione che utilizza forze invisibili per guidare il movimento. Nel loro approccio, hanno creato un sistema in cui i droni ricevono un feedback costante, piuttosto che un singolo segnale di "buon lavoro" o "cattivo lavoro" alla fine di un volo. Questo feedback costante agisce come una spinta dolce e continua, dicendo ai droni esattamente quanto siano vicini al loro obiettivo e quanto siano lontani dagli ostacoli in ogni singolo momento. Ciò aiuta i droni a imparare molto più velocemente rispetto al passato.

I ricercatori hanno testato il loro metodo in una simulazione al computer coinvolgendo tre droni. I droni sono partiti da posizioni diverse all'interno di uno spazio di 10 chilometri per 10 chilometri per 10 chilometri. Il loro obiettivo era volare verso un punto di incontro specifico situato alle coordinate 7, 4 e 1 chilometri, il tutto evitando due grandi ostacoli sferici e un alto ostacolo cilindrico. Il team ha confrontato il loro nuovo metodo con altri due approcci comuni. Uno dei metodi di confronto prevedeva che i droni imparassero interamente da soli senza condividere informazioni, mentre l'altro permetteva loro di imparare insieme ma senza il sistema speciale di feedback continuo. I risultati hanno mostrato che i droni che utilizzavano il nuovo metodo hanno appreso la strategia migliore nel modo più rapido. Sono raggiunti il bersaglio con successo ed hanno evitato tutti gli ostacoli, mentre i droni che imparavano da soli non sono riusciti a evitare le collisioni in diversi tentativi.

Osservando l'efficienza dei voli, anche il nuovo metodo ha prodotto distanze totali di percorrenza più brevi. Il gruppo di droni utilizzando il nuovo approccio ha volato una distanza totale combinata di 24,7056 chilometri per completare la missione. Al contrario, il gruppo che utilizzava il metodo di apprendimento cooperativo standard ha volato una distanza maggiore, pari a 25,9426 chilometri. I droni che hanno imparato senza cooperazione non sono riusciti affatto a completare la missione in sicurezza. I ricercatori hanno scoperto che fornendo ai droni un flusso costante di informazioni sul loro progresso e sulla loro sicurezza, il sistema poteva trovare un percorso migliore più rapidamente. Hanno anche strutturato l'addestramento in due livelli: un livello focalizzato sulla pianificazione del percorso complessivo e un altro focalizzato sull'esecuzione dei movimenti specifici, il che ha aiutato i droni ad apprendere il compito complesso in modo più efficace.

Questo lavoro suggerisce che, perfezionando il modo in cui le macchine ricevono il feedback durante l'addestramento, possiamo aiutarle a risolvere problemi di navigazione complessi molto più velocemente. Lo studio non ha testato questi droni nel mondo fisico reale, ma le simulazioni hanno fornito un quadro chiaro di come il metodo si comporta in condizioni controllate. I risultati indicano che, affinché gruppi di veicoli autonomi possano lavorare insieme in modo sicuro in uno spazio tridimensionale affollato, abbiano bisogno di un modo per comprendere il proprio progresso continuamente, piuttosto che aspettare la fine di un compito per sapere se hanno avuto successo. Il nuovo metodo offre un modo per fornire tale comprensione, portando a voli più sicuri ed efficienti.

Sintesi Tecnica: Pianificazione del Percorso Multi-UAV in 3D basata su APF-MADDPG

1. Definizione del Problema

Il documento affronta la sfida della pianificazione del percorso multi-UAV in ambienti 3D sconosciuti. Questo problema è caratterizzato da uno spazio di azione ad alta dimensionalità, vincoli rigorosi di evitamento delle collisioni (sia tra UAV che con gli ostacoli) e una natura computazionale NP-hard.

Le sfide specifiche identificate includono:

Collaborazione vs. Individualità: A differenza della pianificazione per singolo UAV, che si concentra sull'ottimalità individuale, la pianificazione multi-UAV richiede di bilanciare collaborazione, evitamento delle collisioni e completamento simultaneo della missione (aggregazione).
Limitazioni dei Metodi Tradizionali: I metodi geometrici (es. Voronoi) faticano con i cambiamenti dinamici; i metodi a Campo di Potenziale Artificiale (APF) soffrono di minimi locali; e gli algoritmi euristici (es. Algoritmi Genetici, PSO) affrontano spesso problemi di convergenza lenta o ottimizzazione locale in spazi ad alta dimensionalità.
Limitazioni degli Approcci di RL Esistenti: Sebbene il Deep Deterministic Policy Gradient (DDPG) funzioni per agenti singoli, esso ignora le differenze strategiche tra agenti, portando a collisioni. Il Multi-Agent DDPG (MADDPG) affronta la collaborazione ma spesso soffre di ricompense sparse, rendendo difficile la progettazione della funzione di ricompensa e rallentando la convergenza in ambienti complessi.

2. Metodologia

Gli autori propongono un nuovo algoritmo, APF-MADDPG, che integra il framework Multi-Agent Deep Deterministic Policy Gradient (MADDPG) con un meccanismo di ricompensa migliorato basato sul Campo di Potenziale Artificiale (APF).

2.1 Modellazione del Problema

Modello di Missione: Definito come una missione di aggregazione in cui $N$ UAV partono da posizioni disperse e devono raggiungere un'area target comune simultaneamente, evitando zone di minaccia, zone di divieto di volo e ostacoli.
Modello di Movimento: Viene utilizzato un modello cinematico 3D in cui gli UAV controllano l'accelerazione lineare, l'accelerazione angolare del pitch e l'accelerazione angolare dello yaw. Sono applicati vincoli a velocità, accelerazione e angoli.
Modello di Ostacolo: Gli ostacoli sono modellati come corpi convessi (sfere o cilindri) definiti da parametri geometrici.
Formulazione Teoria dei Giochi: Il problema è formulato come un Gioco di Markov Parzialmente Osservabile (POMG).
- Spazio degli Stati ( $S_i$ ): Include posizione, velocità, angoli di pitch e yaw.
- Spazio delle Azioni ( $A_i$ ): Accelerazione lineare, accelerazione angolare del pitch e accelerazione angolare dello yaw.
- Spazio delle Osservazioni ( $o_i$ ): Osservazioni locali che includono lo stato del proprio UAV, gli stati relativi degli altri UAV e le posizioni relative degli ostacoli.

2.2 Algoritmo Core: APF-MADDPG

L'algoritmo utilizza un framework di esecuzione distribuita e addestramento centralizzato.

Meccanismo di Addestramento Gerarchico: Viene introdotta una struttura a due livelli:
- Livello di Pianificazione del Percorso: Ogni UAV possiede una rete actor-critic indipendente. L'attore riceve le osservazioni locali per generare azioni con rumore di esplorazione.
- Livello di Esecuzione dell'Azione: Gli UAV eseguono le azioni nell'ambiente, generando nuove osservazioni e ricompense.
Funzione di Ricompensa Densa (Innovazione Chiave): Per superare le ricompense sparse, gli autori progettano una funzione di ricompensa composita ( $R_{sum}$ $R_{s u m}$ ) basata sui principi APF:
- Attrazione ( $R_{ut}$ ): Incoraggia il movimento verso il target utilizzando una funzione di decadimento esponenziale basata sulla distanza euclidea.
- Repulsione ( $R_{uu}$ ): Penalizza la prossimità tra gli UAV per prevenire collisioni.
- Repulsione dagli Ostacoli ( $R_{uo}$ ): Penalizza la prossimità agli ostacoli utilizzando una funzione esponenziale.
- Ricompensa di Partenza ( $R_{depart}$ ): Premia il progresso verso il target calcolando la differenza tra la distanza precedente e la distanza attuale dal target ( $d(p_{last}, p_{target}) - d(p_{now}, p_{target})$ ). Questo meccanismo è progettato per risolvere il problema dei target irraggiungibili nell'APF e per impedire all'agente di vagare vicino al target per accumulare la massima ricompensa senza raggiungerlo effettivamente.
- Ricompensa Totale: $R_{sum} = w_1R_{ut} + w_2R_{uu} + w_3R_{uo} + w_4R_{depart}$ .

2.3 Processo di Addestramento

L'algoritmo impiega le standard regole di aggiornamento MADDPG con reti target per la stabilità.

Aggiornamento del Critic: Minimizza la perdita tra il valore Q predetto e il valore target ( $y_i$ ), che incorpora la ricompensa immediata e il valore Q futuro scontato dalle reti target.
Aggiornamento dell'Actor: Massimizza il ritorno atteso utilizzando il gradiente della policy.
Soft Updates: I parametri della rete target vengono aggiornati tramite soft update ( $\tau \ll 1$ ) per garantire la stabilità dell'addestramento.

3. Contributi Principali

Il documento rivendica esplicitamente due contributi primari:

Funzione di Ricompensa Densa: L'integrazione di una funzione di ricompensa densa basata su APF nel framework MADDPG. Questo affronta i problemi delle ricompense scarse e della convergenza lenta riscontrati nel reinforcement learning multi-agente tradizionale per la pianificazione del percorso.
Meccanismo di Addestramento Gerarchico: L'istituzione di una struttura di deep reinforcement learning gerarchica composta da un livello di pianificazione del percorso e un livello di esecuzione dell'azione per addestrare efficientemente strategie ottimali.

4. Risultati Sperimentali

Il metodo proposto è stato valutato in un ambiente di simulazione 3D (10 km $\times$ 10 km $\times$ 10 km) con tre UAV e tre ostacoli (due sfere, un cilindro). È stato confrontato con MADDPG (utilizzando ricompense sparse tradizionali) e ILDDPG (Independent Learner DDPG).

Velocità di Convergenza: Le curve della ricompensa per episodio (Fig. 4) dimostrano che APF-MADDPG converge significativamente più velocemente sia di MADDPG che di ILDDPG.
Qualità della Policy:
- ILDDPG: Non è riuscito a evitare gli ostacoli nella simulazione (gli UAV 1 e 2 si sono scontrati), rendendolo inadatto per questo scenario multi-agente.
- MADDPG: Ha evitato con successo gli ostacoli ma ha prodotto una lunghezza totale del percorso maggiore.
- APF-MADDPG: Ha evitato con successo tutti gli ostacoli e ha ottenuto la lunghezza totale del percorso più breve.
Confronto Lunghezza del Percorso:
- Lunghezza Totale MADDPG: 25.9426 km
- Lunghezza Totale APF-MADDPG: 24.7056 km
- L'algoritmo APF-MADDPG ha ridotto la lunghezza totale del percorso rispetto allo standard MADDPG.

5. Significato e Rivendicazioni

Il documento conclude che l'algoritmo APF-MADDPG supera sia ILDDPG che lo standard MADDPG in termini di:

Efficienza di Apprendimento della Policy: Convergenza più rapida verso una strategia ottimale.
Ottimalità della Pianificazione del Percorso: Generazione di percorsi più brevi ed efficienti.
Sicurezza: Evitamento efficace di collisioni con ostacoli e altri UAV in un ambiente 3D.

Gli autori affermano che la combinazione della ricompensa densa basata su APF e del meccanismo di addestramento gerarchico risolve efficacemente le sfide delle ricompense scarse e dei minimi locali nella pianificazione del percorso 3D multi-UAV, fornendo una soluzione robusta per missioni collaborative in ambienti sconosciuti.