💻 computer science

Multi-UAV Path Planning in 3D based on APF-MADDPG

Cet article propose un cadre d'apprentissage par renforcement profond hiérarchique qui intègre une fonction de récompense dense améliorée, basée sur un champ de potentiel artificiel, à l'algorithme Multi-Agent Deep Deterministic Policy Gradient (MADDPG) afin de réaliser une planification de trajectoire 3D efficace et optimale pour plusieurs UAV dans des environnements inconnus avec des obstacles complexes.

Auteurs originaux : Ming Bai, Yan Chen, Yi Liu

Publié 2026-08-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ming Bai, Yan Chen, Yi Liu

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un ciel rempli de petits aéronefs autonomes, chacun chargé de voler depuis différents points de départ vers un point de rencontre unique. Leur mission n'est pas seulement d'arriver à destination, mais d'arriver au même moment, en se faufilant dans un monde en trois dimensions qui pourrait être rempli de murs invisibles, de zones dangereuses et d'autres aéronefs en mouvement. C'est le défi de la planification de trajectoire multi-drones. Pendant des décennies, des ingénieurs ont tenté de résoudre ce problème en utilisant des règles basées sur la géométrie ou de simples essais et erreurs, mais ces méthodes se retrouvent souvent bloquées ou échouent lorsque l'environnement devient trop complexe ou change de manière inattendue. Ces dernières années, une approche différente est apparue : apprendre à ces machines à apprendre par l'action. En les laissant interagir avec un monde simulé et en les récompensant pour leurs bonnes décisions, les chercheurs peuvent les aider à comprendre comment naviguer par elles-mêmes. Cependant, ce processus d'apprentissage est souvent lent et difficile, surtout lorsque les machines doivent se coordonner entre elles sans s'écraser.

Une équipe de chercheurs de l'Université de Yan'an a développé une nouvelle méthode pour rendre ce processus d'apprentissage plus rapide et plus fiable pour des groupes de drones volant en trois dimensions. Ils ont combiné deux idées existantes : une façon pour plusieurs machines d'apprendre ensemble tout en s'observant mutuellement, et un concept de navigation classique qui utilise des forces invisibles pour guider le mouvement. Dans leur approche, ils ont créé un système où les drones reçoivent un retour constant, plutôt qu'un simple signal de « bon travail » ou de « mauvais travail » à la toute fin d'un vol. Ce retour constant agit comme une légère et continue incitation, indiquant aux drones à quel point ils sont proches de leur objectif et à quelle distance ils se trouvent des obstacles à chaque instant. Cela aide les drones à apprendre beaucoup plus rapidement qu'auparavant.

Les chercheurs ont testé leur méthode dans une simulation informatique impliquant trois drones. Les drones partaient de différents emplacements au sein d'un espace mesurant 10 kilomètres sur 10 kilomètres sur 10 kilomètres. Leur objectif était de voler vers un point de rencontre spécifique situé aux coordonnées 7, 4 et 1 kilomètres, tout en évitant deux grands obstacles sphériques et un obstacle cylindrique haut. L'équipe a comparé sa nouvelle méthode à deux autres approches courantes. L'une des méthodes de comparaison faisait en sorte que les drones apprennent entièrement seuls sans partager d'informations, tandis que l'autre leur permettait d'apprendre ensemble mais sans le système spécial de retour continu. Les résultats ont montré que les drones utilisant la nouvelle méthode apprenaient la meilleure stratégie le plus rapidement. Ils ont atteint la cible avec succès et ont évité tous les obstacles, alors que les drones apprenant seuls n'ont pas réussi à éviter les collisions lors de plusieurs tentatives.

En examinant l'efficacité des vols, la nouvelle méthode a également produit des distances de voyage totales plus courtes. Le groupe de drones utilisant la nouvelle approche a parcouru une distance totale combinée de 24,7056 kilomètres pour accomplir sa mission. En revanche, le groupe utilisant la méthode d'apprentissage coopératif standard a parcouru une distance plus longue de 25,9426 kilomètres. Les drones qui apprenaient sans coopération n'ont pas réussi à accomplir la mission en toute sécurité. Les chercheurs ont constaté qu'en fournissant aux drones un flux constant d'informations sur leurs progrès et leur sécurité, le système pouvait trouver un meilleur chemin plus rapidement. Ils ont également structuré l'entraînement en deux couches : une couche se concentrait sur la planification de la route globale, et une autre sur l'exécution des mouvements spécifiques, ce qui a aidé les drones à apprendre la tâche complexe plus efficacement.

Ce travail suggère qu'en affinant la manière dont les machines reçoivent le feedback pendant l'entraînement, nous pouvons les aider à résoudre des problèmes de navigation complexes beaucoup plus rapidement. L'étude n'a pas testé ces drones dans le monde physique réel, mais les simulations ont fourni une image claire de la performance de la méthode dans des conditions contrôlées. Les conclusions indiquent que pour que des groupes de véhicules autonomes travaillent ensemble en toute sécurité dans un espace tridimensionnel encombré, ils ont besoin d'un moyen de comprendre leurs progrès de manière continue, plutôt que d'attendre la fin d'une tâche pour savoir s'ils ont réussi. La nouvelle méthode offre un moyen de fournir cette compréhension, menant à des vols plus sûrs et plus efficaces.

Résumé technique : Planification de trajectoire multi-UAV en 3D basée sur l'APF-MADDPG

1. Énoncé du problème

L'article traite du défi de la planification de trajectoire multi-UAV en environnement 3D inconnu. Ce problème est caractérisé par un espace d'action à haute dimension, des contraintes strictes d'évitement de collisions (tant entre les UAV qu'avec les obstacles) et une nature computationnelle NP-difficile.

Les défis spécifiques identifiés incluent :

Collaboration vs Individualité : Contrairement à la planification mono-UAV qui se concentre sur l'optimalité individuelle, la planification multi-UAV nécessite de l'équilibre entre collaboration, évitement de collisions et achèvement simultané de la mission (agrégation).
Limites des méthodes traditionnelles : Les méthodes géométriques (ex. : Voronoi) peinent face aux changements dynamiques ; les méthodes de champ de potentiel artificiel (APF) souffrent de minima locaux ; et les algorithmes heuristiques (ex. : algorithmes génétiques, PSO) font souvent face à une convergence lente ou à des problèmes d'optimisation locale dans des espaces à haute dimension.
Limites des approches de RL existantes : Bien que le Deep Deterministic Policy Gradient (DDPG) fonctionne pour des agents uniques, il ignore les différences stratégiques entre agents, ce qui entraîne des collisions. Le Multi-Agent DDPG (MADDPG) traite la collaboration mais souffre souvent de récompenses éparses (sparse rewards), rendant la conception de la fonction de récompense difficile et la convergence lente dans des environaux complexes.

2. Méthodologie

Les auteurs proposent un nouvel algorithme, l'APF-MADDPG, qui intègre le cadre Multi-Agent Deep Deterministic Policy Gradient (MADDPG) avec un mécanisme de récompense amélioré basé sur le Champ de Potentiel Artificiel (APF).

2.1 Modélisation du problème

Modèle de mission : Définie comme une mission d'agrégation où $N$ UAV partent de lieux dispersés et doivent atteindre une zone cible commune simultanément tout en évitant les zones de menace, les zones d'exclusion aérienne et les obstacles.
Modèle de mouvement : Un modèle cinématique 3D est utilisé où les UAV contrôlent l'accélération linéaire, l'accélération angulaire de tangage (pitch) et l'accélération angulaire de lacet (yaw). Des contraintes sont appliquées à la vitesse, l'accélération et les angles.
Modèle d'obstacle : Les obstacles sont modélés comme des corps convexes (sphères ou cylindres) définis par des paramètres géométriques.
Formulation de la théorie des jeux : Le problème est formulé comme un Jeu de Markov partiellement observable (POMG).
- Espace d'état ( $S_i$ ) : Comprend la position, la vitesse, les angles de tangage et de lacet.
- Espace d'action ( $A_i$ ) : Accélération linéaire, accélération angulaire de tangage et accélération angulaire de lacet.
- Espace d'observation ( $o_i$ ) : Observations locales incluant l'état propre de l'UAV, les états relatifs des autres UAV et les positions relatives des obstacles.

2.2 Algorithme central : APF-MADDPG

L'algorithme utilise un cadre d'exécution distribuée et d'entraînement centralisé.

Mécanisme d'entraînement hiérarchique : Une structure à deux couches est introduite :
- Couche de planification de trajectoire : Chaque UAV possède un réseau acteur-critique indépendant. L'acteur prend les observations locales pour générer des actions avec un bruit d'exploration.
- Couche d'exécution d'action : Les UAV exécutent les actions dans l'environnement, générant de nouvelles observations et récompenses.
Fonction de récompense dense (Innovation clé) : Pour surmonter les récompenses éparses, les auteurs conçoivent une fonction de récompense composite ( $R_{sum}$ $R_{s u m}$ ) basée sur les principes de l'APF :
- Attraction ( $R_{ut}$ ) : Encourage le mouvement vers la cible en utilisant une fonction de décroissance exponentielle basée sur la distance euclidienne.
- Répulsion ( $R_{uu}$ ) : Pénalise la proximité entre les UAV pour prévenir les collisions.
- Répulsion d'obstacle ( $R_{uo}$ ) : Pénalise la proximité avec les obstacles en utilisant une fonction exponentielle.
- Récompense de départ ( $R_{depart}$ ) : Récompense la progression vers la cible en calculant la différence entre la distance précédente et la distance actuelle par rapport à la cible ( $d(p_{last}, p_{target}) - d(p_{now}, p_{target})$ ). Ce mécanisme est conçu pour résoudre le problème des cibles inaccessibles dans l'APF et empêcher l'agent de errer près de la cible pour accumuler un maximum de récompenses sans l'atteindre.
- Récompense totale : $R_{sum} = w_1R_{ut} + w_2R_{uu} + w_3R_{uo} + w_4R_{depart}$ .

2.3 Processus d'entraînement

L'algorithme emploie les règles de mise à jour standard de MADDPG avec des réseaux cibles pour la stabilité.

Mise à jour du Critique : Minimise la perte entre la valeur Q prédite et la valeur cible ( $y_i$ ), qui incorpore la récompense immédiate et la valeur Q future actualisée provenant des réseaux cibles.
Mise à jour de l'Acteur : Maximise le rendement attendu en utilisant le gradient de politique.
Mises à jour douces (Soft Updates) : Les paramètres du réseau cible sont mis à jour via des mises à jour douces ( $\tau \ll 1$ ) pour assurer la stabilité de l'entraînement.

3. Contributions clés

L'article revendique explicitement deux contributions principales :

Fonction de récompense dense : L'intégration d'une fonction de récompense dense basée sur l'APF dans le cadre MADDPG. Cela répond aux problèmes de récompenses éparses et de convergence lente rencontrés dans l'apprentissage par renforcement multi-agent traditionnel pour la planification de trajectoire.
Mécanisme d'entraînement hiérarchique : L'établissement d'une structure d'apprentissage par renforcement profond hiérarchique comprenant une couche de planification de trajectoire et une couche d'exécution d'action pour entraîner efficacement des stratégies optimales.

4. Résultats expérimentaux

La méthode proposée a été évaluée dans un environnement de simulation 3D (10 km $\times$ 10 km $\times$ 10 km) avec trois UAV et trois obstacles (deux sphères, un cylindre). Elle a été comparée à MADDPG (utilisant des récompenses éparses traditionnelles) et ILDDPG (Independent Learner DDPG).

Vitesse de convergence : Les courbes de récompense par épisode (Fig. 4) démontrent que l'APF-MADDPG converge nettement plus vite que MADDPG et ILDDPG.
Qualité de la politique :
- ILDDPG : A échoué à éviter les obstacles dans la simulation (les UAV 1 et 2 ont collisionné), ce qui le rend inapproprié pour ce scénario multi-agent.
- MADDPG : A réussi à éviter les obstacles mais a entraîné une longueur de trajectoire totale plus longue.
- APF-MADDPG : A réussi à éviter tous les obstacles et a obtenu la longueur de trajectoire totale la plus courte.
Comparaison de la longueur de trajectoire :
- Longueur totale MADDPG : 25,9426 km
- Longueur totale APF-MADDPG : 24,7056 km
- L'algorithme APF-MADDPG a réduit la longueur totale de la trajectoire par rapport au MADDPG standard.

5. Signification et affirmations

L'article conclut que l'algorithme APF-MADDPG surpasse à la fois l'ILDDPG et le MADDPG standard en termes de :

Efficacité de l'apprentissage de la politique : Convergence plus rapide vers une stratégie optimale.
Optimalité de la planification de trajectoire : Génération de trajectoires plus courtes et plus efficaces.
Sécurité : Évitement efficace des collisions avec les obstacles et les autres UAV dans un environnement 3D.

Les auteurs affirment que la combinaison de la récompense dense basée sur l'APF et du mécanisme d'entraînement hiérarchique résout efficacement les défis des récompenses éparses et des minima locaux dans la planification de trajectoire 3D multi-UAV, fournissant une solution robuste pour les missions collaboratives dans des environnements inconnus.