DARA: Distributed Agent Reinforcement-based Adaptive routing in Flying Ad-hoc Network Environments

Résumé Technique : DARA – Routage Adaptatif Distribué basé sur l'Apprentissage par Renforcement dans les Environnements de Réseaux Ad Hoc Volants

Énoncé du Problème
Les réseaux Ad Hoc Volants (FANETs), composés d'UAV (véhicules aériens sans pilote), font face à des défis de routage uniques qui se distinguent des réseaux MANET (réseaux mobiles ad hoc) traditionnels. Ceux-ci incluent des topologies tridimensionnelles hautement dynamiques, des ruptures de liens rapides dues à une haute mobilité, des contraintes énergétiques sévères et l'absence d'infrastructure persistante. Les protocoles MANET conventionnels (ex. AODV, OLSR) se dégradent considérablement dans ces environnements en raison de la fréquence des ruptures de routes et d'un overhead élevé. De même, les solutions existantes spécifiques aux FANET reposent souvent sur un partitionnement hiérarchique (clustering) ou des architectures de réseaux définis par logiciel (SDN) centralisées. L'article soutient que les approches de clustering souffrent de coûts de re-clustering élevés et d'un overhead de contrôle important lors de changements de topologie rapides, tandis que les approches SDN centralisées introduisent des points de défaillance uniques et de la latence dues à la dépendance vis-à-vis des mises à jour de l'état global. De plus, de nombreuses approches d'apprentissage par renforcement (RL) pour les FANET restent semi-centralisées ou intégrées dans des cadres de clustering, échouant à atteindre une véritable décentralisation.

Méthodologie
Pour répondre à ces limitations, les auteurs proposent DARA (Distributed Agent Reinforcement-based Adaptive Routing), un cadre de routage entièrement décentralisé. Dans DARA, chaque UAV fonctionne comme un agent d'apprentissage indépendant et autonome utilisant le Q-learning. Le système ne repose ni sur des chefs de cluster, ni sur un contrôleur central.

• Modèle de Réseau : L'architecture se compose de LAPs (plateformes à basse altitude) responsables de l'acquisition de données et de HAPs (plateformes à haute altitude) agissant comme relais aériens vers une station de gestion de catastrophe (DMS).
• Représentation de l'État : Chaque agent construit un vecteur d'état local comprenant l'énergie résiduelle, la qualité du lien (une combinaison pondérée de l'RSSI, du taux de réception des paquets et du temps d'expiration du lien), la distance au HAP le plus proche, la vélocité relative des voisins, et l'occupation du tampon (buffer) des voisins.
• Espace d'Action : L'action consiste en la sélection d'un voisin suivant (next-hop) parmi un ensemble de candidats filtrés par des seuils de qualité de lien et une progression vers l'avant en direction du HAP.
• Fonction de Récompense : L'agent reçoit une récompense scalaire conçue pour équilibrer quatre objectifs : la fiabilité de la livraison des paquets (PDR), la qualité du lien, la consommation d'énergie et l'évitement de la congestion (occupation du tampon). La fonction de récompense pénalise les transmissions gourmandes en énergie et le transfert vers des nœuds congestionnés.
• Flux Opérationnel : Le protocole opère en trois étapes :
  1. Émission de Balises (Beacon) : Diffusion périodique de l'état local (position, énergie, vélocité) pour maintenir les tables de voisinage.
  2. Époque de Contrôle : Un cycle de décision piloté par le RL où l'agent sélectionne un prochain saut basé sur sa table Q (en utilisant une politique $\epsilon$-greedy), transmet le paquet, observe le résultat (ACK/timeout), et met à jour la valeur Q.
  3. Comportement de Relais : Les nœuds récepteurs vérifient les doublons, tentent une transmission directe vers le HAP si la portée le permet, ou transfèrent le paquet vers le prochain saut sélectionné par leur propre agent RL local.

Principales Contributions
L'article présente quatre contributions principales :

1. Cadre Décentralisé : L'introduction d'un cadre de routage entièrement distribué où chaque UAV agit comme un agent RL indépendant, éliminant les goulots d'étranglement associés aux structures de clustering et aux coordinateurs centralisés.
2. Conception de Récompense Multi-Objectifs : Le développement d'une représentation d'état compacte et d'une fonction de récompense multi-but qui optimisent conjointement la fiabilité du lien, la stabilité du routage, l'évitement de la congestion et l'utilisation de l'énergie.
3. Algorithmes Légers : La conception d'algorithmes pratiques pour l'échange de balises, la sélection du prochain saut pilotée par le RL, et le comportement de relais, formant un flux de travail en trois phases exécutable efficacement sur des UAV aux ressources limitées.
4. Évaluation Complète : Simulations étendues utilisant ns-3 couplé à ns3-gym pour valider DARA par rapport à des références établies (AODV, EMASS et ESOFCluster) à travers divers modèles de mobilité et de trafic.

Résultats
Les simulations effectuées sur une zone de 2 km $\times$ 2 km avec 30 à 50 LAPs et des vitesses de mobilité variables (10–25 m/s) démontrent que DARA surpasse systématiquement les protocoles de référence :

• Taux de Livraison de Paquets (PDR) : DARA atteint une amélioration de 10 à 25 % par rapport aux références, avec les gains les plus significatifs observés dans les scénarios de haute mobilité et de haute densité où les protocoles traditionnels souffrent d'instabilité de lien.
• Délai de Bout en Bout : DARA réduit le délai de 20 à 45 % par rapport à AODV et aux schémas de clustering, grâce à l'évitement de l'inondation de découverte de route et de l'overhead de maintenance de cluster.
• Débit (Throughput) : Le protocole maintient un débit 18 à 40 % plus élevé en utilisant efficacement les liens stables et en évitant les points chauds de congestion.
• Overhead de Routage : DARA réduit l'overhead de contrôle de 45 à 65 % par rapport aux références, car il élimine les inondations de découverte de route et les signaux de réélection de cluster.
• Efficacité Énergétique : La consommation d'énergie liée au routage est réduite de 25 à 45 %, principalement grâce à l'élimination des signaux de contrôle excessifs et à la sélection de chemins économes en énergie.
• Stabilité de Lien : DARA maintient des temps de maintien de lien nettement plus longs, indiquant une adaptabilité supérieure à la mobilité 3D.

Signification et Revendications
L'article affirme que DARA valide le potentiel d'un routage décentralisé, piloté par l'apprentissage par renforcement, comme une solution scalable et robuste pour les réseaux de drones autonomes de nouvelle génération. En poussant l'intelligence à la périphérie du réseau (edge) et en se reposant uniquement sur des interactions locales, DARA répond aux limitations critiques des approches centralisées et hiérarchiques, spécifiquement les goulots d'étranglement du plan de contrôle et les points de défaillance uniques. Les auteurs soutiennent que la conception de "free-clustering" est particulièrement avantageuse dans les environnements hautement dynamiques où la minimisation de la complexité de contrôle améliore directement l'efficacité du réseau.

L'article conclut modestement, reconnaissant des limitations telles que la scalabilité du Q-learning tabulaire dans des espaces d'états extrêmement vastes et l'hypothèse actuelle d'un comportement entièrement coopératif. Des travaux futurs sont proposés pour intégrer l'apprentissage par renforcement profond (Deep RL) pour une meilleure généralisation et pour incorporer des mécanismes de sécurité pour les environnements adverses.