💻 computer science

WDQAR:A Weighted Double Q-Learning Based Adaptive Routing Protocol for Flying Ad Hoc Networks

Cet article propose WDQAR, un protocole de routage adaptatif pour les réseaux ad hoc volants qui exploite un cadre de double Q-apprentissage pondéré combiné à une découverte dynamique des voisins et à un filtrage par secteur afin d'atténuer le biais d'estimation des valeurs Q et d'optimiser les performances de routage dans des environnements de drones hautement mobiles.

Auteurs originaux : Qingzhong Ni, Yijie Bai, Daojie Yu, Qi Zhang, Fan Meng

Publié 2026-09-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qingzhong Ni, Yijie Bai, Daojie Yu, Qi Zhang, Fan Meng

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le ciel au-dessus des zones de catastrophe, des champs de bataille ou des étendues sauvages reculées, de petits robots volants, connus sous le nom de véhicules aériens sans pilote, ou UAV, travaillent de plus en plus en essaims. Ces machines ne dépendent pas de tours de téléphonie cellulaire ou de câbles internet fixes ; au lieu de cela, elles communiquent directement entre elles, formant un réseau temporaire et auto-organisé qui flotte dans les airs. Ce type de réseau est appelé un Réseau Aérien Ad Hoc (Flying Ad Hoc Network). Le défi pour ces essaims est que l'air est un lieu chaotique. Les drones se déplacent rapidement, leurs positions changent chaque seconde, et les liaisons radio invisibles qui les connectent peuvent se briser aussi facilement qu'elles se forment. Pour permettre à un message de circuler d'un drone à l'autre jusqu'à ce qu'il atteigne une station au sol, le réseau nécessite un système de routage capable de prendre des décisions en une fraction de seconde sur quel voisin lui confier le prochain saut. Les méthodes traditionnelles peinent souvent ici, soit en réagissant trop lentement aux changements, soit en gaspillant une énergie précieuse en criant constamment des mises à jour à chaque voisin.

Une équipe de chercheurs de l'Université d'Ingénierie de l'Information de la Légion Populaire de Libération a proposé une nouvelle façon de résoudre ce problème, appelée WDQAR. Leur approche traite le problème de la recherche de chemin non pas comme une carte statique à dessiner, mais comme un processus d'apprentissage. Imaginez un drone qui n'a jamais volé sur cet itinéraire spécifique auparavant ; il doit apprendre quels voisins sont fiables, quels liens sont susceptibles de se briser, et quelle direction mène le plus efficacement au but. Les chercheurs ont utilisé une technique issue du domaine de l'intelligence artificielle connue sous le nom d'apprentissage par renforcement, où un agent apprend par essais et erreurs, recevant des récompenses pour les bons choix et des pénalités pour les mauvais. Cependant, les méthodes d'apprentissage standards peuvent parfois être excessivement optimistes, supposant qu'un chemin est meilleur qu'il ne l'est réellement. Pour corriger cela, l'équipe a introduit une méthode d'apprentissage « à double pondération » (weighted double). Ce système maintient deux registres distincts de ce qu'il a appris. En comparant ces deux registres et en mélangeant leurs prédictions, le système évite le pièux de l'excès de confiance, menant à des décisions plus stables et plus précises dans le ciel en mouvement rapide.

Le protocole opère en deux phases principales. Premièrement, les drones doivent savoir qui se trouve autour d'eux. Dans un réseau en mouvement rapide, envoyer des messages de « bonjour » pour annoncer sa présence trop souvent gaspille de l'énergie, mais les envoyer trop rarement signifie que le drone pourrait ne pas réaliser qu'un voisin s'est éloigné de sa portée. Le système WDQAR résout cela en rendant la fréquence de ces messages adaptative. Si un drone vole selon un schéma stable avec des voisins se déplaçant dans la même direction, il ralentit la fréquence de ses messages de bonjour. Si le vent ou les manœuvres rendent les liaisons instables, il accélère les messages pour rester à jour. Cet ajustement dynamique garantit que le réseau reste conscient de sa forme changeante sans noyer les ondes avec des bavardages inutiles.

Une fois qu'un drone connaît ses voisins, il doit décider où envoyer le paquet de données ensuite. Au lieu de demander à chaque voisin, le système filtre d'abord la liste en fonction de la géographie. Il crée une zone en forme de cône pointant vers la destination et ne considère que les voisins situés à l'intérieur de ce cône. Cela réduit le champ des choix, permettant à l'algorithme d'apprentissage de se concentrer sur les chemins les plus prometteurs. La décision de choisir quel voisin est ensuite guidée par un système de récompense qui pèse quatre facteurs spécifiques : la quantité d'énergie restante du voisin, la durée prévue de la connexion, la proximité du voisin avec la destination finale, et le nombre d'autres voisins fiables que ce voisin possède. En équilibrant ces facteurs, le système évite d'envoyer des données à un drone qui est sur le point de manquer d'énergie ou à un drone qui se dirige vers une impasse.

Pour accélérer cet apprentissage, les chercheurs ont donné aux drones un coup de pouce. Au lieu de commencer avec aucune connaissance, le système attribue une valeur initiale à chaque voisin basée sur sa position relative par rapport à la destination. Un voisin qui est physiquement plus proche de l'objectif reçoit un meilleur score de départ. Cela empêche les drones de perdre du temps à explorer des chemins inutiles au début du processus. De plus, le système ajuste sa propre vitesse d'apprentissage en fonction de la stabilité du réseau. Si une liaison est lente ou peu fiable, le système apprend rapidement de cet échec. Si la connexion est stable, il apprend plus lentement, faisant confiance à son expérience passée. Cette flexibilité permet au réseau de s'adapter instantanément aux changements soudains de vitesse ou de direction.

Les chercheurs ont testé leur idée à l'aide d'une simulation informatique qui modélisait un scénario de surveillance de catastrophe avec jusqu'à cent drones volant dans un espace tridimensionnel. Ils ont comparé leur nouveau protocole à d'autres méthodes existantes qui utilisent également des algorithmes d'apprentissage. Les résultats ont montré que le système WDQAR était nettement plus efficace. Il a délivré un pourcentage plus élevé de paquets de données à la station au sol, atteignant un taux de réussite moyen de plus de quatre-vingt-douze pour cent, même lorsque le nombre de drones augmentait. Il a également réussi à acheminer les données plus rapidement, avec un délai moyen presque quarante pour cent inférieur à celui de son concurrent le plus proche. Peut-être plus important encore pour la longévité de l'essaim, le nouveau protocole consomme moins d'énergie et génère moins de trafic de contrôle. En envoyant moins de messages de bonjour et en choisissant des chemins plus efficaces, les drones préservent leur autonomie de batterie et maintiennent le réseau en fonctionnement fluide.

L'étude confirme qu'en combinant une manière intelligente de filtrer les voisins avec une méthode plus prudente d'apprentissage par l'expérience, il est possible de créer un système de routage suffisamment robuste pour la nature imprévisible du vol. Bien que les conclusions proviennent de simulations plutôt que de tests de vol physiques, les données suggèrent que cette approche pourrait rendre les futurs essaims de drones plus fiables dans des situations réelles où les infrastructures de communication sont absentes ou endommagées. Ce travail souligne que dans un monde de pièces mobiles, la meilleure stratégie n'est pas seulement de réagir, mais d'apprendre, de peser les options avec soin et de s'adapter continuellement à l'environnement.

Résumé technique : WDQAR - Un protocole de routage adaptatif basé sur le Double Q-Learning pondéré pour les FANET

1. Énoncé du problème

Les réseaux aériens ad hoc volants (FANET), composés de véhicules aériens sans pilote (UAV), sont confrontés à des défis importants pour maintenir un routage fiable en raison de la mobilité rapide des nœuds, des changements fréquents de topologie et de l'instabilité des liaisons de communication. Bien qu'il existe des protocoles de routage existants pour les réseaux mobiles ad hoc (MANET) et les réseaux ad hoc véhiculaires (VANET), ils échouent souvent à répondre aux exigences des FANET en raison d'un overhead de contrôle élevé, d'une sensibilité aux imprécisions de localisation et d'une incapacité à apprendre des conditions dynamiques.

Plus précisément, les protocoles de routage basés sur le Q-learning, bien qu'adaptatifs, souffrent de trois limitations principales dans ce contexte :

Estimation biaisée des valeurs Q : Le Q-learning conventionnel a tendance à surestimer les valeurs futures car il utilise la même table Q pour la sélection des actions et l'évaluation des valeurs.
Convergence lente : L'initialisation aléatoire ou nulle des valeurs Q entraîne une exploration initiale inefficace et une adaptation lente à l'environnement réseau actuel.
Overhead de contrôle élevé : Les intervalles de messages HELLO statiques entraînent soit des informations de topologie obsolètes (si trop longs), soit un trafic de contrôle excessif (si trop courts), ne parvenant pas à s'adapter aux variations de la durée des liaisons et de la vitesse des nœuds.

2. Méthodologie : WDQAR

Le document propose WDQAR (Weighted Double Q-Learning based Adaptive Routing), un protocole à deux étapes conçu pour répondre aux problèmes susmentionnés. Le protocole opère dans un scénario de surveillance de catastrophe en 3D où les UAV communiquent avec une station de contrôle au sol (GCS).

2.1 Découverte adaptative des voisins

Pour gérer efficacement les changements de topologie, WDQAR introduit un mécanisme d'ajustement dynamique de l'intervalle de diffusion des messages HELLO.

Mécanisme : Au lieu d'un intervalle fixe, la période de diffusion ( $HP_i^t$ ) est calculée sur la base de la durée de liaison prédite ( $LD_{ij}$ ) et de la similitude cosinus ( $CS_i^t$ ) des vecteurs de vitesse entre un nœud et ses voisins.
Logique : Si les nœuds s'éloignent rapidement (faible durée de liaison) ou ont des vitesses divergentes, l'intervalle se raccourcit pour mettre à jour rapidement les tables de voisinage. Si la topologie est stable, l'intervalle s'allonge pour réduire l'overhead de contrôle.
Limites : L'intervalle est contraint dans l'intervalle $[HP_{min}, HP_{max}]$ pour éviter les valeurs extrêmes.

2.2 Module de décision de routage

La phase de routage utilise un cadre d'apprentissage par renforcement avec plusieurs optimisations spécifiques :

A. Filtrage des voisins candidats

Pour réduire l'espace d'action et accélérer la convergence, le protocole filtre les voisins potentiels en utilisant un mécanisme basé sur des secteurs.

Un secteur sphérique est défini avec le nœud actuel comme centre, la GCS comme axe central, et un angle de demi-cône ( $\phi \approx 60^\circ$ ).
Seuls les voisins situés dans ce secteur sont considérés comme des candidats primaires. Si aucun voisin n'existe dans le secteur, le protocole revient à un ensemble de candidats gourmand (nœuds plus proches de la GCS).

B. Initialisation des valeurs Q

Pour éviter une exploration initiale inefficace, WDQAR utilise une stratégie d'initialisation basée sur la position plutôt qu'une initialisation aléatoire ou nulle.

La valeur Q initiale ( $Q_{init}$ ) est assignée en fonction du ratio de la distance du candidat voisin par rapport à la destination versus la distance du nœud actuel.
Les voisins plus proches de la destination reçoivent des valeurs Q initiales plus élevées, fournissant à l'agent des connaissances préalables sur les capacités de transfert.

C. Conception de la fonction de récompense

La fonction de récompense ( $r_i^t$ ) est une somme pondérée de quatre métriques normalisées, avec des poids déterminés dynamiquement via l'entropie de l'information :

Énergie résiduelle ( $E_j$ ) : Empêche l'épuisement énergétique sur des nœuds spécifiques.
Durée de liaison ( $LD_{ij}$ ) : Priorise les liaisons stables.
Progrès géographique ( $F_{ij}$ ) : Encourage le mouvement vers l'avant vers la destination tout en minimisant les angles de déviation.
Ratio de voisins valides ( $VNR_{ij}$ ) : Reflète la densité de voisins fiables disponibles pour les sauts suivants, réduisant le risque de trous de routage.

D. Mise à jour du Double Q-Learning pondéré

Pour atténuer le biais de surestimation du Q-learning standard et le potentiel de sous-estimation du Double Q-learning, WDQAR utilise une approche de Double Q-Learning pondéré.

Tables duales : Chaque UAV maintient deux tables Q indépendantes ( $Q_1$ et $Q_2$ ).
Processus de mise à jour : Une table est sélectionnée aléatoirement pour la mise à jour, tandis que l'autre est utilisée pour évaluer la valeur de l'action.
Pondération adaptative : Un poids adaptatif ( $\beta$ ) est calculé sur la base de l'écart entre les deux estimateurs pour les meilleures et les pires actions. Ce poids équilibre les estimateurs simple et double, produisant une estimation plus précise de la valeur future ( $Q_W$ ) et améliorant la stabilité.

E. Paramètres d'apprentissage dynamiques

Le taux d'apprentissage ( $\alpha$ ) et le facteur de remise ( $\gamma$ ) sont ajustés de manière adaptative :

Taux d'apprentissage : Augmente lorsque le délai du prochain saut est supérieur à la moyenne (indiquant une instabilité) pour mettre à jour les valeurs plus rapidement ; diminue pour les liaisons stables pour s'appuyer sur l'expérience historique.
Facteur de remise : Ajusté en fonction de la stabilité des ensembles de voisins entre les pas de temps consécutifs, réduisant la dépendance aux récompenses futures lorsque la variation de la topologie est drastique.

3. Principales contributions

Le document souligne quatre contributions principales :

Mécanisme HELLO adaptatif : Un ajustement dynamique des intervalles de diffusion basé sur la durée de liaison et la similitude de vitesse pour équilibrer les mises à jour de topologie opportunes et la réduction de l'overhead de contrôle.
Cadre de Double Q-Learning pondéré : Un protocole de routage distribué qui maintient deux tables Q avec un mécanisme de pondération adaptative pour réduire le biais d'estimation et améliorer la stabilité dans des environnements hautement dynamiques.
Fonction de récompense complète : Une fonction de récompense multi-métrique intégrant l'énergie résiduelle, la durée de liaison, le progrès géographique et le ratio de voisins valides, avec des poids déterminés dynamiquement via l'entropie de l'information.
Stratégies d'optimisation : L'intégration de l'initialisation des valeurs Q basée sur la position et des paramètres d'apprentissage adaptatifs pour accélérer la convergence et améliorer l'adaptabilité.

4. Résultats de simulation

Le protocole a été évalué à l'aide de NS-3 dans un scénario de surveillance de catastrophe en 3D avec 40 à 100 UAV se déplaçant à 10–30 m/s. WDQAR a été comparé à QFANET et QGEO.

Stabilité des valeurs Q : Le Double Q-learning pondéré a réduit la volatilité des valeurs Q d'environ 45,62 % et la variation totale de 33,03 % par rapport au Q-learning simple.
Taux de livraison des paquets (PDR) : WDQAR a obtenu le PDR le plus élevé, atteignant en moyenne 92,62 % (environ 3,42 % de plus que QFANET et 6,50 % de plus que QGEO). Il a maintenu des performances supérieures à travers diverses densités de nœuds et vitesses d'UAV.
Délai de bout en bout : WDQAR a démontré le délai moyen le plus bas (16,80 ms), représentant une réduction de 40,93 % par rapport à QFANET et de 44,30 % par rapport à QGEO.
Consommation d'énergie : Le protocole a réduit la consommation d'énergie moyenne de 12,34 % (vs QFANET) et de 6,86 % (vs QGEO) en équilibrant la charge et en réduant les retransmissions inutiles.
Overhead de routage : WDQAR a obtenu l'overhead le plus faible (9,94 %), le réduisant de 29,43 % et 34,80 % par rapport aux protocoles comparatifs, principalement grâce à l'intervalle HELLO adaptatif.

5. Signification et affirmations

Les auteurs affirment que WDQAR améliore considérablement la fiabilité du routage et la stabilité de l'apprentissage dans les environnements FANET hautement dynamiques. En abordant les limitations spécifiques des approches de Q-learning existantes — à savoir le biais d'estimation, la convergence lente et l'overhead de contrôle statique — le protocole offre une solution robuste pour les essaims d'UAV opérant dans des scénarios à haute mobilité et à ressources limitées.

Le document conclut que la combinaison de la découverte adaptative des voisins, du filtrage par secteur et du Double Q-Learning pondéré permet au réseau d'identifier les routes optimales plus précisément et de s'adapter aux changements de topologie plus efficacement que les protocoles de pointe actuels. Les travaux futurs incluent l'extension du protocole à des scénarios plus larges et complexes, ainsi que la validation de l'approche par des expériences matérielles en boucle (hardware-in-the-loop) et des expériences réelles d'UAV.