Résumé Technique : Reconfiguration Dynamique de Clusters Basée sur le H-MADRL pour la Gestion de la Mobilité des UAV

1. Énoncé du Problème

L'article traite du défi de la gestion de la mobilité des véhicules aériens sans pilote (UAV) dans les réseaux d'interférences sans fil à connectivité multiple. Contrairement aux réseaux traditionnels centrés sur les cellules où les utilisateurs se connectent à un point d'accès (AP) unique, les architectures à connectivité multiple (par exemple, les réseaux sans cellule, CoMP) servent les utilisateurs via des clusters dynamiques de points d'accès distribués. Ce paradigme offre une robustesse pour les trajectoires 3D de haute mobilité des UAV mais introduit trois défis critiques :

1. Fiabilité sous longueur de bloc finie : Les applications de commande et de contrôle des UAV nécessitent des communications ultra-fiables à faible latence (URLLC). Dans les régimes de longueur de bloc finie, les probabilités d'erreur de décodage sont non nulles, ce qui nécessite des contraintes strictes de rapport signal sur interférence plus bruit (SINR) pour respecter les objectifs de fiabilité.
2. Efficacité énergétique : Les transmissions simultanées de plusieurs AP augmentent la consommation totale de puissance. Le système doit minimiser la consommation de puissance conjointe tout en maintenant la qualité de communication.
3. Stabilité du cluster : La reconfiguration fréquente des clusters de service à mesure que les utilisateurs se déplacent génère un surcoût de contrôle et une latence importants. Le système doit minimiser la fréquence de reconfiguration sans compromettre la qualité de service (QoS).

Les approches conventionnelles d'optimisation, de mise en correspondance (matching) et de théorie des jeux peinent à résoudre ces problèmes en raison de leur dépendance à une information d'état de canal (CSI) parfaite et en temps réel, ainsi que de leur incapacité à passer à l'échelle lorsque la taille du réseau augmente. Bien que l'apprentissage par renforcement profond (DRL) offre une certaine adaptabilité, le DRL centralisé manque de scalabilité, et le MADRL standard souffre souvent de limitations de performance dues à l'observabilité partielle et à la complexité d'objectifs hétérogènes et étroitement couplés (clustering vs contrôle de puissance).

2. Méthodologie

Les auteurs proposent un cadre d'apprentissage par renforcement profond multi-agents hiérarchique (H-MADRL), implémenté spécifiquement sous la forme de H-MAPPO (Hierarchical Multi-Agent Proximal Policy Optimization). L'approche décompose le problème d'optimisation conjointe en deux sous-problèmes interdépendants gérés par des agents à différents niveaux du réseau.

Architecture du Système

• Agent de haut niveau (Edge Cloud) : Responsable de la reconfiguration dynamique des clusters. Il observe les états globaux du réseau (positions des utilisateurs, charges des AP, conditions de canal) et détermine le cluster de service $\Gamma$ optimal pour chaque UAV.
• Agents de bas niveau (AP) : Responsables de l'allocation de puissance efficace en énergie. Chaque AP agit comme un agent indépendant qui alloue la puissance de transmission à ses utilisateurs assignés en fonction d'observations locales et de la décision de clustering reçue de l'agent de haut niveau.

Mécanisme Novateur : Transition Action-Observation

Pour remédier au problème d'observabilité partielle dans le MADRL et améliorer la coordination, l'article introduit un mécanisme de transition action-observation. L'action entreprise par l'agent de haut niveau (la décision de clustering) est injectée directement dans l'espace d'observation des agents de bas niveau. Cela permet aux agents de bas niveau d'incorporer le contexte global du clustering dans leurs décisions locales d'allocation de puissance, créant un système cohérent où les politiques de bas niveau sont guidées par les stratégies de haut niveau.

Formulation Mathématique

Le problème est modélisé comme un processus de décision de Markov partiellement observable (POMDP).

• Objectif : Maximiser une somme pondérée de la stabilité des clusters (minimisation des reconfigurations) et de l'efficacité énergétique (maximisation des bits transmis par unité de puissance), sous réserve de :
  • Contraintes de probabilité d'erreur de décodage maximale ($\varepsilon_{max}$) dérivées de la théorie de l'information de la longueur de bloc finie.
  • Contraintes de puissance de transmission maximale ($P_{max}$).
  • Seuils de SINR minimum ($\gamma_{th}$).
• Fonctions de Récompense :
  • Haut Niveau : Récompense les clusters stables et pénalise les ruptures de SINR.
  • Bas Niveau : Récompense la minimisation de la puissance et pénalise les violations de la probabilité d'erreur.

Entraînement et Déploiement

Le cadre est entraîné en utilisant l'Optimisation de Politique Proximale (PPO) pour l'agent de haut niveau et le MAPPO (Multi-Agent PPO) pour les agents de bas niveau. L'entraînement se déroule dans un environnement jumeau numérique (OpenAI Gym avec Ray RLlib) via des rollouts on-policy. Les politiques résultantes sont déployées sous forme de réseaux "gelés", où l'edge cloud émet des commandes de clustering via un backhaul optique, et les AP effectuent l'inférence locale pour le contrôle de puissance sans exploration en ligne.

3. Contributions Clés

1. Formulation d'Optimisation : Les auteurs formulent un problème d'optimisation multi-objectif pour le clustering dynamique et l'allocation de puissance conjointe dans un réseau d'interférences sans fil, en tenant explicitement compte des contraintes de fiabilité de longueur de bloc finie et des probabilités d'erreur.
2. Cadre Hiérarchique : Ils proposent un cadre H-MADRL scalable qui découple le clustering et le contrôle de puissance. Un agent de haut niveau dans l'edge cloud optimise le clustering, tandis que des agents AP de bas niveau distribués optimisent la puissance, équilibrant scalabilité et performance.
3. Transition Action-Observation : Un mécanisme novateur est introduit où l'action de l'agent de haut niveau (clustering) devient une partie de l'espace d'observation des agents de bas niveau. Cela améliore la coordination et permet aux agents de bas niveau d'allouer la puissance plus efficacement en fonction du contexte global du clustering.
4. Validation : La faisabilité et la performance de l'algorithme H-MAPPO proposé sont validées par des simulations numériques approfondies contre des bases de référence centralisées et distribuées.

4. Résultats Numériques

L'article compare H-MAPPO à plusieurs bases de référence : MSAC (centralisé), MAPPO standard (distribué), le clustering opportuniste, JCPC (basé sur l'optimisation) et un schéma d'AP "le plus proche".

• Efficacité de l'Apprentissage : H-MAPPO converge environ 15 % plus vite et atteint des récompenses cumulées plus élevées que la base de référence MAPPO distribuée. La décomposition hiérarchique simplifie l'espace d'action, favorisant une exploration et une stabilisation plus rapides.
• Fiabilité (Probabilité d'Outage) : H-MAPPO atteint une probabilité d'outage de SINR proche de $10^{-8}$, comparable au schéma JCPC basé sur l'optimisation ($10^{-9}$) et nettement supérieure à MSAC centralisé ($10^{-5}$) et au MAPPO distribué. Il respecte efficacement les seuils stricts de Probabilité d'Erreur de Décodage (DEP).
• Efficacité de la Puissance : H-MAPPO atteint la fiabilité requise avec la puissance de transmission totale la plus faible parmi les méthodes d'apprentissage. Il opère en dessous de 60 % de la puissance maximale disponible dans 90 % des cas, alors que les schémas opportunistes non apprenants utilisent plus de 90 % de la puissance.
• Stabilité du Cluster : H-MAPPO démontre une stabilité supérieure avec un taux de reconfiguration de cluster de seulement 9 %, contre 83 % pour l'approche d'optimisation JCPC. Cela indique que l'agent d'apprentissage capture avec succès les modèles de mobilité à long terme pour éviter les reconfigurations inutiles.
• Scalabilité : Lorsque le nombre d'AP double (de 16 à 32), le temps de décision de H-MAPPO n'augmente que de 10 %. En revanche, l'approche MSAC centralisée voit son temps de décision augmenter de 90 %, et le MAPPO standard de 70 %. Cela souligne la scalabilité supérieure de l'approche hiérarchique.

5. Signification et Revendications

L'article affirme que le cadre H-MAPPO proposé offre une solution pratique au compromis entre scalabilité et performance dans les réseaux UAV à connectivité multiple. En décomposant le problème et en utilisant le mécanisme de transition action-observation, le système atteint :

• Une performance comparable à l'optimisation centralisée (spécifiquement en termes de fiabilité et d'efficacité de puissance) mais avec une bien meilleure scalabilité.
• Un surcoût de contrôle réduit grâce aux reconfigurations de clusters minimisées.
• Une efficacité énergétique en adaptant dynamiquement l'allocation de puissance pour répondre aux strictes contraintes de fiabilité sans surprovisionnement.

Les auteurs concluent que cette approche hiérarchique comble efficacement l'écart entre l'adaptabilité de l'apprentissage distribué et la coordination requise pour une QoS stricte dans les scénarios de mobilité 3D dynamique. Ils reconnaissent les limites concernant la complexité de coordination entre les niveaux et la dépendance à un contrôleur de haut niveau central, suggérant que des travaux futurs pourraient explorer des formulations hiérarchiques entièrement décentralisées.