Digital-Twin Empowered Deep Reinforcement Learning For Site-Specific Radio Resource Management in NextG Wireless Aerial Corridor

Résumé Technique : Apprentissage par Renforcement Profond optimisé par Jumeau Numérique pour la Gestion des Ressources Radio Spécifiques au Site dans un Corridor Aérien Sans Fil NextG

Énoncé du Problème
L'article traite du défi complexe de la gestion des ressources radio (RRM) consistant à optimiser conjointement l'association des stations de base (BS) et la sélection de faisceaux pour plusieurs véhicules aériens sans pilote (UAV) opérant dans un corridor aérien spécifique au site (SS). Ce problème est caractérisé par :

• Espaces d'action de haute dimension : La nature combinatoire de l'assignation de $M$ UAV à $L$ BS et $N$ faisceaux crée un problème d'optimisation NP-difficile.
• Environnements Dynamiques : La variation rapide des canaux de propagation et la mobilité des UAV rendent l'adaptation en temps réel difficile.
• Surcoût de l'état de connaissance du canal (CSI) : Les méthodes optimales conventionnelles nécessitent un CSI global, ce qui entraîne un surcoût de signalisation et des exigences de synchronisation prohibitifs dans les scénarios denses et mobiles.
• Rareté des données d'entraînement : Bien que l'apprentissage par renforcement profond (DRL) offre une voie pour réduire la complexité computationnelle, l'entraînement de modèles robustes nécessite généralement des jeux de données spécifiques au site qui sont difficiles à acquérir sur des réseaux actifs sans perturber les opérations.

Méthodologie
Les auteurs proposent un cadre à deux étapes, activé par un jumeau numérique (DT), qui couple la modélisation basée sur la physique avec l'apprentissage par renforcement profond.

1. Construction du Jumeau Numérique et du Jumeau de Canal (CT) :

   • Un environnement de DT haute fidélité est construit en utilisant le campus de l'Université Howard comme banc d'essai, en utilisant les données OpenStreetMap, Blender pour la modélisation 3D, et NVIDIA Sionna pour le lancer de rayons (ray tracing) accéléré par GPU.
   • Le Jumeau de Canal (CT) capture les caractéristiques de propagation spécifiques au site (trajets multiples, diffraction, réflexion) en intégrant les contextes géospatiaux, les emplacements des BS et les positions des UAV.
   • Étape 1 (Optimisation du gain de faisceau) : Un algorithme de recuit simulé (dual annealing) est employé hors ligne pour précalculer les angles de balayage horizontaux optimaux ($\phi_{scan}$) pour chaque combinaison BS-UAV-faisceau. Cela maximise le gain d'antenne conforme à la 3GPP ($G_{5G}$) vers la position physique de l'UAV, créant ainsi une bibliothèque de gains de faisceaux optimisés.

2. Optimisation de la Politique de Proximité Multi-Têtes (MH-PPO) :

   • Étape 2 (Apprentissage d'association) : Un agent de l'Optimisation de la Politique de Proximité Multi-Têtes (MH-PPO) est entraîné sur le jeu de données hors ligne généré par le CT.
   • Architecture : L'agent utilise une dorsale d'extraction de caractéristiques partagée (traitant les gains de canal aplatis et les angles d'arrivée) alimentant $M$ têtes d'acteurs décentralisées (une par UAV) et un réseau de critique centralisé. Cette conception permet au réseau de s'adapter à la densité des UAV sans changement architectural.
   • Gestion des contraintes : Au lieu de contraintes strictes, le cadre impose l'équilibrage de charge et l'exclusivité des faisceaux via un mécanisme de récompense basé sur des pénalités. Si plusieurs UAV sélectionnent la même BS, l'environnement accepte les $N$ liaisons les plus fortes et pénalise l'excédent, permettant à l'agent d'apprendre implicitement des associations équilibrées.
   • Espace d'état : L'état d'entrée comprend le gain de canal, ainsi que les angles d'azimut et de zénith d'arrivée dérivés du CT.
   • Espace d'action : L'agent produit une distribution catégorielle sur les paires BS-faisceau pour chaque UAV.

Principales Contributions

1. Méthodologie d'entraînement pilotée par DT : L'article construit un jeu de données hors ligne physiquement cohérent via un CT haute fidélité qui respecte les spécifications 3GPP TR 37.840 et ECC Report 281. Ce jeu de données soutient l'entraînement d'un agent PPO, permettant un apprentissage de politique robuste à travers diverses conditions de canal sans nécessiter l'exploration de réseaux réels.
2. Cadre MH-PPO Scalable : Les auteurs formulent l'association UAV-BS-faisceau comme une tâche d'apprentissage de politique en utilisant une architecture acteur-critique multi-têtes spécialisée. Cette approche mappe directement les caractéristiques CSI de haute dimension vers des décisions d'allocation de ressources, éliminant le besoin d'optimisation itérative lors du déploiement en ligne.
3. Équilibrage de charge implicite : Un mécanisme de récompense novateur pénalise les violations de capacité, permettant à l'agent d'apprendre l'équité et l'équilibrage de charge par le comportement plutôt que par un codage explicite des contraintes dans le réseau de politique.
4. Performance et Latence : Le cadre démontre des améliorations significatives du débit par rapport aux bases de référence tout en atteignant des latences d'inférence de l'ordre de la milliseconde, adaptées aux opérations 6G en temps réel.

Résultats
Des simulations approfondies ont été menées dans un environnement virtuel 3D avec des paramètres d'antenne standardisés par la 3GPP, comparant le MH-PPO proposé à un DQN Vanilla, un algorithme de Hongrie à deux étapes, et plusieurs heuristiques (Gain Max, BS la plus proche, Aléatoire).

• Gains de Débit : Dans des scénarios denses ($M=30$ UAV), l'agent MH-PPO a obtenu une amélioration de 44 % à 121 % par rapport au DQN et un gain de 249 % à 807 % par rapport aux schémas heuristiques traditionnels. Par exemple, à 60 m d'altitude avec 20 UAV, le MH-PPO a atteint 12,59 Mbps, soit un gain de 43,8 % par rapport au DQN et de 720,6 % par rapport à l'heuristique "Closest-BS".
• Robustesse et Généralisation : L'agent MH-PPO a démontré une stabilité supérieure dans des environnements de haute dimension limités par les interférences. Alors que le DQN souffrait de déséquilibre de distribution et de dégénérescence de la politique (évidencié par une longue queue gauche dans la distribution du débit), le MH-PPO maintenait des performances constantes. Le 5ème percentile du débit (performance de l'utilisateur dans le pire des cas) pour le MH-PPO était nettement supérieur à celui du DQN, indiquant une meilleure équité.
• Latence d'Inférence : Le cadre proposé a atteint une latence d'inférence moyenne de 2,43 ms, soit environ 2,4 % du temps de cohérence de canal minimal pour des UAV voyageant à 20–50 km/h. C'est plusieurs ordres de grandeur plus rapide que le temps requis pour une optimisation itérative et bien en dessous de l'exigence de latence de 40 ms pour les paquets de Commande et Contrôle (C2).
• Scalabilité : La latence d'inférence a suivi une croissance sous-linéaire avec le nombre d'UAV, confirmant la faisabilité de l'approche pour des déploiements ultra-denses.

Signification
L'article affirme que ce travail établit une voie viable pour la gestion des ressources en temps réel dans les réseaux de corridors aériens de prochaine génération. En exploitant les jumeaux numériques pour générer des données d'entraînement de haute fidélité, les auteurs surmontent le double défi de l'intraitabilité computationnelle de l'optimisation combinatoire et de l'impossibilité d'acquérir un CSI global en temps réel. Les résultats démontrent que les pipelines d'entraînement pilotés par DT peuvent délivrer des politiques de RRM à haute performance et faible latence, adaptées aux déploiements spécifiques au site, comblant efficacement l'écart entre l'optimisation théorique et la mise en œuvre pratique de la 6G. Ce travail étend les contributions de conférences précédentes en tenant explicitement compte de l'interférence inter-cellulaire dans la conception de la récompense et en fournissant un benchmark complet pour les communications de corridors d'UAV.