DQN Based Joint UAV Trajectory and Association Planning in NTN Assisted Networks

1. Problématique et Contexte

L'article aborde les défis de la Mobilité Aérienne Avancée (AAM), qui repose sur l'utilisation massive de véhicules aériens sans pilote (UAV) pour le transport de passagers et de marchandises. Pour opérer de manière fiable, notamment au-delà de la ligne de vue (LoS), les UAV nécessitent des liens de communication stables et efficaces.

Les réseaux terrestres actuels présentent plusieurs limitations pour les UAV :

• Couverture limitée : Les stations de base macro (MBS) terrestres ont des antennes orientées vers le bas pour couvrir les utilisateurs au sol, ce qui entraîne une faible puissance de réception pour les UAV en vol.
• Déploiement coûteux : Il est difficile ou coûteux de déployer des MBS dans les zones rurales et isolées, créant des zones de non-couverture (trous de couverture).
• Instabilité des liens : La nature dynamique des réseaux et la nécessité de passer fréquemment d'une station à l'autre (handovers) peuvent dégrader la qualité du lien et augmenter la consommation d'énergie.

Pour pallier ces problèmes, l'article propose une architecture intégrée combinant des réseaux terrestres et des satellites en orbite géostationnaire (GEO). L'objectif est de concevoir un algorithme capable de planifier conjointement la trajectoire du UAV et son association (choix entre un MBS terrestre ou le satellite GEO) afin de minimiser trois métriques critiques : la consommation d'énergie, la fréquence des handovers et les interruptions de connexion (disconnectivity).

2. Méthodologie

Les auteurs formulent le problème comme un problème d'optimisation combinatoire non convexe, qu'ils résolvent en utilisant l'intelligence artificielle, et plus spécifiquement l'apprentissage par renforcement profond.

A. Modèle du Système

• Environnement : Une zone géographique discrétisée en une grille 2D ($N_G \times N_G$), couverte par plusieurs MBS terrestres et un satellite GEO.
• Modèle de canal :
  • Terrestre : Probabilité de lien LoS/NLoS avec interférence co-canal entre MBS.
  • Satellite : Lien quasi-garanti LoS avec le satellite GEO, modélisé avec des pertes de propagation spécifiques (espace libre, atmosphère, scintillation).
• Consommation d'énergie : Basée sur un modèle de propulsion pour UAV à rotors, tenant compte de la distance parcourue et de la vitesse.
• Contraintes : Le UAV doit voler d'un point de départ (START) à un point d'arrivée (END) tout en respectant une limite d'énergie embarquée.

B. Formulation du Problème (JUTAP)

Le problème de Planification Conjointe de Trajectoire et d'Association (JUTAP) vise à minimiser une fonction de coût pondérée :
$$\text{Coût} = w_1 \cdot (\text{Énergie}) + w_2 \cdot (\text{Coût de Handover}) + w_3 \cdot (\text{Indicateur de Déconnexion})$$
où $w_1, w_2, w_3$ sont des coefficients de pondération ajustables.

C. Algorithme DQN (Deep Q-Network)

Pour résoudre ce problème dans un espace d'états et d'actions de grande dimension, les auteurs proposent un algorithme DQN :

• Réduction de l'espace d'actions : Au lieu de choisir directement parmi tous les MBS (ce qui créerait un espace d'actions exponentiel), l'algorithme utilise une variable binaire $\hat{c}_t$ :
  • $0$ : Association au réseau terrestre (le UAV se connecte automatiquement au MBS offrant le meilleur SINR).
  • $1$ : Association au satellite GEO.
• Espace d'états ($S_t$) : Comprend les coordonnées normalisées du UAV $(x_t, y_t)$ et l'indicateur d'association actuel $\hat{c}_t$.
• Espace d'actions ($A_t$) : Comprend la direction de mouvement (8 directions possibles) et le mode d'association pour l'étape suivante.
• Fonction de Récompense : Conçue pour pénaliser la consommation d'énergie, les handovers inutiles (surtout vers le satellite qui a une latence plus élevée) et les zones de non-couverture.
• Apprentissage : Utilisation d'un réseau de neurones pour approximer la fonction de valeur Q, avec une mémoire de rejeu (replay buffer) et un réseau cible (target network) pour stabiliser l'entraînement.

3. Résultats Clés

Les simulations ont été menées sur une zone de $3 \text{ km} \times 3 \text{ km}$ avec 10 MBS terrestres et un satellite GEO.

• Convergence : L'algorithme DQN converge de manière stable après environ 400 épisodes d'entraînement, prouvant sa capacité à apprendre la dynamique du réseau.
• Comparaison (Réseau Intégré vs Terrestre) :
  • Le réseau intégré GEO-Terrestre permet au UAV de suivre une trajectoire plus directe (4 072,94 m) avec seulement 1 zone de non-couverture.
  • Le réseau Terrestre seul force le UAV à des détours pour éviter les trous de couverture, résultant en une trajectoire plus longue (4 354,1 m) et 5 zones de non-couverture.
  • L'approche intégrée réduit significativement les handovers et assure une connectivité continue.
• Impact des Pondérations :
  • En priorisant la réduction des handovers ($w_2$ élevé), le UAV privilégie le réseau terrestre même si cela allonge le trajet, évitant ainsi les coûts de commutation vers le satellite.
  • En priorisant l'énergie ($w_1$ élevé), le UAV adopte la trajectoire la plus courte, en utilisant le satellite pour traverser les zones sans couverture terrestre, réduisant ainsi la distance totale parcourue.

4. Contributions Principales

1. Architecture Intégrée : Proposition d'un cadre unifié combinant les réseaux terrestres et les satellites GEO pour assurer une connectivité UAV robuste, en particulier dans les zones rurales ou à forte densité de trafic.
2. Algorithme JUTAP : Développement d'une solution d'apprentissage par renforcement profond (DQN) capable de gérer simultanément la planification de trajectoire 3D et la sélection de lien de communication.
3. Réduction de Complexité : Introduction d'une stratégie de décision binaire (Terrestre vs Satellite) qui simplifie l'espace d'actions du DQN tout en maintenant l'efficacité de l'optimisation.
4. Validation par Simulation : Démonstration empirique que l'approche proposée surpasse les réseaux terrestres seuls en termes de consommation d'énergie, de fiabilité de connexion et de réduction des interruptions.

5. Signification et Perspectives

Cet article démontre l'efficacité cruciale de l'intégration des Réseaux Non Terrestres (NTN) dans les écosystèmes de mobilité aérienne future. Il montre que l'IA, via le DQN, peut gérer la complexité dynamique des environnements de communication UAV, offrant une solution viable pour :

• Étendre la couverture au-delà des limites des infrastructures terrestres.
• Optimiser l'autonomie des UAV en réduisant les trajets inutiles et les pertes de signal.
• Garantir la sécurité des opérations AAM en assurant des liens de commande et de contrôle (C2) ininterrompus.

Cette recherche ouvre la voie à des systèmes de gestion de trafic aérien (UTM) plus intelligents et résilients, capables de s'adapter dynamiquement aux conditions du réseau et aux contraintes énergétiques des véhicules autonomes.