Energy-Efficient IRS-Assisted Green Cellular Networks With Ground Base Station Sleep Mode

Résumé Technique : Réseaux Cellulaires Verts Assis par l'IRS avec Mode Veille des Stations de Base au Sol pour une Efficacité Énergétique Optimisée

Formulation du Problème
Cette recherche aborde le défi de la maximisation de l'efficacité énergétique (EE) dans les réseaux sans fil au-delà de la 5G (B5G) et de la 6G. Le scénario spécifique implique un réseau cellulaire en liaison descendante intégrant trois composantes clés : des stations de base au sol (GBS), une station de base aérienne (ABS) unique et des surfaces réfléchissantes intelligentes (IRS). Le problème central découle de la nécessité de trouver un équilibre entre les économies d'énergie et les exigences de qualité de service (QoS). Bien que les modes de veille des GBS réduisent la consommation de puissance statique, ils peuvent créer des lacunes de couverture et dégrader les performances, particulièrement pour les utilisateurs en bordure de cellule. À l'inverse, les ABS offrent une couverture flexible mais introduent des coûts énergétiques de plateforme (ex. : vol stationnaire), et les IRS améliorent la propagation du signal mais nécessitent une optimisation conjointe des déphasages.

Les auteurs formulent cela comme un problème d'optimisation non convexe à variables mixtes. L'objectif est de maximiser le rapport entre le débit total du réseau et la consommation totale de puissance. Les variables d'optimisation incluent :

• Variables discrètes : États d'activation des GBS (veille/active) et association des utilisateurs (quel émetteur dessert quel utilisateur sur quel sous-canal).
• Variables continues : Allocation de la puissance de transmission pour les GBS et l'ABS, le positionnement horizontal de l'ABS, et les déphasages des éléments de l'IRS.

Le problème est contraint par des budgets de puissance, des exigences de QoS (débit de données minimal), des contraintes de module unitaire pour les éléments de l'IRS, et la modélisation explicite de l'interférence co-canal entre les émetteurs terrestres et aériens actifs. La nature non convexe du problème, pilotée par des objectifs fractionnaires, des variables binaires et des termes d'interférence couplés, rend les méthodes d'optimisation conventionnelles informatiquement intraitables.

Méthodologie
Pour résoudre ce problème d'optimisation complexe, les auteurs proposent un cadre d'apprentissage par renforcement profond hybride (Hybrid Deep Reinforcement Learning - DRL). Cette approche décompose l'espace de décision en composantes discrètes et continues, en tirant parti des forces de deux algorithmes distincts :

1. Double Deep Q-Learning (DDQL) : Utilisé pour gérer les tâches de prise de décision discrètes. Plus précisément, l'agent DDQL détermine les indicateurs de mode veille des GBS ($\alpha_m$) et les variables d'association des utilisateurs ($\beta_{k,m,l}, \beta_{k,a,l}$). Ce module apprend la topologie réseau et les schémas d'activation optimaux afin de minimiser l'usage inutile d'énergie tout en maintenant la couverture.
2. Deep Deterministic Policy Gradient (DDPG) : Utilisé pour optimiser les variables de contrôle continues. L'agent DDPG ajuste la position horizontale de l'ABS, l'allocation de la puissance de transmission pour les nœuds terrestres et aériens, ainsi que les matrices de déphasage de l'IRS. Ce module s'adapte aux conditions dynamiques du canal et aux schémas d'interférence.

Le système est modélisé comme un processus de décision de Markov (MDP). L'espace d'état comprend l'état de connaissance du canal (CSI), l'activité actuelle des GBS, les associations d'utilisateurs, les niveaux de puissance, la position de l'ABS et les configurations de l'IRS. La fonction de récompense est conçue pour maximiser l'efficacité énergétique tout en imposant des pénalités pour les violations de QoS (utilisateurs ne respectant pas le débit minimum) et les violations de contraintes (ex. : limites de puissance).

Contributions Clés
L'article expose les contributions spécifiques suivantes :

• Développement de Cadre : La conception d'un cadre de réseau efficace énergétiquement intégrant conjointement l'assistance par l'IRS, la mobilité de l'ABS et les modes de veille des GBS.
• Modélisation Sensible aux Interférences : La création d'un modèle de système qui rend compte explicitement de l'interférence co-canal entre les transmissions terrestres et aériennes au sein d'un schéma d'allocation de ressources orthogonal.
• Formulation d'Optimisation : La formulation d'un problème non convexe à variables mixtes qui optimise conjointement les indicateurs de veille, l'association des utilisateurs, la puissance, le positionnement et les déphasages.
• Algorithme Hybride : La proposition d'une solution DRL hybride combinant DDQL et DDPG pour naviguer efficacement dans l'espace de décision de haute dimension à variables mixtes.
• Validation des Performances : La démonstration que l'approche proposée améliore l'efficacité énergétique tout en satisfaisant les contraintes de QoS, surpassant les références conventionnelles.

Résultats Numériques
Le cadre proposé a été évalué par des simulations numériques impliquant 3 GBS, 6 utilisateurs et 2 IRS dans une zone de rayon 500 m. Les résultats ont été comparés à trois schémas de référence : un système sans IRS, un système sans ABS, et un système où toutes les GBS restent actives (pas de mode veille).

• Convergence : Le cadre DRL hybride a démontré une convergence stable, l'efficacité énergétique passant d'environ $3 \times 10^6$ bit/J à une plage comprise entre $5,5$ et $6,5 \times 10^6$ bit/J après l'entraînement.
• Compromis (Trade-offs) : Le système a réussi à atteindre une double amélioration : augmenter le débit de données moyen de l'utilisateur tout en réduisant simultanément la consommation totale de puissance.
• Efficacité du Mode Veille : La politique apprise a progressivement réduit le nombre de GBS actives au fil des épisodes d'entraînement. Les résultats indiquent que les liaisons assistées par l'IRS et le support de l'ABS permettent au réseau de maintenir la QoS même avec moins de stations de base au sol actives.
• Performance Comparative : La méthode proposée a atteint l'efficacité énergétique la plus élevée parmi tous les schémas comparés. L'écart de performance avec les bases "Sans-IRS" et "Sans-ABS" a mis en évidence les bénéfices spécifiques de l'amélioration de la réflexion du signal et de la flexibilité aérienne, respectivement.

Signification et Revendications
L'article affirme que l'intégration de la flexibilité de l'ABS, de la propagation assistée par l'IRS et du contrôle intelligent du mode veille permet un fonctionnement de réseau hautement efficace et adaptatif. Les auteurs soutiennent que leur approche DRL hybride constitue une solution prometteuse pour répondre aux défis d'efficacité énergétique dans les futurs réseaux sans fil en équilibrant efficacement la couverture, la gestion des interférences et la consommation d'énergie. L'étude conclut que le cadre proposé améliore significativement l'efficacité énergétique par rapport aux schémas manquant d'assistance IRS, de support ABS ou d'optimisation du mode veille, sans compromettre les débits de données des utilisateurs.

Les auteurs maintiennent un champ d'application modeste concernant les travaux futurs, notant que les futures directions de recherche incluent l'extension du cadre à des scénarios avec plusieurs ABS, des stratégies de déploiement d'IRS dynamiques, ainsi que des modèles de mobilité et de trafic plus réalistes.