⚡ electrical engineering

Scalable machine learning-based approaches for energy saving in densely deployed Open RAN

Cet article propose des solutions d'économie d'énergie pour les réseaux Open RAN denses, basées sur l'apprentissage par renforcement profond (DRL) et une approche fédérée, qui permettent d'atteindre jusqu'à 50 % d'économies d'énergie et une convergence plus rapide tout en maintenant la qualité de service.

Auteurs originaux : Xuanyu Liang, Ahmed Al-Tahmeesschi, Swarna Chetty, Cicek Cavdar, Berk Canberk, Hamed Ahmadi

Publié 2026-04-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuanyu Liang, Ahmed Al-Tahmeesschi, Swarna Chetty, Cicek Cavdar, Berk Canberk, Hamed Ahmadi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Problème : Une Ville de Phares qui Consomme Trop

Imaginez que notre réseau mobile (celui qui fait fonctionner votre 4G et 5G) est une ville immense remplie de phares. Ces phares, ce sont les antennes-relais (les "RUs" dans le texte).

Pour que tout le monde ait une bonne connexion, même aux heures de pointe (quand tout le monde regarde des vidéos en même temps), on installe énormément de ces phares, très près les uns des autres. C'est ce qu'on appelle un déploiement "dense".

Le souci ? Même quand il n'y a personne dans la rue (la nuit ou en milieu de journée), la plupart de ces phares restent allumés à fond. C'est comme si vous laissiez tous les phares de votre ville allumés en plein jour alors qu'il n'y a personne : ça consomme une énergie folle et ça coûte cher à l'opérateur, tout en polluant l'atmosphère.

🧠 La Solution : Des Phares "Intelligents" qui Dorment

L'idée de ce papier, c'est de rendre ces phares intelligents. Au lieu de rester allumés bêtement, ils devraient pouvoir dire : "Tiens, il n'y a personne dans mon quartier, je vais éteindre ma lumière et faire une sieste (mode veille)".

Mais attention, il ne faut pas éteindre tous les phares, sinon personne n'aura de réseau ! Il faut trouver le juste équilibre : éteindre ceux qui ne servent à rien, tout en gardant ceux qui sont nécessaires pour que les gens aient toujours de la connexion.

🤖 Le Cerveau : L'Intelligence Artificielle (IA)

Pour prendre ces décisions, les chercheurs utilisent une forme d'IA appelée Apprentissage par Renforcement.
Imaginez un entraîneur de football (l'IA) qui observe le terrain.

S'il voit que l'équipe adverse (les utilisateurs) est loin, il crie à ses joueurs (les antennes) : "Dormez un peu !".
S'il voit que l'équipe arrive, il crie : "Réveillez-vous et jouez !".

Au début, l'entraîneur fait des erreurs (il éteint trop ou pas assez). Mais à force d'essais et d'erreurs, il apprend la stratégie parfaite pour économiser l'énergie sans perdre le match (la qualité de service).

🏗️ L'Architecture : Le Système "Open RAN"

Le papier parle d'une nouvelle façon de construire ces réseaux, appelée Open RAN.

Avant : C'était comme un vieux téléphone fixe. Tout était collé ensemble, impossible de changer une pièce sans tout casser.
Maintenant (Open RAN) : C'est comme un ordinateur modulaire. On peut changer les pièces, ajouter des logiciels, et surtout, on peut y installer facilement l'IA pour qu'elle prenne des décisions.

Dans ce système, il y a deux niveaux de contrôle :

Le "Near-RT RIC" (Le Capitaine de Quartier) : Il réagit très vite (en quelques millisecondes). C'est lui qui dit aux antennes locales : "Éteins-toi maintenant !".
Le "Non-RT RIC" (Le Grand Stratège) : Il réfléchit sur le long terme. Il regarde les tendances de la ville et donne des conseils au Capitaine.

🚀 L'Innovation : L'Apprentissage "Fédéré" (Le Travail d'Équipe)

C'est ici que ça devient vraiment intéressant.

Le problème des méthodes classiques :
Imaginez qu'on essaie d'entraîner un seul cerveau géant pour gérer toute la ville d'un coup. C'est trop lourd ! Le cerveau sature, ça prend trop de temps, et si la ville grandit, ça ne marche plus. C'est comme essayer de résoudre un puzzle de 10 000 pièces seul, dans le noir.

La solution du papier (Federated Learning) :
Au lieu d'avoir un seul cerveau géant, on a des centaines de petits cerveaux locaux qui travaillent ensemble.

Chaque quartier (chaque zone de la ville) a son propre petit IA qui apprend à gérer ses propres antennes.
Ces petits IA ne partagent pas les données de leurs voisins (pas de photos de qui fait quoi, c'est privé).
Ils partagent seulement leur "sagesse" (leurs règles apprises) avec le Grand Stratège central.
Le Grand Stratège mélange toutes ces sagesse pour créer une super-stratégie globale, qu'il renvoie ensuite aux petits cerveaux.

L'analogie culinaire :
Imaginez des milliers de chefs cuisiniers dans des restaurants différents. Au lieu d'envoyer tous leurs ingrédients (les données) à un seul chef étoilé, ils envoient juste leur recette secrète améliorée. Le chef étoilé mélange toutes les recettes pour créer le "plat parfait", et renvoie cette nouvelle recette à tous les chefs. Résultat : tout le monde cuisine mieux, plus vite, et sans gaspiller de nourriture (énergie).

📊 Les Résultats : Gagner du Temps et de l'Énergie

Les chercheurs ont simulé tout ça sur ordinateur et les résultats sont excellents :

Plus rapide : Leur méthode "travail d'équipe" (Federated) apprend 43% plus vite que la méthode classique "tout centralisé".
Économie d'énergie : Ils économisent plus de 50% de l'énergie des antennes par rapport à ce qu'elles consommeraient si elles restaient toutes allumées.
Économie de calcul : Le processus d'apprentissage lui-même consomme moins d'électricité (37% de moins) car il ne faut pas tout envoyer à un seul serveur surpuissant.

🎯 En Résumé

Ce papier nous dit : "Arrêtons de gaspiller l'énergie en laissant nos antennes allumées bêtement. Utilisons l'IA pour les faire dormir intelligemment. Et pour que ça marche à grande échelle, faisons travailler les IA en équipe (fédérée) plutôt que de tout mettre sur le dos d'un seul cerveau."

C'est une étape clé vers des réseaux 6G plus verts, plus intelligents et plus respectueux de la planète.

Titre : Approches évolutives basées sur l'apprentissage automatique pour les économies d'énergie dans les Open RAN densément déployés

1. Problématique

Les réseaux d'accès radio (RAN) modernes, en particulier dans les déploiements denses de stations de base (BS) pour la 5G et la 6G, consomment une part massive de l'énergie totale du réseau (jusqu'à 73-77 %). Bien que ces déploiements soient nécessaires pour répondre aux pics de trafic, ils entraînent un gaspillage énergétique considérable lors des périodes de faible activité.
Le défi principal réside dans la gestion intelligente du mode veille (sleep mode) des Unités Radio (RU). Cependant, ce problème est NP-difficile en raison de la nature combinatoire des choix d'activation/désactivation et des couplages temporels. Les approches d'optimisation traditionnelles deviennent ingérables à grande échelle. De plus, les architectures centralisées d'apprentissage par renforcement (RL) peinent à s'adapter aux grands réseaux distribués en raison de la complexité de l'espace d'action, de la charge de communication et de l'hétérogénéité des données.

L'architecture Open RAN (O-RAN) offre une opportunité unique grâce à sa structure décomposée (CU, DU, RU) et à son contrôleur intelligent (RIC), permettant l'intégration de solutions d'IA via des applications (xApps pour le temps réel, rApps pour le non-temps réel).

2. Méthodologie

Les auteurs proposent un cadre de contrôle d'énergie basé sur l'Apprentissage par Renforcement Profond (DRL), déployé dans l'architecture O-RAN.

A. Modélisation du problème
Le problème est formulé comme un Processus de Décision Markovien (MDP) :

État ( $s_t$ ) : Inclut les débits de données des utilisateurs (UE), l'état d'activation précédent des RU, la charge (utilisation des blocs de ressources physiques - PRB) et la position spatiale des utilisateurs.
Action ( $a_t$ ) : Un vecteur binaire déterminant si chaque RU est en mode "actif" ou "veille".
Récompense ( $r_t$ ) : Une fonction pondérée visant à minimiser la consommation d'énergie totale tout en pénalisant les violations des exigences de Qualité de Service (QoS) (débit minimum).

B. Approches Centralisées (DRL)
Trois algorithmes DRL centralisés sont développés sous forme de xApps (Near-RT RIC) :

DQNMA (Multiple Action) : L'agent choisit une configuration globale parmi $2^M$ possibilités (où M est le nombre de RU). L'espace d'action croît exponentiellement, rendant l'apprentissage difficile.
DQNSA (Single Action) : L'agent ne change l'état que d'un seul RU à la fois. Cela réduit l'espace d'action mais limite la réactivité globale.
TD3 (Twin Delayed DDPG) : Utilise un espace d'action continu pour générer des probabilités d'activation, qui sont ensuite discrétisées. Cette approche évite l'explosion combinatoire de l'espace d'action et permet un contrôle plus fin et adaptatif.

C. Approche Distribuée (Federated DRL - Fed-DRL)
Pour résoudre les problèmes d'évolutivité, les auteurs proposent une architecture Federated Learning (FL) intégrée à O-RAN :

Architecture Hiérarchique :
- Near-RT RIC (xApps) : Des agents locaux entraînent des modèles DRL indépendamment sur des données régionales spécifiques (trafic, mobilité) sans partager les données brutes.
- Non-RT RIC (rApp) : Agit comme un agrégateur global. Il reçoit les mises à jour des paramètres des modèles (poids des réseaux de neurones) des xApps, les agrège (via FedAvg) et redistribue le modèle global mis à jour.
Avantage : Cela préserve la vie privée, réduit la charge de la liaison montante (backhaul) et permet une adaptation locale tout en maintenant une cohérence globale.

3. Contributions Clés

Cadre O-RAN conforme : Conception d'un système de contrôle d'énergie exploitant les interfaces standardisées (E2, A1) et la décomposition fonctionnelle d'O-RAN.
Formulation MDP avancée : Intégration de la mobilité des utilisateurs, de la charge du réseau et des coûts de transition (veille $\to$ actif) dans la fonction de récompense.
Architecture Fed-DRL scalable : Proposition d'une solution où les agents locaux (xApps) apprennent localement et sont coordonnés globalement (rApp), éliminant le goulot d'étranglement du calcul centralisé.
Comparaison exhaustive : Évaluation de trois paradigmes DRL (DQNMA, DQNSA, TD3) dans des contextes centralisés et fédérés.

4. Résultats de Simulation

Les simulations ont été menées sur des scénarios allant de 6 à 24 RU, couvrant des zones de 500 m à 1000 m.

Performance des Algorithmes :
- L'algorithme TD3 (action continue) surpasse systématiquement les variantes DQN (actions discrètes) en termes de stabilité, de convergence et de récompense finale, grâce à sa capacité à gérer des espaces d'actions complexes sans explosion combinatoire.
- En milieu dense (12-24 RU), TD3 réalise des économies d'énergie supérieures à 50 % par rapport à la consommation maximale théorique (toutes les RU actives).
Avantages du Federated Learning (Fed-TD3) :
- Convergence : Fed-TD3 converge 43,75 % plus rapidement (environ 859 épisodes) que le TD3 centralisé (environ 1421 épisodes).
- Économie d'énergie d'entraînement : La solution fédérée réduit la consommation d'énergie nécessaire à l'entraînement de 37,4 % par rapport aux modèles centralisés (153,72 Wh contre 243,48 Wh), grâce à la distribution de la charge de calcul.
- Généralisation : Les modèles fédérés entraînés sur des sous-régions séparées généralisent aussi bien, voire mieux, que les modèles centralisés entraînés sur un environnement global fusionné, tout en maintenant la QoS.
Comparaison QoS/Énergie : Bien que les modèles DQN fédérés soient parfois plus agressifs dans la mise en veille (économisant plus d'énergie mais risquant la QoS), Fed-TD3 offre le meilleur équilibre entre économie d'énergie et satisfaction des utilisateurs.

5. Signification et Impact

Ce travail démontre que l'intégration de l'apprentissage par renforcement fédéré dans l'architecture Open RAN est une voie viable et essentielle pour les réseaux 6G.

Scalabilité : La méthode proposée surmonte les limites des approches centralisées face à la densification des réseaux.
Efficacité Énergétique : Elle permet des économies substantielles (plus de 50 % sur l'énergie du réseau) sans compromettre la qualité de service.
Durabilité : En réduisant la consommation d'énergie des opérations d'entraînement et d'inférence, l'approche contribue directement à la réduction de l'empreinte carbone des opérateurs télécoms.
Adoption Industrielle : L'alignement strict avec les normes O-RAN (interfaces A1/E2, rôles xApp/rApp) rend cette solution prête pour un déploiement pratique dans les infrastructures réelles.

En conclusion, l'article valide que l'approche Fed-TD3 est la solution la plus robuste, évolutive et économe en énergie pour la gestion dynamique du mode veille des unités radio dans les réseaux de nouvelle génération.