⚡ electrical engineering

Distributed Precoding for Cell-free Massive MIMO in O-RAN: A Multi-agent Deep Reinforcement Learning Framework

Cet article propose un cadre d'apprentissage par renforcement profond multi-agents distribué pour les réseaux MIMO massifs sans cellule dans l'O-RAN, qui détermine efficacement les matrices de précodage afin de maximiser le débit agrégé et de satisfaire les exigences de débit des utilisateurs tout en réduisant considérablement la surcharge de signalisation par rapport aux schémas centralisés et en surpassant les méthodes distribuées existantes.

Auteurs originaux : Mohammad Hossein Shokouhi, Vincent W. S. Wong

Publié 2026-05-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohammad Hossein Shokouhi, Vincent W. S. Wong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un réseau sans fil massif comme une immense salle de concert bondée. Dans cette salle, des centaines de petits haut-parleurs (appelés O-RUs) sont dispersés partout, et des milliers de membres du public (appelés utilisateurs) tentent d'entendre clairement leurs chansons préférées.

Autrefois, la salle de concert disposait d'un seul et unique système sonore géant au centre. Mais ce système peinait lorsque la salle devenait trop grande ou trop bondée ; certaines personnes entendaient la musique parfaitement, tandis que d'autres, au fond ou dans les coins, n'entendaient que des grésillements.

Cet article propose une nouvelle façon de diriger le concert : le Cell-Free Massive MIMO. Au lieu d'un seul grand haut-parleur, chaque petit haut-parleur travaille en collaboration pour diriger le son directement vers des membres spécifiques du public. L'objectif est de s'assurer que tout le monde entend sa chanson fort et clairement, sans que le son d'une chanson ne couvre celle de son voisin (ce phénomène est appelé interférence).

Cependant, coordonner parfaitement des centaines de haut-parleurs est incroyablement difficile. C'est comme essayer de faire chanter un chœur de 1 000 personnes en parfaite harmonie sans chef d'orchestre criant des instructions à tout le monde en même temps. Si tous tentent de se parler pour se coordonner, les lignes de communication se bouchent (trop de surcharge de signalisation). S'ils se contentent de deviner, la musique devient désordonnée.

Le Problème : Le « Chef d'orchestre » contre le « Chaos »

Les chercheurs ont examiné deux méthodes existantes pour résoudre ce problème :

Le Chef d'orchestre Centralisé : Un super-cerveau (un ordinateur central) calcule exactement ce que chaque haut-parleur doit faire. Cela fonctionne bien pour les petits groupes, mais si le groupe devient trop grand, le cerveau est submergé et les instructions mettent trop de temps à arriver.
Les Chanteurs Indépendants : Chaque haut-parleur décide de ce qu'il doit faire seul. C'est rapide, mais sans coordination, ils se marchent souvent sur les pieds, créant un chaos de bruit.

La Solution : Une Équipe Intelligente et Multi-Niveaux

Les auteurs proposent un nouveau cadre qui s'intègre dans une architecture réseau moderne appelée O-RAN (Open Radio Access Network). Imaginez O-RAN comme un système de gestion intelligent permettant à différentes parties du réseau de communiquer efficacement entre elles.

Leur solution est un cadre d'Apprentissage par Renforcement Profond Multi-Agents (DRL). Voici comment cela fonctionne, en utilisant une analogie créative :

1. L'« Expert » et l'« Étudiant »

Imaginez un chef d'orchestre maître (l'Algorithme Itératif) qui connaît la façon parfaite d'arranger la musique, mais qui est très lent et fatigué. Il doit effectuer des calculs mathématiques complexes pour chaque note.

L'Innovation : Au lieu de demander au maître de faire les calculs à chaque seconde, les chercheurs ont entraîné une équipe d'élèves IA (les Agents DRL) à observer le maître et à apprendre son « intuition ».
L'IA ne tente pas de calculer toute la chanson depuis zéro. Au lieu de cela, elle apprend à prendre quelques décisions intelligentes et rapides (comme ajuster le volume ou le timing) en se basant sur ce que le maître aurait fait. Cela s'appelle utiliser des « connaissances expertes ».

2. L'Horloge à Trois Vitesses (Multi-échelle de temps)

L'article introduit une méthode ingénieuse pour gérer le temps, comme une horloge avec trois vitesses différentes :

L'Horloge Lente (Boucle Non-RT) : De temps en temps (toutes les quelques secondes), le « Maître » (un entraîneur IA central) met à jour la stratégie générale des élèves. Il leur apprend à gérer les grands changements dans la foule.
L'Horloge Moyenne (Boucle Near-RT) : Toutes les quelques millisecondes, les élèves (exécutés sur un contrôleur central) ajustent rapidement les « boutons de volume » et le « timing » pour l'ensemble du groupe en fonction de la densité actuelle de la foule.
L'Horloge Rapide (Boucle RT) : Toutes les millisecondes, les haut-parleurs locaux (O-RUs) effectuent de minuscules ajustements instantanés de leurs faisceaux pour viser parfaitement les membres du public en mouvement. Ils utilisent les « boutons de volume » définis par les élèves pour le faire instantanément.

3. Le « Serrement de Main Secret » (Coordination Distribuée)

Au lieu que chaque haut-parleur crie à chaque autre haut-parleur (ce qui encombre le réseau), les haut-parleurs ne parlent qu'à leurs voisins immédiats et à un gestionnaire local.

Ils partagent juste assez d'informations pour éviter de se marcher sur les pieds.
C'est comme un groupe de danseurs qui connaissent la chorégraphie. Ils n'ont pas besoin de demander à toute la salle quoi faire ; ils observent simplement la personne à côté d'eux et la musique, et ils savent exactement où se déplacer.

Les Résultats : Que Ont-ils Découvert ?

Les chercheurs ont effectué des simulations pour évaluer la performance de ce nouveau « chœur dirigé par l'IA » par rapport aux anciennes méthodes :

Meilleure Qualité Sonore : Le nouveau système a délivré jusqu'à 50 % de données totales en plus (débit) que les anciennes méthodes distribuées où les haut-parleurs agissaient seuls.
Aussi Bon que le Maître : Il a fonctionné presque aussi bien que le « Chef d'orchestre Centralisé » (la méthode parfaite mais lente), mais était beaucoup plus rapide.
Moins de Trafic : Parce que les haut-parleurs n'avaient pas besoin de crier des instructions au cerveau central constamment, le trafic réseau (surcharge de signalisation) a été réduit de jusqu'à 99,8 %. C'est comme remplacer mille appels téléphoniques par un seul message texte.
Adaptabilité : Si un utilisateur a soudainement besoin d'une connexion plus rapide (comme passer de l'écoute d'un podcast à la diffusion d'un film 4K), le système s'ajuste automatiquement pour répondre à ce besoin sans planter.
Robustesse : Même si les haut-parleurs ne peuvent pas entendre parfaitement le public (en raison du bruit ou d'une « estimation de canal imparfaite »), le système IA est étonnamment bon pour deviner les bons mouvements, surpassant souvent les méthodes mathématiques traditionnelles dans les environnements bruyants.

En Résumé

Cet article présente une méthode intelligente et évolutive pour gérer un réseau sans fil massif. Au lieu de s'appuyer sur un cerveau central lent et surchargé ou sur un groupe chaotique de haut-parleurs indépendants, ils ont créé une équipe d'agents IA qui apprennent des mathématiques expertes mais agissent rapidement et localement. Ils se coordonnent juste assez pour éviter le bruit, garantissant que tout le monde dans la « salle de concert » reçoit un signal clair et de haute qualité, même lorsque la foule est immense et se déplace rapidement.

1. Énoncé du problème

L'article aborde le défi du précodage dans les systèmes MIMO massif sans cellule intégrés à l'architecture du Réseau d'Accès Radio Ouvert (O-RAN).

Contexte : Dans le MIMO massif sans cellule, plusieurs Unités Radio Ouvertes (O-RU) servent collaborativement les utilisateurs pour assurer une couverture uniforme et une capacité élevée. Le précodage est crucial pour orienter les faisceaux et atténuer les interférences inter-utilisateurs.
Le Défi :
- Les schémas centralisés (par exemple, ZF régularisé centralisé, C-RZF) offrent de hautes performances mais souffrent de problèmes d'évolutivité, d'une complexité computationnelle élevée et d'une surcharge de signalisation excessive sur l'interface E2 (entre les O-DU et les RIC).
- Les schémas entièrement distribués (par exemple, RZF distribué) réduisent la surcharge mais conduisent souvent à des performances sous-optimales en raison d'interférences élevées entre O-RU et d'un manque de coordination globale.
- Approches ML existantes : L'apprentissage par renforcement profond (DRL) direct pour déterminer les matrices de précodage échoue souvent dans les déploiements denses en raison d'espaces d'état/d'action de haute dimension, entraînant des problèmes de convergence. De plus, de nombreuses méthodes existantes se concentrent uniquement sur la maximisation du débit agrégé sans garantir les exigences de débit minimum pour les utilisateurs individuels.
Objectif : Développer un cadre de précodage distribué, évolutif et à faible latence qui garantit les exigences de débit minimum des utilisateurs, maximise le débit agrégé et minimise la surcharge de signalisation au sein de la hiérarchie O-RAN.

2. Méthodologie

Les auteurs proposent un cadre hybride multi-échelles temporelles qui combine des connaissances expertes issues d'algorithmes d'optimisation itératifs avec un Apprentissage par Renforcement Profond Multi-Agents (DRL). La solution exploite l'architecture hiérarchique O-RAN (RIC Non-RT, RIC Near-RT et O-DU).

A. Formulation mathématique

Problème d'optimisation : Les auteurs formulent un problème d'optimisation non convexe visant à maximiser le débit agrégé sous réserve de contraintes de débit minimum ( $R_{min}$ ) et de contraintes de puissance d'émission.
Transformation : Le problème est reformulé comme un problème équivalent d'Erreur Quadratique Moyenne Pondérée Minimale (WMMSE).
Solution itérative : Une approche de Descente de Coordonnées par Blocs (BCD) est utilisée pour mettre à jour itérativement :
1. Les filtres de réception ( $U$ )
2. Les matrices de poids ( $W$ )
3. Les matrices de précodage ( $V$ )
Insight clé : Dans les systèmes sans cellule, les matrices de précodage sont couplées entre les O-RU. Cependant, les filtres de réception ( $U$ ) et les poids ( $W$ ) dépendent de sommes de canaux effectifs qui présentent un « durcissement du canal », les rendant moins sensibles aux fluctuations rapides que les matrices de précodage instantanées.

B. Le cadre DRL multi-agents proposé

Au lieu d'utiliser le DRL pour prédire directement des matrices de précodage de haute dimension (ce qui est coûteux en calcul et difficile à entraîner), le cadre utilise le DRL pour apprendre les variables intermédiaires de basse dimension ( $U$ et $W$ ) dérivées de l'algorithme itératif.

Architecture multi-agents :
- Agents : Un agent DRL est assigné à chaque utilisateur.
- Observation : Chaque agent observe les canaux d'interférence effectifs ( $\Xi_{k,i}$ ) provenant d'un sous-ensemble d'utilisateurs interférents ( $I_k$ ) partageant des profils d'évanouissement à grande échelle similaires.
- Action : L'agent produit le filtre de réception ( $U_k$ ) et le facteur de Cholesky de la matrice de poids ( $L_k$ , où $W_k = L_k L_k^H$ ). Cela réduit considérablement la dimension de l'espace d'action.
- Algorithme : Une extension multi-agents de l'algorithme Soft Actor-Critic (SAC) est utilisée pour maximiser une combinaison de récompense (débit) et d'entropie de politique.

C. Déploiement O-RAN multi-échelles temporelles

Le cadre est distribué entre différents composants O-RAN en fonction de leurs échelles temporelles opérationnelles :

Boucle Non-RT (>1 sec) :
- Composant : RIC Non-RT (rApps).
- Tâche : Entraînement des modèles DRL (réseaux Actor et Critic) et mise à jour des paramètres.
Boucle Near-RT (10 ms – 1 sec) :
- Composant : RIC Near-RT (xApps).
- Tâche : Les agents déterminent $U_k$ et $W_k$ pour chaque utilisateur en fonction des statistiques de canal actuelles. Ces valeurs sont envoyées aux O-DU.
Temps Réel (RT) (<1 ms) :
- Composant : O-DU (dApps).
- Tâche : En utilisant les $U_k$ et $W_k$ reçus, ainsi que l'Information d'État du Canal (CSI) instantanée et un multiplicateur de Lagrange appris ( $\xi_l$ ) pour les contraintes de puissance, les O-DU calculent les matrices de précodage finales ( $V_{k,l}$ ) en utilisant une équation de mise à jour sous forme fermée.
- Communication inter-O-DU : Une nouvelle interface D2 est proposée pour permettre aux O-DU d'échanger les informations de canal/précodage nécessaires pour les O-RU couplés, minimisant ainsi la charge sur l'interface E2.

3. Contributions clés

Nouvelle formulation d'optimisation : Formulation d'un problème de précodage non convexe pour le MIMO massif sans cellule avec transmission conjointe cohérente, reformulé comme un problème WMMSE et résolu par BCD.
DRL guidé par l'expert : Proposition d'un cadre hybride où le DRL apprend des variables intermédiaires de basse dimension ( $U, W$ ) plutôt que des matrices de précodage de haute dimension. Cela exploite la théorie de l'optimisation pour guider le processus d'apprentissage, améliorant la convergence et la stabilité.
Implémentation hiérarchique O-RAN : Conception d'un déploiement pratique à travers les boucles Non-RT, Near-RT et RT, utilisant des dApps pour le précodage en temps réel et des xApps/rApps pour l'optimisation et l'entraînement.
Adaptabilité dynamique : Le cadre s'adapte dynamiquement aux changements des exigences de débit minimum des utilisateurs ( $R_{min}$ ) en mettant à jour les multiplicateurs de Lagrange en temps réel sans réentraînement.
Réduction de la signalisation : Introduction d'un mécanisme distribué qui réduit considérablement la surcharge de signalisation sur l'interface E2 par rapport aux schémas centralisés.

4. Résultats de performance

Des simulations extensives ont été menées comparant le cadre proposé au C-RZF, D-RZF, WMMSE et à diverses bases de référence DRL (E2E-DRL, DRL-WMMSE).

Débit agrégé :
- Surpasse le D-RZF de jusqu'à 24,4 %.
- Surpasse le WMMSE de jusqu'à 35,8 %.
- Surpasse le DRL de bout en bout de jusqu'à 50,2 %.
- Atteint des performances comparables au RZF centralisé (C-RZF) mais avec une complexité nettement inférieure.
Surcharge de signalisation :
- Réduit la surcharge de signalisation de l'interface E2 de jusqu'à 99,81 % par rapport au C-RZF. Cela est dû au fait que seules des variables intermédiaires de basse dimension sont échangées, et non des matrices de canal complètes.
Évolutivité :
- La complexité computationnelle évolue efficacement avec le nombre d'utilisateurs et d'O-RU, contrairement aux méthodes centralisées qui évoluent de manière cubique.
- La latence d'inférence par boucle Near-RT est de 6,38 ms, bien en deçà de l'objectif de 10 ms.
Robustesse :
- Mobilité : Le cadre maintient ses performances même à des vitesses d'utilisateurs élevées (jusqu'à 45 km/h), avec une dégradation minimale (<4 %).
- CSI imparfaite : Dans des cas d'erreurs sévères d'estimation de canal, la méthode basée sur l'apprentissage proposée surpasse la méthode analytique centralisée (C-RZF).
- Équité : En ajustant $R_{min}$ , le cadre peut équilibrer entre la maximisation du débit agrégé et la garantie d'équité pour les utilisateurs en bordure de cellule.

5. Importance

Cet article comble le fossé entre l'optimisation théorique et le déploiement pratique dans les réseaux sans fil de nouvelle génération.

Praticité : Il démontre comment l'architecture flexible de l'O-RAN peut héberger des solutions complexes d'IA/ML (DRL) tout en respectant des contraintes de temps réel strictes.
Efficacité : Il résout la « malédiction de la dimensionnalité » dans le DRL pour les systèmes sans fil en utilisant des connaissances du domaine (algorithmes itératifs) pour réduire l'espace d'apprentissage.
Préparation pour l'avenir : Le cadre est conçu pour gérer des conditions de réseau dynamiques (mobilité des utilisateurs, exigences QoS changeantes) et des informations de canal imparfaites, ce qui en fait un candidat viable pour les réseaux MIMO sans cellule de la 6G.

En résumé, l'article présente une solution robuste, évolutive et efficace pour le précodage MIMO massif sans cellule qui exploite la synergie entre la théorie de l'optimisation et l'apprentissage par renforcement multi-agents au sein de l'écosystème O-RAN.