Reinforcement Learning-Enabled Agent for Transmitter Optimization in Digital-Analog Radio-over-Fiber Fronthaul

Résumé technique : Agent optimisé par apprentissage par renforcement pour l'optimisation de l'émetteur dans les réseaux de fronthaul radio sur fibre numérique-analogique

Énoncé du problème
Le système radio sur fibre numérique-analogique (DA-RoF) est apparu comme une solution de fronthaul viable pour la 6G et les architectures Cloud-RAN avancées, offrant un équilibre entre l'efficacité spectrale de la transmission analogique et la robustesse de la transmission numérique. Cependant, les performances des systèmes DA-RoF dépendent de manière critique de l'optimisation conjointe de plusieurs paramètres de l'émetteur étroitement couplés : le facteur d'arrondi (RF), le facteur d'échelle (SF), le facteur de mise en forme géométrique (GS) et les coefficients de pré-égalisation. Ces paramètres influencent collectivement le bruit de quantification, le rapport puissance de crête sur puissance moyenne (PAPR), la distorsion non linéaire et l'interférence inter-symboles (ISI) induite par la bande passante.

Les méthodes d'optimisation conventionnelles, telles que la configuration fixe, le réglage empirique ou la recherche par grille exhaustive, sont d'un coût computationnel prohibitif et produisent souvent des résultats sous-optimaux face aux imperfections matérielles réelles et aux variations des conditions de liaison. De plus, les approches existantes d'apprentissage profond de bout en bout sont mal adaptées au DA-RoF car le système repose sur des opérations d'arrondi non différentiables, et le déploiement de réseaux de neurones complexes au niveau des unités radio distantes (RRU) est économiquement prohibitif. Il existe un besoin pour une méthode d'optimisation sans modèle et efficace sur le plan matériel, capable d'apprendre de manière autonome les paramètres optimaux sans nécessiter de modèle de canal différentiable ou de complexité supplémentaire du côté du récepteur.

Méthodologie
Les auteurs proposent une architecture d'agent de fronthaul DA-RoF optimisée par apprentissage par renforcement (RL), conçue pour fonctionner entièrement du côté de l'émetteur (Unité Centralisée/Unité Distribuée). La méthodologie de base comprend :

1. Formulation du MDP : Le problème d'optimisation des paramètres de l'émetteur est formulé comme un processus de décision de Markov (MDP).

   • État : Défini par les valeurs actuelles des RF, des SF, du facteur GS et des coefficients de pré-égalisation.
   • Action : Variations discrètes (augmentations ou diminutions) appliquées à ces paramètres.
   • Récompense : Dérivée du rapport signal sur bruit (SNR) du signal sans fil récupéré, calculé via le retour de l'erreur vectorielle (EVM) du récepteur. La fonction de récompense encourage le dépassement des seuils de SNR spécifiques à la modulation et une amélioration monotone.
   • Environnement : La liaison physique DA-RoF IMDD (Modulation d'Intensité et Détection Directe), incluant les imperfections telles que la non-linéarité de l'amplificateur et les limitations de la bande passante.

2. Sélection de l'algorithme : Les auteurs emploient un Dueling Deep Q-Network (DQN). Cette architecture sépare l'estimation de la valeur de l'état et de l'avantage de l'action, ce qui est particulièrement efficace pour l'espace de paramètres discret et couplé du DA-RoF, où de nombreuses actions locales peuvent produire des récompenses immédiates similaires mais différer dans leur impact à long terme. L'agent est sans modèle, s'appuyant uniquement sur le retour de SNR de bout en bout plutôt que sur un modèle de canal analytique.

3. Architecture du système : L'agent réside à l'UC/UD. Il interagit avec la liaison de fronthaul en ajustant les paramètres de l'émetteur et en recevant le retour de SNR des unités radio (RU). Crucialement, les RU ne nécessitent aucune modification matérielle ni module DSP supplémentaire ; elles fournissent simplement un retour, garantissant une faible complexité au niveau de l'extrémité du réseau.

Contributions clés

• Formulation MDP pour le DA-RoF : L'article formule l'optimisation conjointe du RF, du SF, du facteur GS et des coefficients de pré-égalisation comme un MDP, traitant la nature non séparable de ces paramètres.
• Agent RL respectueux du matériel : Le cadre proposé déploie l'agent d'apprentissage exclusivement du côté de l'émetteur, maintenant une faible complexité du récepteur et une compatibilité avec les déploiements de fronthaul IMDD existants.
• Optimisation sans modèle : Le système parvient à l'optimisation sans nécessiter de modèle de canal différentiable ou de recherche par grille exhaustive, en utilisant un dueling-DQN pour apprendre des politiques optimales par essais et erreurs.

Résultats expérimentaux
Le cadre proposé a été validé sur un banc d'essai expérimental DA-RoF IMDD utilisant une liaison de 1 km de fibre monomode standard (SSMF). Les principales conclusions incluent :

• Amélioration du SNR : L'agent entraîné a obtenu une amélioration moyenne du SNR d'environ 2,7 dB par rapport à une référence de recherche par grille.
• Performance selon les ordres : Le système a supporté avec succès des formats de modulation d'ordre élevé, atteignant des SNR finaux de :
  • 35,8 dB pour le DA-RoF d'ordre 1 (1024-QAM)
  • 42,9 dB pour le DA-RoF d'ordre 2 (4096-QAM)
  • 53,8 dB pour le DA-RoF d'ordre 3 (16384-QAM)
  • 63,2 dB pour le DA-RoF d'ordre 4 (65536-QAM)
• Convergence : L'agent a démontré une convergence rapide, atteignant les états optimaux en 32 étapes d'interaction, ce qui est nettement plus rapide que la recherche exhaustive qui nécessiterait des dizaines de milliers de mesures.
• Adaptation des paramètres : L'agent a appris de manière autonome à ajuster le RF et le SF pour équilibrer le bruit de quantification et le PAPR, a utilisé le GS pour atténuer la non-linéarité d'amplitude, et a optimisé les taps de pré-égalisation pour compenser l'ISI induit par la bande passante.
• Robustesse : Les paramètres optimisés ont maintenu des performances élevées à travers diverses amplitudes de commande électrique et puissances optiques reçues, démontrant une forte généralisation.

Signification et affirmations
L'article affirme que le cadre optimisé par RL propose une solution en ligne, évolutive et efficace sur le plan matériel pour l'optimisation des paramètres dans les systèmes de fronthaul DA-RoF. En éliminant le besoin d'un DSP complexe du côté du récepteur ou d'une recherche exhaustive, la méthode répond aux contraintes pratiques des réseaux d'accès sensibles aux coûts. Les résultats valident que le contrôle intelligent et sans modèle peut gérer efficacement le couplage complexe des paramètres de l'émetteur, ouvrant la voie au déploiement de formats de modulation d'ordre élevé et de réseaux d'accès radio de prochaine génération intelligents. Les auteurs positionnent ce travail comme une étape vers des systèmes de fronthaul adaptatifs au matériel, capables de supporter des capacités dépassant le térabit et des déploiements ultra-denses.