DRL-based Power Allocation in LiDAL-Assisted RLNC-NOMA OWC Systems

Résumé technique : Allocation de puissance basée sur l'apprentissage par renforcement profond (DRL) dans les systèmes OWC LiDAL-assistés RLNC-NOMA

Énoncé du problème
Les communications sans fil optiques (OWC) utilisant l'accès multiple non orthogonal (NOMA) offrent une solution prometteuse pour la connectivité haut débit en intérieur, permettant à plusieurs utilisateurs de partager le spectre optique via le domaine de puissance. Cependant, les performances des systèmes OWC basés sur le NOMA sont considérablement dégradées par des informations d'état de canal (CSI) imparfaites et des erreurs de décodage résiduelles, en particulier dans des scénarios d'intérieur à forte densité d'utilisateurs impliquant une mobilité. Les stratégies d'allocation de puissance (PA) traditionnelles reposent souvent sur des hypothèses de canal statiques ou des distributions probabilistes standard (par exemple, Rayleigh, Gaussienne), qui échouent à capturer la réalité dynamique des environnements intérieurs caractérisés par des ombrages, des erreurs de quantification et des déplacements d'utilisateurs. De plus, l'optimisation dynamique continue de l'allocation de puissance pour maximiser le débit global du système est prohibitivement coûteuse en calcul, car le problème est souvent NP-difficile. Les méthodes heuristiques existantes (par exemple, les algorithmes génétiques) peuvent converger vers des optima locaux, tandis que les algorithmes d'apprentissage par renforcement (RL) standard peinent avec de grands espaces d'état-action continus en raison de la « malédiction de la dimensionnalité » et d'une convergence lente.

Méthodologie
Pour répondre à ces défis, les auteurs proposent un système OWC RLNC-NOMA assisté par LiDAL intégré à un cadre d'apprentissage par renforcement profond (DRL). La méthodologie comprend trois composants principaux :

1. Modèle système (LiDAL et RLNC) :

   • Intégration de LiDAL : Un système de détection et de localisation par la lumière (LiDAL) est employé pour exploiter les informations spatio-temporelles. En capturant passivement la présence et la localisation des utilisateurs, LiDAL fournit des données auxiliaires pour affiner l'estimation du CSI. Le système modélise le CSI imparfait comme une fonction de la borne inférieure de Cramer–Rao (CRLB) des erreurs de localisation et de la distance en ligne de visée (LOS), reconnaissant que la non-linéarité de la source optique et les contraintes de sécurité oculaire redéfinissent la précision de localisation différemment des systèmes RF.
   • Intégration de RLNC : Le codage de réseau linéaire aléatoire (RLNC) est intégré dans le cadre NOMA. Le point d'accès optique encode les paquets de données comme des combinaisons linéaires aléatoires sur des signaux NOMA superposés. Cela permet aux récepteurs de reconstruire les informations originales de manière fiable dès qu'un nombre suffisant de combinaisons indépendantes est reçu, atténuant ainsi la propagation des erreurs causée par l'annulation d'interférence successive (SIC) imparfaite.

2. Formulation de l'optimisation :
   Les auteurs formulent un problème d'optimisation complexe visant à maximiser le débit global moyen du système tout en assurant l'équité entre les utilisateurs et en respectant les contraintes de débit minimum ($\gamma_{min}$). Le problème consiste à déterminer les coefficients d'allocation de puissance optimaux ($\alpha$) pour les utilisateurs regroupés sous des points d'accès (AP) optiques spécifiques, soumis à des contraintes sur la puissance totale, l'ordre de puissance (pour la SIC) et les exigences de débit minimum.

3. Solution DRL (Algorithme NAF) :
   Pour résoudre efficacement le problème d'optimisation non convexe et dynamique, les auteurs proposent un cadre d'apprentissage par renforcement profond basé sur l'algorithme de fonction d'avantage normalisée (NAF).

   • Architecture de l'agent : L'agent NAF utilise une architecture de réseau de neurones profond avec trois têtes : une fonction de valeur d'état $V(s)$, une fonction d'action moyenne $\mu(s)$ (politique) et une fonction d'avantage quadratique $A(s, a)$. Cette structure permet une optimisation directe des actions dans des espaces continus.
   • Processus d'apprentissage : L'agent interagit avec l'environnement (modélisé comme un processus de décision de Markov) où l'état inclut les gains de canal estimés, les coefficients de bruit de localisation et les facteurs de puissance actuels. La récompense est définie comme le débit global moyen, pénalisée si les contraintes sont violées. L'algorithme NAF utilise un réseau cible et un réseau d'évaluation avec des mises à jour douces pour stabiliser l'apprentissage et accélérer la convergence par rapport aux méthodes traditionnelles acteur-critique comme le gradient de politique déterministe profond (DDPG).

Contributions clés

• Modélisation système : L'article modélise un nouveau système OWC RLNC-NOMA assisté par LiDAL qui exploite conjointement les informations basées sur la localisation pour une estimation améliorée du CSI et le RLNC pour une transmission de données robuste en présence d'erreurs de décodage résiduelles.
• Innovation algorithmique : Un modèle DRL basé sur NAF est introduit pour résoudre le problème d'allocation de puissance continue dans des environnements dynamiques et de haute dimension. Cette approche surmonte les limitations des algorithmes RL traditionnels (comme Q-learning) et des méthodes acteur-critique (comme DDPG) en ce qui concerne la vitesse de convergence et la stabilité dans les espaces d'actions continus.
• Analyse de performance : L'étude fournit une évaluation complète de la précision de l'estimation de la localisation des utilisateurs et de son impact sur les performances du réseau. Elle compare l'algorithme NAF proposé au DDPG, à l'allocation de puissance par rapport de gain (GRPA) et à la recherche exhaustive.

Résultats
Les résultats de simulation, conduits dans un espace d'étude intérieur avec 8 points d'accès optiques et jusqu'à 32 utilisateurs, démontrent ce qui suit :

• Convergence et efficacité : L'algorithme NAF converge significativement plus vite que le DDPG (temps de convergence environ 56 % plus rapide) et nécessite moins de temps d'entraînement par itération (0,27 s contre 0,44 s pour le DDPG). Bien qu'il ait des exigences mémoire légèrement plus élevées en raison de sa structure d'avantage quadratique, il offre un avantage d'implémentation clair par rapport à la recherche exhaustive, qui est computationnellement irréalisable pour des scénarios denses.
• Performance du débit global : L'allocation de puissance basée sur NAF atteint un débit global moyen de 1,882 Gbps. Cela représente une amélioration de 4,6 % par rapport au schéma GRPA conventionnel et une amélioration de 1,64 % par rapport à l'agent DDPG.
• Optimalité : La performance de l'algorithme NAF correspond étroitement à celle de la méthode de recherche exhaustive, considérée comme l'optimum global dans la grille discrète, validant ainsi la quasi-optimalité de la politique apprise.
• Équité et robustesse : La méthode proposée assure une équité utilisateur élevée (indice d'équité de Jain), comparable à la recherche exhaustive, et démontre une robustesse face aux erreurs d'estimation de localisation. L'algorithme alloue efficacement une puissance plus élevée aux utilisateurs présentant des erreurs d'estimation de localisation plus importantes pour maintenir la fiabilité du système.

Signification
L'article affirme que le cadre proposé offre une solution pratique et efficace pour optimiser l'allocation de puissance dans des systèmes OWC intérieurs réalistes à forte densité d'utilisateurs. En intégrant LiDAL et RLNC, le système répond aux défis doubles du CSI imparfait et des erreurs de décodage résiduelles. L'adoption de l'approche DRL basée sur NAF fournit une alternative à faible complexité et haute performance par rapport à la recherche exhaustive prohibitivement coûteuse en calcul et aux méthodes DRL à convergence plus lente. Les résultats suggèrent que cette approche est robuste face aux incertitudes inhérentes aux environnements intérieurs dynamiques, la rendant un candidat viable pour les réseaux optiques sans fil haut débit de nouvelle génération.