Multi-Agent Deep Reinforcement Learning-Based Fairness-Aware Power Allocation in NOMA Systems under Imperfect SIC for 5G Communication Networks

Dans les fleuves invisibles de données qui traversent notre monde moderne, les réseaux sans fil sont confrontés à une lutte constante : comment servir plus de personnes avec la même quantité limitée de spectre. Pendant des décennies, la solution standard a consisté à diviser les fréquences radio disponibles en voies séparées, attribuant à chaque utilisateur son propre chemin exclusif. Cette méthode, connue sous le nom d'accès multiple orthogonal, fonctionne de manière fiable mais est inefficace, comme une autoroute où les voitures sont forcées de se relayer sur une route à voie unique même lorsque les autres voies sont vides. Une approche plus récente, appelée accès multiple non orthogonal, ou NOMA, change entièrement les règles. Au lieu de séparer les utilisateurs par le temps ou la fréquence, elle permet à plusieurs utilisateurs de partager exactement la même fréquence au même moment. Pour que cela fonctionne, l'émetteur envoie un signal combiné unique où différents utilisateurs se voient attribuer différents niveaux de puissance. L'utilisateur ayant la connexion la plus forte reçoit un signal plus faible, tandis que celui ayant la connexion la plus faible reçoit un signal plus fort. À l'autre extrémité, un processus appelé annulation successive d'interférences agit comme un filtre, éliminant les signaux les plus forts pour révéler les signaux plus faibles en dessous. Cette technique promet de compacter beaucoup plus de données dans le même espace, une nécessité pour les réseaux de cinquième génération, ou 5G, qui connectent actuellement des milliards d'appareils.

Cependant, la promesse du NOMA repose sur un équilibre délicat : décider exactement quelle puissance donner à chaque utilisateur. Si la puissance est mal distribuée, les utilisateurs ayant des connexions faibles pourraient ne pas recevoir leurs données, tandis que le réseau, dans son ensemble, gaspille sa capacité. Ce problème devient encore plus difficile dans le monde réel, où l'équipement n'est pas parfait. Le processus d'élimination des signaux est sujet à de petites erreurs, laissant derrière lui un résidu ténu d'interférence qui peut dégrader la connexion. De plus, l'environnement sans fil est chaotique ; les signaux rebondissent sur les bâtiments et s'atténuent de manière imprévisible. Les méthodes traditionnelles de gestion de cette puissance reposent souvent sur des règles fixes ou des calculs centralisés complexes qui peinent à suivre ces changements rapides. Elles ont tendance à favoriser les utilisateurs ayant les meilleures connexions, laissant ceux qui ont des signaux médiocres de côté, ou deviennent trop lentes pour s'adapter lorsque les conditions changent.

Pour relever ces défis, une équipe de chercheurs de l'Université Internationale de Kampala et d'autres institutions au Nigéria a proposé une nouvelle façon de gérer cette distribution de puissance en utilisant une forme d'intelligence artificielle. Au lieu de s'appuyer sur un seul cerveau central pour prendre des décisions pour l'ensemble du réseau, ils ont conçu un système où chaque utilisateur agit comme un agent intelligent et indépendant. Cette approche, connue sous le nom d'apprentissage par renforcement profond multi-agents, permet à chaque utilisateur d'apprendre de sa propre expérience locale. Imaginez un groupe de conducteurs qui, au lieu d'attendre qu'une tour de contrôle du trafic leur dise quand avancer, apprennent à naviguer dans une intersection encombrée en observant les voitures autour d'eux et en ajustant leur vitesse selon ce qui fonctionne le mieux pour le groupe. Dans ce système, chaque agent observe sa propre qualité de signal ainsi que l'interférence à laquelle il est confronté, puis prend sa propre décision sur la quantité de puissance à demander. Ces agents n'agissent pas de manière égoïste ; ils sont entraînés avec un objectif partagé qui récompense l'ensemble du groupe pour son équité et son efficacité.

Les chercheurs ont testé ce système décentralisé dans un environnement simulé qui imitait les conditions imprévisibles d'un véritable réseau 5G. Ils ont comparé leur nouvelle méthode à plusieurs techniques établies, incluant des règles fixes simples, une distribution de puissance égale, ainsi que des algorithmes plus avancés comme les algorithmes génétiques et les systèmes d'apprentissage centralisés. Les simulations ont été exécutées des milliers de fois pour garantir la fiabilité des résultats. Les conclusions ont révélé que, bien que le système centralisé puisse atteindre la vitesse de données totale la plus élevée dans des conditions parfaites, la nouvelle approche multi-agents offre un meilleur équilibre entre performance et fiabilité. Plus précisément, la nouvelle méthode a considérablement réduit le nombre de fois où les utilisateurs ont échoué à se connecter, une métrique connue sous le nom de probabilité de coupure, la maintenant en dessous de dix pour cent même lorsque la force du signal était relativement faible. Elle a également maintenu un haut niveau d'équité, garantissant que les utilisateurs avec de mauvaises connexions ne soient pas laissés pour compte, atteignant un score d'équité de 0,96 à des forces de signal élevées.

Peut-être plus important encore, l'étude a montré que cette nouvelle approche est robuste face aux imperfections présentes dans le matériel du monde réel. Lorsque les chercheurs ont introduit des erreurs dans le processus d'annulation du signal et dans la mesure des conditions de canal, la performance du système centralisé a chuté plus brutalement que celle du système décentralisé. Parce que le système multi-agents repose sur des observations locales plutôt que sur une vue globale parfaite, il a été moins ébranlé par ces inexactitudes. En termes de précision des données, la nouvelle méthode a réduit le taux d'erreurs à moins d'une sur mille à des forces de signal élevées, surpassant les autres méthodes testées. Les chercheurs ont conclu que si l'intelligence centralisée a sa place, un réseau où les utilisateurs apprennent à coopérer et à s'adapter localement offre une solution plus évolutive et résiliente pour l'avenir des communications sans fil. Ce travail suggère que la prochaine génération de réseaux n'aura peut-être pas besoin d'un contrôleur unique et omniscient, mais plutôt d'une collection d'agents intelligents et coopératifs capables de naviguer ensemble dans le chaos du monde sans fil.