Multi-Agent Deep Reinforcement Learning-Based Fairness-Aware Power Allocation in NOMA Systems under Imperfect SIC for 5G Communication Networks

Nei fiumi invisibili di dati che scorrono attraverso il nostro mondo moderno, le reti wireless affrontano una lotta costante: come servire più persone con la stessa quantità limitata di spettro. Per decenni, la soluzione standard è stata quella di dividere le frequenze radio disponibili in corsie separate, assegnando a ogni utente il proprio percorso esclusivo. Questo metodo, noto come accesso multiplo ortogonale, funziona in modo affidabile ma è inefficiente, come un'autostrada dove le auto sono costrette a fare i turni su una strada a corsia singola anche quando le altre corsie sono vuote. Un approccio più recente, chiamato Accesso Multiplo Non Ortogonale, o NOMA, cambia completamente le regole. Invece di separare gli utenti per tempo o frequenza, permette a più utenti di condividere esattamente la stessa frequenza nello stesso momento. Per far sì che ciò funzioni, il trasmettitore invia un singolo segnale combinato in cui i diversi utenti ricevono livelli di potenza differenti. L'utente con la connessione più forte riceve un segnale più debole, mentre l'utente con la connessione più debole riceve un segnale più forte. Al termine della ricezione, un processo chiamato cancellazione successiva dell'interferenza agisce come un filtro, rimuovendo i segnali più forti per rivelare quelli più deboli sottostanti. Questa tecnica promette di impacchettare molti più dati nello stesso spazio, una necessità per le reti di quinta generazione, o 5G, che stanno attualmente connettendo miliardi di dispositivi.

Tuttavia, la promessa del NOMA dipende da un delicato gioco di equilibrio: decidere esattamente quanta potenza dare a ciascun utente. Se la potenza è distribuita male, gli utenti con connessioni deboli potrebbero non ricevere i propri dati, mentre la rete nel suo complesso spreca capacità. Questo problema diventa ancora più difficile nel mondo reale, dove le apparecchiature non sono perfette. Il processo di rimozione dei segnali è soggetto a piccoli errori, lasciando dietro di sé un debole residuo di interferenza che può degradare la connessione. Inoltre, l'ambiente wireless è caotico; i segnali rimbalzano sugli edifici e svaniscono in modo imprevedibile. I metodi tradizionali per gestire questa potenza spesso si affidano a regole fisse o calcoli complessi e centralizzati che faticano a tenere il passo con questi rapidi cambiamenti. Tendono a favorire gli utenti con le migliori connessioni, lasciando indietro quelli con segnali deboli, oppure diventano troppo lenti per adattarsi quando le condizioni cambiano.

Per affrontare queste sfide, un team di ricercatori della Kampala International University e altre istituzioni in Nigeria ha proposto un nuovo modo per gestire questa distribuzione di potenza utilizzando una forma di intelligenza artificiale. Invece di fare affidamento su un singolo cervello centrale per prendere decisioni per l'intera rete, hanno progettato un sistema in cui ogni utente agisce come un agente intelligente indipendente. Questo approccio, noto come Apprendimento per Rinforzo Profondo Multi-Agente, permette a ogni utente di imparare dalla propria esperienza locale. Immaginate un gruppo di conducenti che, invece di aspettare che una torre di controllo del traffico dica loro quando muoversi, imparano a navigare in un incrocio trafficato osservando le auto intorno a loro e regolando la propria velocità in base a ciò che funziona meglio per il gruppo. In questo sistema, ogni utente osserva la propria qualità del segnale e l'interferenza che affronta, poi prende la propria decisione su quanta potenza richiedere. Questi agenti non agiscono in modo egoistico; sono addestrati con un obiettivo comune che premia l'intero gruppo per essere equo ed efficiente.

I ricercatori hanno testato questo sistema decentralizzato in un ambiente simulato che imitava le condizioni imprevedibili di una rete 5G reale. Hanno confrontato il loro nuovo metodo con diverse tecniche consolidate, inclusi semplici regole fisse, distribuzione di potenza uguale e algoritmi più avanzati come gli algoritmi genetici e i sistemi di apprendimento centralizzati. Le simulazioni sono state eseguite migliaia di volte per garantire che i risultati fossero affidabili. I risultati hanno rivelato che, sebbene il sistema centralizzato potesse raggiungere la velocità di dati totale più elevata in condizioni perfette, il nuovo approccio multi-agente offriva un equilibrio superiore tra prestazioni e affidabilità. Nello specifico, il nuovo metodo ha ridotto significamente il numero di volte in cui gli utenti non riuscivano a connettersi, una metrica nota come probabilità di interruzione (outage probability), mantenendola al di sotto del dieci per cento anche quando la forza del segnale era relativamente bassa. Ha inoltre mantenuto un alto livello di equità, assicurando che gli utenti con connessioni scarse non venissero lasciati indietro, raggiungendo un punteggio di equità di 0,96 ad alte intensità di segnale.

Forse la cosa più importante è che lo studio ha dimostrato che questo nuovo approccio è robusto contro le imperfezioni presenti nell'hardware del mondo reale. Quando i ricercatori hanno introdotto errori nel processo di cancellazione del segnale e nella misurazione delle condizioni del canale, le prestazioni del sistema centralizzato sono calate più drasticamente rispetto a quelle del sistema decentralizzato. Poiché il sistema multi-agente si basa su osservazioni locali piuttosto che su una visione globale perfetta, è stato meno scosso da queste imprecisioni. In termini di accuratezza dei dati, il nuovo metodo ha ridotto il tasso di errori a meno di uno su mille ad alte intensità di segnale, superando gli altri metodi testati. I ricercatori hanno concluso che, sebbene l'intelligenza centralizzata abbia il suo posto, una rete in cui gli utenti imparano a cooperare e ad adattarsi localmente offre una soluzione più scalabile e resiliente per il futuro delle comunicazioni wireless. Questo lavoro suggerisce che la prossima generazione di reti potrebbe non aver bisogno di un singolo controllore onnisciente, ma piuttosto di una collezione di agenti intelligenti e cooperativi che possano navigare insieme nel caos del mondo wireless.