DRL-based Power Allocation in LiDAL-Assisted RLNC-NOMA OWC Systems

Technische Samenvatting: DRL-gebaseerde Vermogensallocatie in LiDAL-gesteunde RLNC-NOMA OWC-systemen

Probleemstelling
Optische Draadloze Communicatie (OWC) met gebruik van Non-Orthogonal Multiple Access (NOMA) biedt een veelbelovende oplossing voor snelle binnenconnectiviteit, waardoor meerdere gebruikers het optische spectrum via het vermogensdomein kunnen delen. De prestaties van op NOMA gebaseerde OWC-systemen worden echter aanzienlijk verslechterd door imperfecte Kanaalstatusinformatie (CSI) en resterende decoderingsfouten, met name in binnen scenario's met een hoge gebruikersdichtheid die gebruikersmobiliteit omvatten. Traditionele strategieën voor vermogensallocatie (PA) vertrouwen vaak op statische kanaalaannames of standaard probabilistische verdelingen (bijv. Rayleigh, Gaussisch), die de dynamische realiteit van binnenomgevingen kenmerkend door schaduwwerking, kwantisatiefouten en gebruikersbeweging niet adequaat kunnen vastleggen. Bovendien is het optimaliseren van continue PA dynamisch om de systeemthroughput te maximaliseren computationeel onhaalbaar, aangezien het probleem vaak NP-hard is. Bestaande heuristische methoden (bijv. Genetische Algoritmen) kunnen convergeren naar lokale optima, terwijl standaard Reinforcement Learning (RL)-algoritmen worstelen met grote, continue staat-actie ruimten vanwege de "vloek van de dimensionaliteit" en een trage convergentie.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs een LiDAL-gesteund RLNC-NOMA OWC-systeem voor dat geïntegreerd is met een Deep Reinforcement Learning (DRL)-kader. De methodologie bestaat uit drie kerncomponenten:

1. Systeemmodel (LiDAL en RLNC):

   • LiDAL-integratie: Een Light Detection and Localization (LiDAL)-systeem wordt ingezet om spatiotemporale informatie te benutten. Door passief de aanwezigheid en locatie van gebruikers vast te leggen, levert LiDAL aanvullende data om de CSI-schatting te verfijnen. Het systeem modelleert de imperfecte CSI als een functie van de Cramer–Rao Lower Bound (CRLB) van locatiefouten en de Line-of-Sight (LOS)-afstand, waarbij wordt erkend dat optische bronnonlineariteit en oogveiligheidsbeperkingen de localisatie-accuraatheid anders vormgeven dan in RF-systemen.
   • RLNC-integratie: Random Linear Network Coding (RLNC) is geïntegreerd in het NOMA-kader. Het optische toegangspunt codeert datapakketten als willekeurige lineaire combinaties over gesuperponeerde NOMA-signalen. Hierdoor kunnen ontvangers de oorspronkelijke informatie betrouwbaar reconstrueren zodra een voldoende aantal onafhankelijke combinaties is ontvangen, waardoor foutpropagatie veroorzaakt door imperfecte Successive Interference Cancellation (SIC) wordt tegengegaan.

2. Optimalisatieformulering:
   De auteurs formuleren een complex optimalisatieprobleem dat gericht is op het maximaliseren van de gemiddelde somrate van het systeem, terwijl gebruikersfairness wordt gewaarborgd en minimumdatarate-beperkingen ($\gamma_{min}$) worden nageleefd. Het probleem omvat het bepalen van optimale vermogensallocatiecoëfficiënten ($\alpha$) voor gebruikers die zijn gegroepeerd onder specifieke optische Access Points (AP's), onderworpen aan beperkingen op het totale vermogen, de volgorde van vermogen (voor SIC) en minimumrate-eisen.

3. DRL-oplossing (NAF-algoritme):
   Om het niet-convexe, dynamische optimalisatieprobleem efficiënt op te lossen, stellen de auteurs een Deep Reinforcement Learning-kader voor op basis van het Normalized Advantage Function (NAF)-algoritme.

   • Agentarchitectuur: De NAF-agent maakt gebruik van een diep neuronaal netwerkarchitectuur met drie hoofden: een staat-waarde functie $V(s)$, een gemiddelde-actie functie $\mu(s)$ (beleid) en een kwadratische voordeelfunctie $A(s, a)$. Deze structuur maakt directe optimalisatie van acties in continue ruimten mogelijk.
   • Leerproces: De agent interacteert met de omgeving (gemodelleerd als een Markov Decision Process) waarbij de staat geschatte kanaalgewinnen, locatieruis-coëfficiënten en huidige vermogensfactoren omvat. De beloning wordt gedefinieerd als de gemiddelde somrate, met een straf indien beperkingen worden geschonden. Het NAF-algoritme gebruikt een doelpuntnetwerk en een evaluatienetwerk met zachte updates om het leren te stabiliseren en de convergentie te versnellen in vergelijking met traditionele actor-critic-methoden zoals Deep Deterministic Policy Gradient (DDPG).

Belangrijkste Bijdragen

• Systeemmodellering: Het artikel modelleert een nieuw LiDAL-gesteund RLNC-NOMA OWC-systeem dat gezamenlijk locatiegebaseerde informatie benut voor verbeterde CSI-schatting en RLNC voor robuuste gegevensoverdracht in aanwezigheid van resterende decoderingsfouten.
• Algoritmische Innovatie: Er wordt een op NAF gebaseerd DRL-model geïntroduceerd om het continue vermogensallocatieprobleem op te lossen in dynamische, hoogdimensionale omgevingen. Deze aanpak overwint de beperkingen van traditionele RL-algoritmen (zoals Q-learning) en actor-critic-methoden (zoals DDPG) wat betreft convergentiesnelheid en stabiliteit in continue actie ruimten.
• Prestatieanalyse: De studie biedt een uitgebreide evaluatie van de nauwkeurigheid van gebruikerslocatieschatting en de impact daarvan op netwerkprestaties. Het brengt het voorgestelde NAF-algoritme in benchmark met DDPG, Gain Ratio Power Allocation (GRPA) en exhaustieve zoekopdrachten.

Resultaten
Simulatie-resultaten, uitgevoerd in een binnenstudieruimte met 8 optische AP's en tot 32 gebruikers, tonen het volgende aan:

• Convergentie en Efficiëntie: Het NAF-algoritme convergeert aanzienlijk sneller dan DDPG (ongeveer 56% snellere convergentietijd) en vereist minder trainingstijd per iteratie (0,27s versus 0,44s voor DDPG). Hoewel het door zijn kwadratische voordeelstructuur iets hogere geheugeneisen heeft, biedt het een duidelijk implementatievoordeel ten opzichte van exhaustieve zoekopdrachten, die computationeel onhaalbaar zijn voor dichte scenario's.
• Somrate-prestaties: De op NAF gebaseerde vermogensallocatie bereikt een gemiddelde somrate van 1,882 Gbps. Dit vertegenwoordigt een verbetering van 4,6% ten opzichte van het conventionele GRPA-schema en een verbetering van 1,64% ten opzichte van de DDPG-agent.
• Optimaliteit: De prestaties van het NAF-algoritme komen nauw overeen met die van de exhaustieve zoekmethode, die wordt beschouwd als het globale optimum binnen het discrete rooster, wat de near-optimale aard van het geleerde beleid valideert.
• Fairness en Robuustheid: De voorgestelde methode zorgt voor hoge gebruikersfairness (Jain's fairness index), vergelijkbaar met exhaustieve zoekopdrachten, en toont robuustheid tegen locatieschatfouten. Het algoritme wijst effectief hoger vermogen toe aan gebruikers met hogere locatieschatfouten om de systeemreliabiliteit te handhaven.

Betekenis
Het artikel beweert dat het voorgestelde kader een praktische en efficiënte oplossing biedt voor het optimaliseren van vermogensallocatie in realistische, binnen OWC-systemen met een hoge gebruikersdichtheid. Door LiDAL en RLNC te integreren, adresseert het systeem de dubbele uitdagingen van imperfecte CSI en resterende decoderingsfouten. De adoptie van de op NAF gebaseerde DRL-aanpak biedt een alternatief met lage complexiteit en hoge prestaties ten opzichte van computationeel onhaalbare exhaustieve zoekopdrachten en langzamer convergerende DRL-methoden. De resultaten suggereren dat deze aanpak robuust is tegen de onzekerheden die inherent zijn aan dynamische binnenomgevingen, waardoor het een levensvatbare kandidaat is voor optische draadloze netwerken van de volgende generatie.