Multi-Agent Deep Reinforcement Learning-Based Fairness-Aware Power Allocation in NOMA Systems under Imperfect SIC for 5G Communication Networks

In de onzichtbare rivieren van data die door onze moderne wereld stromen, kampen draadloze netwerken met een constante strijd: hoe meer mensen te bedienen met dezelfde beperkte hoeveelheid spectrum. Decennialang was de standaardoplossing om de beschikbare radiofrequenties te verdelen in afzonderlijke banen, waarbij elke gebruiker een eigen exclusief pad kreeg toegewezen. Deze methode, bekend als orthogonale multiple access, werkt betrouwbaar maar is inefficiënt, zoals een snelweg waar auto's gedwongen worden om beurten te nemen op een eenbaansweg, zelfs wanneer de andere rijstroken leeg zijn. Een nieuwere aanpak, genaamd Non-Orthogonal Multiple Access, of NOMA, verandert de regels volledig. In plaats van gebruikers te scheiden door tijd of frequentie, staat het toe dat meerdere gebruikers exact dezelfde frequentie op hetzelfde moment delen. Om dit werkbaar te maken, stuurt de zender één gecombineerd signaal waarbij verschillende gebruikers verschillende niveaus van vermogen krijgen toegewezen. De gebruiker met de sterkste verbinding ontvangt een zwakker signaal, terwijl de gebruker met de zwakste verbinding een sterker signaal krijgt. Aan de ontvangende kant werkt een proces genaamd successive interference cancellation (opeenvolgende interferentie-eliminatie) als een filter, dat de sterkere signalen wegfiltert om de zwakkere signalen eronder te onthullen. Deze techniek belooft veel meer data in dezelfde ruimte te kunnen verpakken, een noodzaak voor de vijfde generatie, of 5G, netwerken die momenteel miljarden apparaten verbinden.

Het succes van NOMA hangt echter af van een delicaat evenwicht: het beslissen over precies hoeveel vermogen aan elke gebruiker moet worden gegeven. Als het vermogen slecht wordt verdeeld, kunnen de gebruikers met zwakke verbindingen er niet in slagen hun data te ontvangen, terwijl het netwerk als geheel capaciteit verspilt. Dit probleem wordt nog moeilijker in de echte wereld, waar de apparatuur niet perfect is. Het proces van het wegstrippen van signalen is gevoelig voor kleine fouten, waardoor er een zwak residu van interferentie achterblijft dat de verbinding kan verslechteren. Bovendien is de draadloze omgeving chaotisch; signalen kaatsen tegen gebouwen en vervagen onvoorspelbaar. Traditionele methoden voor het beheren van dit vermogen vertrouwen vaak op vaste regels of complexe, gecentraliseerde berekeningen die moeite hebben om deze snelle veranderingen bij te houden. Ze hebben de neiging om de gebruikers met de beste verbindingen te bevoordelen, waardoor zij met slechte signalen worden achtergelaten, of ze zijn te traag om zich aan te passen wanneer de omstandigheden verschuiven.

Om deze uitdagingen aan te pakken, heeft een team van onderzoekers van de Kampala International University en andere instellingen in Nigeria een nieuwe manier voorgesteld om deze vermogensverdeling te beheren met behulp van een vorm van kunstmatige intelligentie. In plaats van te vertrouwen op één centrale hersenpan om beslissingen te nemen voor het hele netwerk, ontwierpen zij een systeem waarbij elke gebruiker fungeert als een onafhankelijke, intelligente agent. Deze aanpak, bekend als Multi-Agent Deep Reinforcement Learning, stelt elke gebruiker in staat om te leren van zijn eigen lokale ervaringen. Stel je een groep bestuurders voor die, in plaats van te wachten op een verkeerstoren om hen te vertellen wanneer ze moeten rijden, leren om een drukke kruising te navigeren door naar de auto's om hen heen te kijken en hun snelheid aan te passen op basis van wat het beste werkt voor de groep. In dit systeem observeert elke gebruiker zijn eigen signaalkwaliteit en de interferentie waarmee hij te maken heeft, en neemt vervolgens zijn eigen beslissing over hoeveel vermogen hij aanvraagt. Deze agents handelen niet egoïstisch; ze zijn getraind met een gedeeld doel dat de hele groep beloont voor eerlijkheid en efficiëntie.

De onderzoekers testten dit gedecentraliseerde systeem in een gesimuleerde omgeving die de onvoorspelbare omstandigheden van een echt 5G-netwerk nabootste. Ze vergeleken hun nieuwe methode met verschillende gevestigde technieken, waaronder eenvoudige vaste regels, gelijke vermogensverdeling en geavanceerdere algoritmen zoals genetische algoritmen en gecentraliseerde leersystemen. De simulaties werden duizenden keren uitgevoerd om ervoor te zorgen dat de resultaten betrouwbaar waren. De bevindingen toonden aan dat hoewel het gecentraliseerde systeem onder perfecte omstandigheden de hoogste totale datasnelheid kon bereiken, de nieuwe multi-agent aanpak een superieur evenwicht bood tussen prestaties en betrouwbaarheid. Specifiek verminderde de nieuwe methode aanzienlijk het aantal keren dat gebruikers niet konden verbinden, een metriek die bekend staat als de outage probability (uitvalkans), waarbij deze zelfs bij relatief lage signaalsterkte onder de tien procent bleef. Het behield ook een hoog niveau van eerlijkheid, waarbij werd gewaarborgd dat gebruikers met slechte verbindingen niet werden achtergelaten, met een fairness score van 0,96 bij hoge signaalsterktes.

Misschien wel het belangrijkste is dat de studie aantoonde dat deze nieuwe aanpak robuust is tegen de imperfecties die worden gevonden in de hardware van de echte wereld. Toen de onderzoekers fouten introduceerden in het signaal-eliminatieproces en de meting van kanaalcondities, daalde de prestatie van het gecentraliseerde systeem scherper dan die van het gedecentraliseerde systeem. Omdat het multi-agent systeem vertrouwt op lokale observaties in plaats van een perfect globaal beeld, werd het minder geschokt door deze onnauwkeurigheden. Wat betreft de nauwkeurigheid van de data, verminderde de nieuwe methode de foutenmarge tot minder dan één op duizend bij hoge signaalsterktes, waarmee zij de andere geteste methoden overtrof. De onderzoekers concludeerden dat hoewel gecentraliseerde intelligentie zijn plek heeft, een netwerk waar gebruikers leren te coöpereren en lokaal aan te passen, een schaalbaardere en veerkrachtigere oplossing biedt voor de toekomst van draadloze communicatie. Dit werk suggereert dat de volgende generatie netwerken misschien geen enkele, alwetende controller nodig heeft, maar eerder een verzameling slimme, coöpererende agents die samen de chaos van de draadloze wereld kunnen navigeren.