Meta-Learning-Driven Deep Reinforcement Learning for Green Resource Management in 5G/6G Networks

De wereld beweegt zich naar een nieuwe generatie mobiele netwerken, bekend als 6G, die belooft alles te verbinden, van zelfrijdende auto's tot verre chirurgie, met een ongelooflijke snelheid en betrouwbaarheid. Deze sprong voorwaarts brengt echter een zware prijs met zich mee: deze netwerken zullen enorme hoeveelheden elektriciteit verbruiken en aanzienlijke koolstofemissies genereren. De uitdaging voor ingenieurs is niet alleen om snellere netwerken te bouwen, maar om netwerken te bouwen die hun eigen energieverbruik in realtime kunnen beheren. Traditionele methoden voor het draaien van deze netwerken vertrouwen op vaste regels of eenvoudige aanpassingen die traag reageren op veranderingen. Wanneer de verkeersdrukte piekt of het weer omslaat, hebben deze oude systemen moeite, waardoor ze vaak energie verspillen of niet aan de behoeften van gebruikers voldoen. Om dit op te lossen, richten onderzoekers zich op een type kunstmatige intelligentie genaamd deep reinforcement learning, waarbij een computer leert beslissingen te nemen door dingen uit te proberen en te zien wat werkt. Toch kunnen zelfs deze slimme systemen te traag zijn om zich aan te passen wanneer de omgeving snel verandert, waardoor ze telkens opnieuw moeten leren wanneer de omstandigheden verschuiven.

Een team van onderzoekers heeft een nieuwe aanpak ontwikkeld die deze leersystemen leert hoe ze sneller kunnen leren, waardoor ze zich bijna onmiddellijk kunnen aanpassen aan nieuwe omstandigheden zonder energie te verspillen. Hun werk richt zich op een cruciaal onderdeel van het mobiele netwerk genaamd de Access and Mobility Management Function, die fungeert als een poortwachter voor gebruikersverbindingen. In een gesimuleerde omgeving gebaseerd op real-world data, testten de onderzoekers een systeem dat een techniek genaamd meta-learning combineert met een specifiek leeralgoritme dat bekend staat als Proximal Policy Optimization. Meta-learning is in deze context als het leren van een student niet alleen een specifiek vak, maar hoe hij effectief kan studeren zodat hij elk nieuw vak snel kan beheersen. In plaats van het systeem te trainen voor één specifiek verkeerspatroon of een specifieke energiesituatie, trainden de onderzoekers het op een grote verscheidenheid aan scenario's. Dit stelde het systeem in staat om een algemene strategie te leren die met slechts een paar kleine aanpassingen kan worden verfijnd wanneer het met een nieuwe situatie wordt geconfronteerd.

De resultaten van dit onderzoek laten zien dat deze nieuwe methode bestaande technieken aanzienlijk overtreft. In hun simulaties leerde het voorgestelde systeem om netwerkbronnen veel sneller te beheren dan standaardmethoden, waarbij het een stabiele en efficiënte staat ongeveer een derde sneller bereikte. Belangrijker nog, het bereikte een verbetering van 28,6 procent in energie-efficiëntie vergeleken met de standaardversie van het leeralgoritme waarop het gebaseerd was. Wanneer we kijken naar de totale energie die gedurende de training is verbruikt, gebruikte het nieuwe systeem 27,8 procent minder energie dan een veelvoorkomend alternatieve methode en verminderde het zijn CO2-voetafdruk met 31,6 procent. Deze besparingen werden behaald zonder de kwaliteit van de dienstverlening aan de gebruikers op te offeren. Sterker nog, het nieuwe systeem handhaafde een nalevingspercentage van 99 procent voor de dienstverleningsgaranties, wat betekent dat het de vereiste prestatiestandaarden voor bijna elke gebruikersverbinding succesvol voldeed, een percentage dat hoger was dan alle andere geteste methoden.

De onderzoekers verkenden ook hoe het systeem verschillende doelen tegen elkaar afweegt, zoals het besparen van energie versus het waarborgen van snelle internetsnelheden. Ze ontdekten dat door de belangrijkheid die aan koolstofemissies wordt toegekend in de leerdoelen van het systeem aan te passen, ze de milieu-impact van het netwerk aanzienlijk konden verlagen zonder dat de dienstverlening faalde. Zelfs toen het systeem zwaar werd gestraft voor het produceren van koolstofemissies, slaagde het erin het netwerk soepel te laten draaien voor de gebruikers. De studie suggereert dat door deze milieudoelen direct in het leerproces in te bedden, netwerkbeheerders hun infrastructuur groener kunnen maken zonder dat dit ten koste gaat van de prestaties. Hoewel het huidige werk via simulaties en real-world data traces is uitgevoerd in plaats van via een live wereldwijd netwerk, wijzen de resultaten op een duidelijke weg vooruit om toekomstige mobiele netwerken duurzamer te maken. De aanpak laat zien dat met de juiste leerstrategie, netwerken zelf-optimaliserende bewakers kunnen worden van zowel snelheid als het milieu.