Scalable machine learning-based approaches for energy saving in densely deployed Open RAN

Probleemstelling

De groeiende vraag naar mobiele data vereist een dichte deploy van basisstations (BS) in Radio Access Networks (RAN). Hoewel dit de capaciteit en dekking verbetert, leidt het tot een aanzienlijk energieverbruik. Studies tonen aan dat basisstations verantwoordelijk zijn voor 73%–77% van het totale energieverbruik in mobiele netwerken. Traditionele ontwerpen hebben beperkte flexibiliteit om individuele componenten selectief te activeren of in slaapstand te zetten.

In het Open RAN (O-RAN)-architectuur wordt de monolithische basisstation opgesplitst in een Central Unit (CU), Distributed Unit (DU) en Radio Unit (RU). De RUs zijn de grootste energieverbruikers. Het probleem is om RUs tijdens periodes van lage belasting in slaapstand te zetten om energie te besparen, zonder de Kwaliteit van Dienst (QoS) voor gebruikers te schaden. Dit is een NP-hard optimalisatieprobleem vanwege de combinatorische aard van aan/uit-beslissingen en de tijdsgebonden koppelingen (mobielheid van gebruikers, veranderingen in verkeer). Centrale machine learning-oplossingen worden onschaalbaar bij grote netwerken vanwege de exponentiële groei van de actieruimte en de hoge communicatie- en rekbelasting.

Methodologie

De auteurs stellen een hiërarchisch, op Deep Reinforcement Learning (DRL) gebaseerd kader voor dat gebruikmaakt van de O-RAN-architectuur (Near-Real Time RIC en Non-Real Time RIC).

1. Systeemmodel:

   • Het netwerk bestaat uit $M$ verspreide RUs die $K$ mobiele gebruikers bedienen.
   • Het doel is het minimaliseren van het totale energieverbruik (vast verbruik, verbruik afhankelijk van belasting, en schakelpower) onder QoS-beperkingen.
   • Het probleem wordt geformuleerd als een Markov Decision Process (MDP) met een toestand (data-rate, RU-belasting, activatiestatus, gebruikerpositie) en een beloningsfunctie die energie-efficiëntie en QoS-strafbalans weegt.

2. Gecentraliseerde DRL-benaderingen (xApps in Near-RT RIC):
   De auteurs vergelijken drie DRL-algoritmen voor het beheren van de slaap/actieve modus:

   • DQNMA (DQN Multiple Action): Elke actie vertegenwoordigt een volledige configuratie van alle RUs. De actieruimte groeit exponentieel ($2^M$), wat leidt tot slechte schaalbaarheid.
   • DQNSA (DQN Single Action): De agent schakelt per stap slechts één RU aan of uit. Dit verkleint de actieruimte tot lineair ($2M$), maar beperkt de reactiesnelheid op netwerkwijzigingen.
   • TD3 (Twin Delayed DDPG): Een actor-critic algoritme dat werkt in een continue actieruimte. De agent geeft een continu waarde uit (0-1) per RU, die wordt omgezet in een binaire beslissing (slaap/actief) via een drempelwaarde. Dit vermijdt de exponentiële groei en zorgt voor fijnmazigere beslissingen.

3. Federated DRL (Fed-DRL) Benadering:
   Om schaalbaarheid en privacy te verbeteren, wordt een Federated Learning architectuur voorgesteld:

   • Lokaal: xApps in verschillende geografische regio's (Near-RT RIC) trainen lokale modellen onafhankelijk met lokale data (geen ruwe data-uitwisseling).
   • Globaal: Een aggregator (rApp in Non-RT RIC) verzamelt de modelupdates (gewichten van actor en critic netwerken) en voert een gemiddelde uit (FedAvg) om een globaal beleid te creëren.
   • Dit model wordt teruggedistribueerd naar de lokale agents. Dit past perfect bij de O-RAN-hiërarchie en vermindert de communicatie- en rekbelasting.

Belangrijkste Bijdragen

• O-RAN-compliant Framework: Een energiebeheersysteem dat de functional splits en gestandaardiseerde interfaces (E2, A1) van O-RAN gebruikt voor praktische implementatie.
• MDP Formulering: Een robuuste formulering van het RU-slaapcontroleprobleem die verkeer, mobiliteit en ruimtelijke verdeling integreert, compatibel met zowel centrale als gedistribueerde oplossingen.
• Federated DRL Architectuur: Een ontwerp waarbij lokale agents (xApps) regionaal leren en periodiek worden geaggregeerd door een centrale controller (rApp). Dit biedt schaalbaarheid voor grote, heterogene netwerken zonder data-privacy te schenden.
• Uitgebreide Evaluatie: Vergelijking van DQNMA, DQNSA en TD3 in zowel centrale als federale settings over verschillende netwerkgroottes (6 tot 24 RUs) en gebieden.

Resultaten

De simulaties tonen de volgende prestaties aan:

• Convergentie: De Fed-TD3 methode convergeert 43,75% sneller dan de centrale TD3-baseline.
• Energiebesparing: Het federale systeem bespaart meer dan 50% aan netwerkenergie ten opzichte van een scenario waarin alle RUs actief blijven.
• Trainingsenergie: Fed-TD3 verbruikt 37,4% minder energie tijdens het trainingsproces vergeleken met centrale baselines (153,72 Wh vs 245,44 Wh voor DQN). Dit komt door de verminderde reklast en communicatie-omvang.
• Prestatie Vergelijking:
  • TD3 presteert over het algemeen beter dan DQN-varianten in complexe omgevingen vanwege de continue actieruimte.
  • Federale modellen (Fed-TD3, Fed-DQN) bereiken vergelijkbare of betere energiebesparingen en QoS dan centrale modellen, zelfs wanneer ze getraind zijn op gescheiden regio's en getest op een samengesteld groot gebied.
  • Fed-TD3 behoudt een betere balans tussen energiebesparing en QoS dan agressievere DQN-modellen.

Betekenis en Conclusie

Dit artikel demonstreert dat Federated Deep Reinforcement Learning een veelbelovende oplossing is voor energie-efficiëntie in toekomstige 6G en Open RAN-netwerken. Door de leerprocessen te verdelen over de O-RAN-hiërarchie, kunnen netwerken schalen naar duizenden RUs zonder de beperkingen van centrale training (zoals "curse of dimensionality" en hoge bandbreedtevereisten).

De studie bevestigt dat:

1. Continue actie-algoritmen (TD3) superieur zijn aan discrete methoden voor complexe slaapcontroleproblemen.
2. Federated Learning niet alleen de schaalbaarheid verbetert, maar ook de totale energie-efficiëntie van het trainingsproces verhoogt.
3. De voorgestelde architectuur robuust is en goed generaliseert over verschillende netwerktopologieën, wat een cruciale stap is naar de implementatie van intelligente, zelforganiserende en energiezuinige mobiele netwerken.