⚡ electrical engineering

EARL: Energy-Aware Adaptive Antenna Control with Reinforcement Learning in O-RAN Cell-Free Massive MIMO Networks

Dit paper introduceert EARL, een op versterkingslering gebaseerd framework voor O-RAN cell-free massive MIMO-netwerken dat door dynamisch antenne-elementen te configureren tot 81% energiebesparing realiseert binnen de near-real-time limieten van O-RAN.

Oorspronkelijke auteurs: Zilin Ge, Ozan Alp Topal, Irshad Ahmad Meer, Pei Xiao, Cicek Cavdar

Gepubliceerd 2026-02-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zilin Ge, Ozan Alp Topal, Irshad Ahmad Meer, Pei Xiao, Cicek Cavdar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorm groot concertgebouw hebt met honderden luidsprekers (de antennes) verspreid over de hele zaal. Het doel is dat elke bezoeker (de gebruiker) overal in de zaal perfect geluid hoort, of ze nu voorin zitten of in de hoek.

In de huidige technologie van mobiele netwerken (zoals 5G en de toekomstige 6G), doen al deze luidsprekers het altijd voluit, ook als er niemand in de zaal is. Dat is enorm veel stroomverspilling.

Deze paper introduceert een slimme oplossing genaamd EARL. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Altijd Aan"-Lamp

Stel je voor dat je een huis hebt met honderden lampen. Om het licht op elke plek in het huis perfect te houden, laat je ze allemaal branden, 24 uur per dag. Zelfs als je alleen in de keuken bent, branden de lampen in de slaapkamer en de tuin ook. Dat kost een fortuin aan elektriciteit.

In mobiele netwerken (Cell-free Massive MIMO) gebeurt precies dit. Duizenden kleine zendmastjes (Radio Units) werken samen om een soepel signaal te geven. Maar ze verbruiken veel energie, zelfs als ze niet nodig zijn.

2. De Oplossing: De Slimme Regisseur (EARL)

De auteurs van dit paper hebben EARL bedacht. Je kunt EARL zien als een super-slimme regisseur in het centrale kantoor van het netwerk.

Hoe werkt het?
EARL kijkt continu naar waar de mensen (gebruikers) lopen en wat ze nodig hebben. In plaats van alle lichten aan te laten, schakelt EARL alleen de lampen aan die op dat moment nodig zijn om het licht op de juiste plek te houden.
De Kunstgreep:
EARL gebruikt een techniek genaamd Versterkt Leren (Reinforcement Learning). Dit is als een kind dat leert fietsen. Het probeert iets, valt, leert van de fout, en probeert het weer. Na veel oefening weet het precies hoe het moet fietsen zonder te vallen.
In dit geval "leert" de computer (EARL) door miljoenen situaties te simuleren. Het leert welke antennes hij moet uitschakelen om stroom te besparen, zonder dat de gebruiker merkt dat het signaal slechter wordt.

3. De "Cloud" als Centrale Keuken

Een belangrijk onderdeel van dit verhaal is dat de "kookplaat" (de zware rekenkracht) niet bij elke luidspreker staat, maar in een centrale keuken (de Cloud).

Vroeger: Elke luidspreker moest zelf nadenken over hoe hij het geluid moest sturen. Dat was traag en inefficiënt.
Nu (met O-RAN): De centrale keuken (Cloud) doet al het zware rekenwerk. De luidsprekers zijn alleen nog maar de "monden" die het geluid uitspreken. Dit maakt het veel makkelijker voor EARL om te beslissen welke monden stil moeten blijven.

4. De Resultaten: Een Energiebesparende Wonder

De paper laat zien dat EARL wonderen verricht:

Tot 81% minder stroomverbruik: Vergelijk het met het schakelen van een hele stad naar een klein dorpje qua energieverbruik, terwijl iedereen nog steeds zijn telefoon kan gebruiken.
Sneller dan je knipoog: De beslissingen worden binnen 220 milliseconden genomen. Dat is sneller dan het tijdsbestek waarin de O-RAN-standaard (de regels voor het netwerk) het toestaat.
De "Gierige" Extra Stap: De auteurs hebben ook een extra trucje toegevoegd (een "greedy refinement"). Stel je voor dat de regisseur na het kiezen van de lichten nog even rondloopt om te kijken of hij er nog één extra kan uitschakelen zonder dat iemand in het donker komt. Dit kost iets meer tijd (ongeveer 2 seconden), maar bespaart nog eens 50% extra energie.

Samenvattend

Dit paper beschrijft een slimme, zelflerende software die fungeert als een energiebewuste regisseur voor het mobiele netwerk van de toekomst. In plaats van alles "aan" te houden, schakelt hij precies de juiste onderdelen in en uit, net zoals je alleen de lichten aan doet in de kamer waar je bent.

Het resultaat? Een netwerk dat net zo goed presteert, maar met een fractie van de stroomkosten. Dat is goed voor je portemonnee én voor het klimaat.

Titel

EARL: Energiebewuste Adaptieve Antennebesturing met Versterkt Leren in O-RAN Cell-Free Massive MIMO Netwerken

1. Probleemstelling

Cell-Free Massive MIMO (CF-mMIMO) belooft een uniforme hoge prestatie voor gebruikers door middel van coherente gezamenlijke transmissie en ontvangst via dicht op elkaar geplaatste Radio Units (RUs) die verbonden zijn met een centrale cloud. Hoewel het Open Radio Access Network (O-RAN) architecturale mogelijkheden biedt voor schaalbaarheid en dynamische resource-sharing, brengt deze dichte deployement aanzienlijke energiekosten met zich mee.

De huidige uitdagingen zijn:

Hoge energieverbruik: Het gezamenlijke verbruik van radio-eenheden, optische fronthaul-verbindingen en cloud-verwerking is hoog.
Beperkingen van bestaande methoden: Bestaande optimalisatiebenaderingen zijn te rekenintensief voor real-time implementatie. Machine learning-methoden die wel bestaan, negeren vaak controle op antenne-niveau en verwaarlozen het energieverbruik van de cloud en fronthaul.
Centrale vs. Gedistribueerde verwerking: Veel bestaande werken gaan uit van gedistribueerde precoding (lokal interferentieonderdrukking), wat suboptimale spectrale efficiëntie (SE) oplevert. O-RAN split-opties 8 en 7.1 maken echter centrale precoding mogelijk, wat betere SE biedt, maar waarvoor nog geen energie-efficiënte configuratie voor antennes en RUs is ontwikkeld.

2. Methodologie

De auteurs stellen EARL (Energy-Aware Reinforcement Learning) voor, een framework dat als een energiebewuste xApp in de O-Cloud (binnen het O-RAN-architectuur) fungeert.

Systeemmodel:
- Een CF-mMIMO systeem met $L$ O-RUs (elk met $N$ antennes) die $K$ gebruikers (UEs) bedienen via een centrale cloud.
- Gebruik van O-RAN functional splits 8 en 7.1, waarbij de precoding en kanaalschatting centraal in de cloud plaatsvinden.
- Een end-to-end energiemodel dat rekening houdt met:
  1. O-RU-verbruik: Statisch vermogen, draaggelast afhankelijk vermogen en lokale verwerking (afhankelijk van de split-optie).
  2. O-Cloud-verbruik: Basisvermogen en verwerking van fysieke laag-functies (precoding, modulatie, codering).
  3. Fronthaul-verbruik: Optische transceivers en dataverkeer.
Probleemformulering:
Het doel is het minimaliseren van het totale energieverbruik door het dynamisch in- en uitschakelen van antenne-elementen ( $n_l$ ) per RU, onder de beperking dat de Spectrale Efficiëntie (SE) van elke gebruiker een minimumdrempel moet halen. Dit is een niet-conveex, combinatorisch optimalisatieprobleem.
Versterkt Leren (RL) Framework:
- Agent: Een PPO (Proximal Policy Optimization) agent die in de Near-Real-Time RIC (O-Cloud) draait.
- Actie: De agent past het aantal actieve antennes per RU incrementeel aan (waarden: -1, 0, +1).
- State (Toestand): Omvat het kanaalversterkingsmatrix ( $\Phi$ ), de huidige status van actieve antennes, het genormaliseerde totale vermogen en de fractie gebruikers die de SE-drempel schenden.
- Reward (Beloning): Een functie die energie-efficiëntie beloont maar een zware straf oplevert als gebruikers onder hun SE-drempel zakken.
- Inference & Greedy Refinement: Na het nemen van een beslissing door de RL-agent, wordt een "greedy refinement"-stap toegevoegd. Deze stap schakelt overbodige antennes stapsgewijs uit zolang de SE-drempel niet wordt geschonden, om het vermogen verder te drukken.

3. Belangrijkste Bijdragen

End-to-End Vermogensmodel: De auteurs formuleren een gedetailleerd vermogensmodel voor CF-mMIMO onder O-RAN splits 8 en 7.1, waarbij het verbruik voornamelijk schaalt met het aantal actieve O-RUs en antenne-poorten.
RL-gebaseerde Oplossing: Ze vertalen het SE-gedwongen vermogensminimalisatieprobleem naar een RL-framework met gestrafte constraint-schendingen.
Hybride Benadering: Ze combineren een snelle RL-beslissing (binnen 220 ms) met een latere, meer rekenintensieve greedy verfijning (2 seconden) om de energiebesparingen te maximaliseren zonder de O-RAN-tijdsrestricties te schenden.

4. Resultaten

De numerieke simulaties (uitgevoerd in MATLAB en Python) tonen de volgende prestaties aan:

Energiebesparing:
- 81% besparing vergeleken met een "full-on" configuratie (alle antennes en RUs altijd aan).
- 50% besparing vergeleken met een heuristische benchmark (die alleen kijkt naar kanaalsterkte).
- De combinatie van RL en greedy refinement halveert het vermogen opnieuw ten opzichte van de RL-only versie.
Spectrale Efficiëntie (SE): De RL-agent prioriteert de SE-eisen van de gebruikers. Zelfs na de greedy verfijning blijft de gemiddelde SE significant boven de vereiste drempel.
Tijdsprestaties:
- RL-only: 0,22 seconden (ruim binnen het O-RAN Near-Real-Time limiet van 1-2 seconden).
- RL + Greedy: 1,98 seconden (nog binnen de limiet, maar dichterbij).
- Heuristisch: 0,07 seconden (snelst, maar minder energie-efficiënt).
Impact van Functional Split: Split-optie 8 (volledige verwerking in de cloud) leidt tot een 30% lagere totale energieverbruik dan Split 7.1, dankzij efficiëntere resource-sharing in de cloud, ondanks het hogere verbruik van de cloud zelf.

5. Betekenis en Conclusie

Dit paper demonstreert dat het gebruik van Reinforcement Learning in combinatie met O-RAN-architecturen een krachtige oplossing biedt voor het energievraagstuk in 6G-netwerken.

Praktische Toepasbaarheid: De oplossing voldoet aan de strikte tijdsvereisten van Near-Real-Time RIC, wat essentieel is voor live netwerkbewaking.
Schaalbaarheid: Hoewel de greedy stap de rekentijd vergroot, is deze haalbaar voor kleinere netwerken en biedt het een aanzienlijke verbetering in energie-efficiëntie.
Toekomstperspectief: De auteurs wijzen op toekomstig werk gericht op het gezamenlijk optimaliseren van antenne-activering en de associatie tussen O-RUs en gebruikers (RU-UE association), evenals het verbeteren van de schaalbaarheid voor grotere netwerken.

Kortom, EARL biedt een robuust, energiezuinig en real-time besturingsmechanisme dat de potentie van Cell-Free Massive MIMO in O-RAN-netwerken volledig kan benutten zonder de energiekosten uit de hand te laten lopen.