Enhancing User Throughput in Multi-panel mmWave Radio Access Networks for Beam-based MU-MIMO Using a DRL Method

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je in een drukke stad bent met honderden mensen die allemaal tegelijk een video willen streamen op hun telefoon. De "verkeersagent" die dit regelt, is de mobiele mast (de gNB). In de wereld van 5G en de nieuwe mmWave-technologie (zeer hoge snelheden) werkt deze agent niet met gewone stralen, maar met onzichtbare laserstralen (stralen) die hij richt naar de mensen.

Het probleem? Er zijn veel stralen, maar de agent kan er maar een paar tegelijk activeren. Als hij de verkeerde stralen kiest, botsen de signalen tegen elkaar, wordt het beeld bevroren en loopt de snelheid terug.

Dit artikel beschrijft hoe Nokia en Aalto University een slimme, lerende computer (een Deep Reinforcement Learning agent) hebben bedacht om deze verkeersagent te vervangen. Hier is de uitleg in simpele taal:

1. Het Probleem: De Verkeersagent die alleen naar de helderste lantaarnpoot kijkt

Vroeger (de "oude methode" of baseline) koos de verkeersagent altijd de straal die het sterkste signaal gaf.

De analogie: Stel je voor dat je in een donkere kamer staat en een vriend wilt vinden. De oude methode kijkt alleen naar wie het helderst schijnt.
Het nadeel: Soms schijnt iemand wel heel helder, maar staat die persoon precies in de weg van drie anderen. Of misschien schijnt iemand iets minder helder, maar staat die persoon zo dat hij geen anderen blokkeert. De oude methode ziet dit niet en kiest verkeerd, waardoor de hele groep vertraagt.

2. De Oplossing: Een "Super-Agent" die alles ziet

De nieuwe methode gebruikt een AI-agent die niet alleen naar de helderheid kijkt, maar naar drie dingen tegelijk:

Hoe helder is het signaal? (De RSRP-waarde).
Hoe vaak is deze straal al gebruikt? (Als een straal al vaak gebruikt wordt, is hij "populair" en misschien beter om te blijven gebruiken dan elke keer te wisselen).
Stoten de stralen elkaar? (De "kruis-correlatie").

De creatieve analogie:
Stel je voor dat je een orkest dirigeert.

De oude methode laat alleen de muzikant spelen die het hardst kan blazen.
De nieuwe AI-methode luistert naar de hele zaal. Hij ziet: "Oké, die trompettist klinkt hard, maar als hij speelt, hoort de fluitist niets. Die andere trompettist klinkt iets zachter, maar als hij speelt, past het perfect bij de fluitist en kunnen ze allebei tegelijk spelen zonder ruis."

De AI leert door proberen en fouten maken (net als een kind dat leert fietsen). Hij probeert verschillende combinaties van stralen, kijkt of de mensen sneller hun video's kunnen streamen, en onthoudt wat werkt.

3. Hoe werkt het in de praktijk?

De mobiele mast heeft meerdere "panelen" (zoals meerdere ramen in een muur). Elke paneel kan één straal sturen.

De AI-agent kijkt naar de ruimtelijke verdeling: "Wie zit waar?"
Hij kiest stralen die niet in de weg van elkaar staan, zelfs als ze niet de allersterkste zijn.
Hierdoor kunnen er meer mensen tegelijk bediend worden (MU-MIMO: Multi-User MIMO).

4. Wat is het resultaat?

De resultaten in het artikel zijn indrukwekkend:

Snelheid: De mensen krijgen tot 16% meer snelheid.
Wachttijd: De vertraging (latency) is 3 tot 7 keer lager.

Waarom is de wachttijd zo veel lager?
Bij de oude methode moesten mensen soms wachten tot de "perfecte" straal beschikbaar was. De AI-agent zegt echter: "Die straal is niet perfect, maar hij is nu beschikbaar en goed genoeg. Laten we die gebruiken zodat de gebruiker niet hoeft te wachten." Hierdoor hoeven er geen data-pakketten in een wachtrij te blijven hangen.

Samenvatting in één zin

In plaats van blindelings te kiezen voor de sterkste signaalbron, leert deze slimme AI-agent om een perfecte balans te vinden tussen signaalsterkte, populariteit en het vermijden van storingen, waardoor iedereen sneller en soepeler internet krijgt.

Each language version is independently generated for its own context, not a direct translation.

Titel: Verhoging van de Gebruikersdoorvoer in Multi-panel mmWave Radio Access Netwerken voor Beam-based MU-MIMO met behulp van een DRL-methode

Auteurs: Ramin Hashemi et al. (Nokia & Aalto University)

1. Probleemstelling

Millimeter-golf (mmWave) communicatiesystemen, die gebruikmaken van Multi-User Multiple-Input Multiple-Output (MU-MIMO) met hybride beamforming, staan voor aanzienlijke uitdagingen bij het optimaliseren van de gebruikersdoorvoer en het minimaliseren van latentie. De kern van het probleem ligt in de hoge complexiteit van dynamische beamselectie en -beheer, vooral in netwerken met meerdere antennepanelen (multi-panel gNBs).

Traditionele benaderingen, zoals het selecteren van de straal met de sterkste Reference Signal Received Power (RSRP), blijken onvoldoende om de spectrale efficiëntie te maximaliseren in deze complexe omgevingen. In multi-panel configuraties zijn er drie cruciale dimensies die tegelijkertijd moeten worden geoptimaliseerd:

Signaalkwaliteit (RSRP): De sterkte van het ontvangen signaal.
Gebruiksstatistieken (Beam Popularity): Hoe vaak een straal eerder is geactiveerd (invloed op buffering en vertraging).
Ruimtelijke kruiscorrelatie: De onderlinge interferentie tussen stralen van verschillende panelen.

Het selecteren van stralen puur op basis van RSRP kan leiden tot suboptimale prestaties omdat het geen rekening houdt met de onderlinge correlatie tussen stralen (wat interferentie veroorzaakt) of de historische activatiepatronen (wat kan leiden tot wachttijden voor pakketten). De zoekruimte voor de optimale beamselectie groeit exponentieel met het aantal stralen, waardoor directe wiskundige optimalisatie in de praktijk onuitvoerbaar is.

2. Methodologie

De auteurs stellen een Deep Reinforcement Learning (DRL) framework voor om dit probleem aan te pakken. Het systeem wordt gemodelleerd als een Markov Decision Process (MDP), waarbij een agent (geïmplementeerd op de gNB) leert een beleid om stralen te selecteren die de totale doorvoer maximaliseren.

Het DRL Framework:

Toestand (State): De agent observeert een toestandvector die bestaat uit:
- Genormaliseerde RSRP-waarden van kandidaat-stralen.
- Genormaliseerde activatiefrequenties (historisch gebruik) van stralen binnen het laatste beam-switching interval (bijv. 40 ms).
- Kruiscorrelatiecoëfficiënten ( $\rho_{b,j}$ ) tussen stralen van verschillende panelen, wat de kans op gezamenlijke planning (co-scheduling) en potentiële interferentie aangeeft.
Actie (Action): De agent selecteert één actieve straal per antennepaneel per transmissietijdsinterval (TTI).
Beloning (Reward): De beloning is gebaseerd op de geobserveerde doorvoer (aantal succesvol overgedragen bytes), genormaliseerd ten opzichte van de piekdoorvoer van alle gebruikers om de training te stabiliseren.
Algoritme: Er wordt gebruik gemaakt van Double Deep Q-Network (DDQN). Dit model-vrije algoritme benadert de actie-waarde functie ( $Q^*(s,a)$ ) zonder dat de overgangskansen van het kanaal expliciet bekend hoeven te zijn, wat ideaal is voor dynamische mmWave-omgevingen.

Systeemmodel:

Het scenario omvat een downlink van een cellulair netwerk met meerdere gNBs (elk met meerdere panelen) en mobiele terminals (MTs).
Elke gNB heeft een beperkt aantal RF-ketens (één per paneel), wat betekent dat per TTI slechts één stral per paneel kan worden geactiveerd.
Het doel is het vinden van een evenwicht tussen het maximaliseren van de directe linkkwaliteit en het verbeteren van de langetermijnefficiëntie door slimme straalcombinaties.

3. Belangrijkste Bijdragen

Nieuw Framework voor Multi-panel Beam Management: Voor het eerst wordt een DRL-aanpak voorgesteld die specifiek de complexiteit van multi-panel gNBs adresseert door niet alleen RSRP, maar ook ruimtelijke kruiscorrelatie en straalgebruiksstatistieken te integreren in de beslissingslogica.
Overbrugging van de Optimalisatiekloof: Het paper lost het probleem op van de onberekenbare zoekruimte voor beamselectie in MU-MIMO door een schaalbare RL-oplossing te bieden die in real-time kan leren en aanpassen.
Praktische Implementatie: De methode is getest in een realistische 3GPP-simulatieomgeving (Dense Urban Macro) met hybride beamforming, wat de bruikbaarheid in echte 5G/6G-netwerken onderstreept.

4. Resultaten

De numerieke resultaten, gebaseerd op simulaties met 210 gebruikers en 21 gNBs, tonen significante verbeteringen ten opzichte van de traditionele "Max RSRP" baseline:

Doorvoer (Throughput): De DRL-benadering (DDQN) levert een toename in de geometrische gemiddelde gebruikersdoorvoer van tot 16% (specifiek 16,5% in sommige scenario's) vergeleken met de legacy methode.
Latentie (Latency): Er is een drastische reductie in de end-to-end latentie waargenomen, met een verbetering van 3 tot 7 keer (300% - 700% reductie). Dit komt doordat de RL-agent gebruikers met suboptimale RSRP-stralen direct kan plannen in plaats van te wachten op de "beste" straal, waardoor pakketbuffering wordt vermeden.
CDF-analyse: De Cumulative Distribution Function (CDF) van de doorvoer toont aan dat een groter percentage gebruikers een hogere doorvoer bereikt met de DRL-methode.
Ruimtelijke Planning: De RL-agent slaagt erin om meer gebruikers gelijktijdig te plannen (co-scheduling) binnen de beperkingen van de panelen, wat de spectrale efficiëntie verhoogt.

5. Betekenis en Conclusie

De studie demonstreert dat Deep Reinforcement Learning een krachtig hulpmiddel is voor het beheer van complexe, dynamische mmWave-netwerken. Door de interactie tussen signaalkwaliteit, historisch gebruik en ruimtelijke interferentie te leren, kan het systeem de trade-off tussen directe linkkwaliteit en systeemefficiëntie beter beheren dan statische algoritmen.

De bevindingen zijn van groot belang voor de toekomst van 6G en geavanceerde 5G-netwerken, waar de vraag naar hoge doorvoer en lage latentie in dichte stedelijke omgevingen zal blijven groeien. De voorgestelde methode biedt een schaalbare oplossing die de prestaties van Multi-panel MU-MIMO aanzienlijk verbetert zonder de hardwarecomplexiteit te verhogen. Toekomstig werk kan zich richten op het integreren van digitale beamforming en het uitbreiden van de toestandsspace met nog meer kanaalparameters.