Distributed Precoding for Cell-free Massive MIMO in O-RAN: A Multi-agent Deep Reinforcement Learning Framework

1. Probleemstelling

Het artikel adresseert de uitdaging van precoding in Cell-free Massive MIMO-systemen die geïntegreerd zijn binnen de Open Radio Access Network (O-RAN)-architectuur.

• Context: In cell-free massive MIMO bedienen meerdere Open Radio Units (O-RUs) gebruikers gezamenlijk om uniforme dekking en hoge capaciteit te garanderen. Precoding is cruciaal voor het sturen van bundels en het mitigeren van inter-user interferentie.
• De Uitdaging:
  • Gecentraliseerde schema's (bijv. Centralized Regularized Zero-Forcing, C-RZF) bieden hoge prestaties maar lijden onder schaalbaarheidsproblemen, hoge computationele complexiteit en excessieve signaallast op de E2-interface (tussen O-DUs en RICs).
  • Volledig gedistribueerde schema's (bijv. Distributed RZF) verminderen de overhead maar leiden vaak tot suboptimale prestaties door hoge inter-O-RU interferentie en gebrek aan globale coördinatie.
  • Bestaande ML-benaderingen: Directe Deep Reinforcement Learning (DRL) om precoding-matrices te bepalen, faalt vaak in dichte deployeringen vanwege hoge-dimensionale staat-/actie-ruimtes, wat leidt tot convergentieproblemen. Bovendien richten veel bestaande methoden zich uitsluitend op het maximaliseren van de aggregaat doorvoer zonder minimum datarate-eisen voor individuele gebruikers te garanderen.
• Doel: Ontwikkeling van een gedistribueerd, schaalbaar en laag-latentie precoding-framework dat minimum datarate-eisen voor gebruikers garandeert, de aggregaat doorvoer maximaliseert en de signaallast binnen de O-RAN-hiërarchie minimaliseert.

2. Methodologie

De auteurs stellen een hybride multi-tijdschaal framework voor dat expertkennis uit iteratieve optimalisatie-algoritmen combineert met Multi-Agent Deep Reinforcement Learning (DRL). De oplossing maakt gebruik van de hiërarchische O-RAN-architectuur (Non-RT RIC, Near-RT RIC en O-DUs).

A. Wiskundige Formulering

• Optimalisatieprobleem: De auteurs formuleren een niet-convex optimalisatieprobleem om de aggregaat doorvoer te maximaliseren, onderworpen aan minimum rate-beperkingen ($R_{min}$) en zendvermogen-beperkingen.
• Transformatie: Het probleem wordt herschreven als een equivalent Weighted Minimum Mean Square Error (WMMSE)-probleem.
• Iteratieve Oplossing: Een Block Coordinate Descent (BCD)-benadering wordt gebruikt om iteratief bij te werken:
  1. Ontvangstfilters ($U$)
  2. Gewichtsmatrices ($W$)
  3. Precoding-matrices ($V$)
• Kerninzicht: In cell-free systemen zijn precoding-matrices gekoppeld over O-RUs. Echter, de ontvangstfilters ($U$) en gewichten ($W$) hangen af van effectieve kanaalsommen die "channel hardening" vertonen, waardoor ze minder gevoelig zijn voor snelle fluctuaties dan de instantane precoding-matrices.

B. Het Voorgestelde Multi-Agent DRL Framework

In plaats van DRL te gebruiken om direct hoog-dimensionale precoding-matrices te voorspellen (wat computationeel duur en moeilijk te trainen is), gebruikt het framework DRL om de laag-dimensionale tussentijdse variabelen ($U$ en $W$) te leren die zijn afgeleid uit het iteratieve algoritme.

• Multi-Agent Architectuur:
  • Agents: Aan elke gebruiker is één DRL-agent toegewezen.
  • Observatie: Elke agent observeert de effectieve interferentiekanaals ($\Xi_{k,i}$) van een subset van interfererende gebruikers ($I_k$) die vergelijkbare profielen van groot-schaal fading delen.
  • Actie: De agent voert de ontvangstfilter ($U_k$) en de Cholesky-factor van de gewichtsmatrix uit ($L_k$, waarbij $W_k = L_k L_k^H$). Dit reduceert de dimensie van de actieruimte aanzienlijk.
  • Algoritme: Een multi-agent extensie van het Soft Actor-Critic (SAC)-algoritme wordt gebruikt om een combinatie van beloning (doorvoer) en policy-entropie te maximaliseren.

C. Multi-Tijdschaal O-RAN Deployering

Het framework is gedistribueerd over verschillende O-RAN-componenten op basis van hun operationele tijdschalen:

1. Non-RT Loop (>1 sec):
   • Component: Non-RT RIC (rApps).
   • Taak: Trainen van de DRL-modellen (Actor- en Critic-netwerken) en updaten van parameters.
2. Near-RT Loop (10 ms – 1 sec):
   • Component: Near-RT RIC (xApps).
   • Taak: Agents bepalen $U_k$ en $W_k$ voor elke gebruiker op basis van huidige kanaalstatistieken. Deze worden naar O-DUs verzonden.
3. Real-Time (RT) Loop (<1 ms):
   • Component: O-DUs (dApps).
   • Taak: Met behulp van de ontvangen $U_k$ en $W_k$, samen met instantane Channel State Information (CSI) en een geleerde Lagrange-multiplicator ($\xi_l$) voor vermogensbeperkingen, berekenen de O-DUs de definitieve precoding-matrices ($V_{k,l}$) met behulp van een gesloten-vorm update-vergelijking.
   • Inter-O-DU Communicatie: Een nieuwe D2-interface wordt voorgesteld om O-DUs in staat te stellen noodzakelijke kanaal-/precoding-informatie uit te wisselen voor gekoppelde O-RUs, waardoor de belasting op de E2-interface wordt geminimaliseerd.

3. Belangrijkste Bijdragen

1. Nieuwe Optimalisatieformulering: Formulering van een niet-convex precoding-probleem voor cell-free massive MIMO met coherent gezamenlijke transmissie, herschreven als een WMMSE-probleem en opgelost via BCD.
2. Expert-Gedreven DRL: Voorstellen van een hybride framework waarbij DRL laag-dimensionale tussentijdse variabelen ($U, W$) leert in plaats van hoog-dimensionale precoding-matrices. Dit maakt gebruik van optimalisatietheorie om het leerproces te sturen, wat convergentie en stabiliteit verbetert.
3. Hiërarchische O-RAN Implementatie: Ontwerp van een praktische deployering over Non-RT-, Near-RT- en RT-loops, waarbij gebruik wordt gemaakt van dApps voor real-time precoding en xApps/rApps voor optimalisatie en training.
4. Dynamische Aanpasbaarheid: Het framework past zich dynamisch aan aan veranderingen in minimum datarate-eisen voor gebruikers ($R_{min}$) door Lagrange-multiplicatoren in real-time bij te werken zonder opnieuw te trainen.
5. Signaalreductie: Introductie van een gedistribueerd mechanisme dat de signaallast op de E2-interface drastisch reduceert in vergelijking met gecentraliseerde schema's.

4. Prestatieresultaten

Uitgebreide simulaties zijn uitgevoerd waarbij het voorgestelde framework wordt vergeleken met C-RZF, D-RZF, WMMSE en diverse DRL-baselines (E2E-DRL, DRL-WMMSE).

• Aggregaat Doorvoer:
  • Presteert beter dan D-RZF met maximaal 24,4%.
  • Presteert beter dan WMMSE met maximaal 35,8%.
  • Presteert beter dan End-to-End DRL met maximaal 50,2%.
  • Bereikt prestaties vergelijkbaar met Centralized RZF (C-RZF) maar met aanzienlijk lagere complexiteit.
• Signaallast:
  • Reduceert de signaallast op de E2-interface met maximaal 99,81% in vergelijking met C-RZF. Dit komt omdat alleen laag-dimensionale tussentijdse variabelen worden uitgewisseld, en niet volledige kanaalmatrices.
• Schaalbaarheid:
  • De computationele complexiteit schaalt efficiënt met het aantal gebruikers en O-RUs, in tegenstelling tot gecentraliseerde methoden die kubisch schalen.
  • De inferentielatentie per Near-RT-loop is 6,38 ms, wat ruim binnen de 10 ms-doelstelling valt.
• Robuustheid:
  • Mobiliteit: Het framework behoudt prestaties zelfs bij hoge gebruikerssnelheden (tot 45 km/h), met minimale degradatie (<4%).
  • Onvolmaakte CSI: Onder ernstige kanaalschatfouten presteert de voorgestelde op leren gebaseerde methode beter dan de gecentraliseerde analytische methode (C-RZF).
  • Eerlijkheid: Door $R_{min}$ aan te passen, kan het framework een balans vinden tussen het maximaliseren van de aggregaat doorvoer en het garanderen van eerlijkheid voor gebruikers aan de rand van de cel.

5. Betekenis

Dit artikel overbrugt de kloof tussen theoretische optimalisatie en praktische deployering in draadloze netwerken van de volgende generatie.

• Praktijktoepasbaarheid: Het demonstreert hoe de flexibele architectuur van O-RAN complexe AI/ML-oplossingen (DRL) kan hosten terwijl het strikte real-time beperkingen naleeft.
• Efficiëntie: Het lost de "vloek van de dimensionaliteit" in DRL voor draadloze systemen op door domeinkennis (iteratieve algoritmen) te gebruiken om de leerruimte te reduceren.
• Toekomstbestendigheid: Het framework is ontworpen om dynamische netwerkomstandigheden (gebruikersmobiliteit, veranderende QoS-eisen) en onvolmaakte kanaalinformatie aan te kunnen, waardoor het een levensvatbare kandidaat is voor 6G cell-free netwerken.

Kortom, het artikel presenteert een robuuste, schaalbare en efficiënte oplossing voor cell-free massive MIMO precoding die gebruikmaakt van de synergie tussen optimalisatietheorie en multi-agent reinforcement learning binnen het O-RAN-ecosysteem.