Digital Twin-Assisted Adaptive Multi-Agent DRL for Intelligent Spectrum and Resource Management in Open-RAN UAV-Enabled 6G Networks

Technische Samenvatting: Digital Twin-ondersteunde Adaptieve Multi-Agent DRL voor Intelligent Spectrum- en Resourcebeheer in Open-RAN UAV-gestuurde 6G-netwerken

Probleemstelling
De evolutie naar 6G draadloze netwerken vereist architecturen die in staat zijn tot ultra-hoge datasnelheden, extreme betrouwbaarheid en lage latentie (xURLLC) onder zeer dynamische omstandigheden. Hoewel Open-RAN een flexibel, ontkoppeld hardware-softwareframework biedt, en Unmanned Aerial Vehicles (UAV's) kritieke mobiliteit en dekkingsuitbreiding bieden voor grondgebruikers (GU's), brengt de integratie hiervan aanzienlijke uitdagingen met zich mee. Specifiek wordt het beheer van spectrum en resources in UAV-ondersteunde omgevingen bemoeilijkt door niet-lineaire systeeminteracties, mobiliteitsgeïnduceerde topologievariaties en strikte beperkingen op het gebied van latentie en energie. Bestaande optimalisatie- en speltheoretische methoden schieten vaak tekort bij het adresseren van real-time adaptiviteit en de vereiste gelijktijdige coördinatie in 6G. Bovendien zijn eerdere Digital Twin (DT) toepassingen beperkt gebleven tot terrestrische netwerken of vereenvoudigde modellen die de complexiteit van draadloze communicatiesystemen niet volledig kunnen vatten.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs een hybride framework voor dat een Digital Twin (DT) integreert met Adaptive Multi-Agent Deep Reinforcement Learning (MADRL) binnen een Open-RAN architectuur. Het systeemmodel omvat High-Altitude Platforms (HAP's), Open-RAN Centralized/Distributed Units (CU/DU), meerdere UAV's die fungeren als Aerial Radio Units (ARU's), Ground Radio Units (GRU's) en gedistribueerde GU's.

Het kernoptimalisatieprobleem wordt geformuleerd als een Mixed-Integer Nonlinear Programming (MINLP) taak, gericht op het maximaliseren van de totale serviceverlening (datasnelheid) aan de GU's. Het probleem wordt ontleed in twee onderling verbonden subproblemen om niet-convexiteit en computationele complexiteit te beheersen:

1. UAV Trajectoptimalisatie: Een lichtgewicht Particle Swarm Optimization (PSO) algoritme wordt ingezet om optimale UAV-posities te bepalen. Deze stap richt zich op het maximaliseren van de dekking en het minimaliseren van interferentie, terwijl rekening wordt gehouden met mobiliteit, botsingsvermijding en energiebeperkingen.
2. Resourcebeheer: Een adaptief MADRL-framework, gebaseerd op een verbeterd Deep Deterministic Policy Gradient (DDPG) algoritme, verzorgt de dynamische resourceallocatie. Dit omvat RU-GU associatie, bandbreedteallocatie en transmissieversterkingscontrole.
   • Architectuur: Het framework maakt gebruik van een hiërarchische Open-RAN structuur. De Non-RT RIC (gehost in de O-Cloud) voert de DT uit voor gecentraliseerde training, globale staat-aggregatie en beleidsoptimalisatie. De Near-RT RIC (aan de edge) voert gedecentraliseerde actor-policies uit voor real-time inferentie en adaptatie.
   • Algoritmische verbeteringen: De MADRL-agent maakt gebruik van twin critic networks om overschattingsbias tegen te gaan, target policy smoothing om de gevoeligheid voor Q-waarde variaties te verminderen, en parameter noise adaptation voor state-afhankelijke exploratie.
   • Constraints: De oplossing handhaaft strikt de beperkingen met betrekking tot UAV-batterijcapaciteit (propulsie-energiemodel), end-to-end latentie (access, backhaul en DT-synchronisatievertragingen), minimale SINR-drempelwaarden en botsingsvermijding.

Belangrijkste Bijdragen
Het artikel beschrijft vier primaire bijdragen:

• Framework Voorstel: Een UAV-ondersteund Open-RAN DT-gebaseerd framework voor intelligente spectrumdeling en resourcebeheer in 6G, specifiek gericht op latentie, energieverbruik en dynamische adaptiviteit.
• Probleemformulering: Een gezamenlijk probleem voor datasnelheidsmaximalisatie dat UAV-posities, RU-transmissieversterking, bandbreedteallocatie en RU-GU associaties optimaliseert onder strikte energie-, latentie- en DT-synchronisatiebeperkingen.
• Hybride Oplossing: Een adaptieve, iteratieve hybride oplossing die PSO combineert voor trajectoptimalisatie en MADRL voor gedecentraliseerde resourceallocatie om de niet-convexiteit van het probleem te overwinnen.
• Validatie: Uitgebreide simulaties die aantonen dat het voorgestelde framework superieur presteert ten opzichte van state-of-the-art oplossingen (MADDPG, MAPPO, MA Actor-Critic en Greedy algoritmen) wat betreft spectrale efficiëntie, datasnelheidsmaximalisatie en energiebenutting.

Simulatie-resultaten
Het voorgestelde DT-ondersteunde PSO-MADRL framework werd geëvalueerd in een gebied van 1000m × 1000m met 100 GU's en drie UAV-GRU clusters. Belangrijkste bevindingen zijn:

• Convergentie: De voorgestelde methode bereikte een aanzienlijk snellere convergentie (stabilisatie na ~200 episodes) en hogere gemiddelde beloningen vergeleken met benchmark-algoritmen.
• Datasnelheid: Het framework behaalde consistent hogere gemiddelde datasnelheden over variërende aantallen clusters, wat duidt op schaalbaarheid en efficiënt spectrumgebruik in dichte deployments.
• Latentie: De oplossing behaalde de laagste en meest stabiele latentie, waarbij het snel convergeerde naar ongeveer 60 ms, waardoor het aan xURLLC-vereisten effectiever voldoet dan de benchmarks.
• Traject: PSO slaagde erin de UAV-paden te optimaliseren om bijna volledige GU-dekking binnen clusters te garanderen, terwijl de energie-efficiëntie behouden bleef.

Significantie en Claims
De auteurs beweren dat dit werk een transformerend pad vormt naar zelf-evoluerende, autonome 6G-connectiviteit. Door de integratie van DT-gebaseerde gecentraliseerde training met gedecentraliseerde executie, maakt het framework intelligente, contextbewuste besluitvorming en adaptieve coördinatie tussen UAV's mogelijk. De studie stelt dat deze aanpak effectief de kloof overbrugt tussen theoretische optimalisatie en praktische, real-time implementatie in dynamische UAV-ondersteunde Open-RAN netwerken, en een robuuste oplossing biedt voor scenario's zoals rampenbestrijding en slimme transport waarbij betrouwbare, lage-latentie connectiviteit cruciaal is. Het werk wordt ondersteund door de Luxembourg National Research Fund (FNR).