xApp Empowered Resource Management for Non-Terrestrial Users in 5G O-RAN Networks

Technische Samenvatting: xApp-gedreven Resource Management voor Niet-Terrestrische Gebruikers in 5G O-RAN-netwerken

Probleemstelling
De integratie van Onbemande Luchtvaartuigen (UAV's) in bestaande cellulair netwerken brengt specifieke uitdagingen met zich mee in vergelijking met terrestrische gebruikersapparatuur (UE). UAV's opereren met hoge mobiliteit, driedimensionale (3D) bewegingspatronen en verhoogde hoogtes, wat leidt tot frequente overdrachtsevenementen, toegenomen signaaloverhead en potentiële radioverbindingstoringen. Traditionele schema's voor handoverbeheer zijn grotendeels reactief en vertrouwen op momentane signaalmetingen en vooraf gedefinieerde drempels. Deze benaderingen zijn ontoereikend voor UAV-scenario's waar snelle mobiliteit en voorspelbare vluchtpaden kansen bieden voor proactieve optimalisatie. Bovendien hebben bestaande oplossingen voor mobiliteitsbeheer de intelligente capaciteiten van de Open Radio Access Network (O-RAN)-architectuur niet volledig benut, met name in scenario's met vooraf bepaalde vluchtpaden waar voorspellende optimalisatie haalbaar is. De kernuitdaging ligt in het vinden van een balans tussen het minimaliseren van de uitvalkans en het reduceren van de frequentie van handover-evenementen om naadloze connectiviteit te waarborgen voor missiekritieke luchtoperaties.

Methodologie
De auteurs stellen een proactief UAV-mobiliteitsbeheerkader voor, geïmplementeerd als een xApp binnen de O-RAN Near Real-Time Radio Intelligent Controller (Near-RT RIC). Het systeem maakt gebruik van een Double Deep Q-Network (DDQN) reinforcement learning (RL)-algoritme om handover-beslissingen te optimaliseren voor UAV's die opereren langs vooraf bepaalde vluchttrajecten.

• Systeemmodel: Het kader beschouwt een cellulair netwerk met meerdere terrestrische basisstations (BS's) en een UAV die een 3D-traject volgt. De optimalisatiedoelen zijn tweeledig: het minimaliseren van de gemiddelde uitvalkans (waarbij het Signal-to-Interference-plus-Noise Ratio (SINR) boven een drempel moet blijven) en het minimaliseren van de frequentie van handover-evenementen.
• Reinforcement Learning-kader:
  • Staatruimte: Omvat de huidige en volgende 3D-positie van de UAV, SINR-metingen van de drie meest relevante basisstations, en de identiteit van de bedienende en kandidaat-cellen.
  • Actieruimte: Discrete acties die de UAV toestaan de huidige verbinding te behouden of over te schakelen naar een van twee kandidaat-basisstations.
  • Beloningsfunctie: Ontworpen om zowel uitvalgebeurtenissen als onnodige handovers te bestraffen. Een op sigmoid gebaseerde gladde benadering wordt gebruikt voor de handover-boete om continue uitvalwaarden te balanceren met discrete handover-evenementen.
  • Algoritme-selectie: De auteurs kozen voor DDQN boven standaard DQN en policy gradient-methoden (PPO, A2C). Experimenten toonden aan dat policy gradient-methoden leden aan voortijdige convergentie naar "geen-handover"-beleid vanwege hoge gradiëntvariatie en kortetermijn-boetebias. DDQN werd gekozen vanwege het vermogen om over-schattingbias in Q-waarde-updates te mitigeren, wat zorgt voor stabielere learning in dynamische omgevingen.
• Transfer Learning: Om de uitdaging aan te pakken om modellen in diverse vluchtscenario's te deployen zonder uitgebreide hertraining, stellen de auteurs een gecentraliseerde gewichtsgemiddelde aanpak voor. Meerdere DDQN-modellen worden onafhankelijk getraind op verschillende vluchtpaden. Hun gewichten worden vervolgens gemiddeld om een globaal model te creëren. Dit globale model wordt nadien fijn afgestemd op nieuwe, onbekende vluchtpaden met een verlaagde leersnelheid en per-laag parameterbevriezing (bevriezing van lagere lagen om algemene patronen te behouden terwijl bovenste lagen worden aangepast).
• O-RAN-integratie: De xApp opereert binnen de Near-RT RIC, waarbij gebruik wordt gemaakt van de E2-interface om Key Performance Metrics (KPM's) zoals SINR te ontvangen van Distributed Units (DU's) en de A1-interface om Verrijkinginformatie (EI) te ontvangen, specifiek UAV-vluchtpaddata van een Unmanned Aircraft System Traffic Management (UTM)-systeem. Dit stelt de xApp in staat om netwerkomstandigheden te anticiperen en besturingsbeslissingen uit te voeren met een latentie van minder dan een seconde.

Belangrijkste Bijdragen

1. Proactieve xApp voor O-RAN: De ontwikkeling van een op DDQN gebaseerde xApp die reactieve handover-beslissingen transformeert in voorspellende optimalisatie door gebruik te maken van vooraf bepaalde vluchttrajecten.
2. Transfer Learning-kader: Een nieuwe aanpak die gebruik maakt van gecentraliseerde gewichtsgemiddelden om kennis uit meerdere vluchtscenario's te consolideren in een globaal model, waardoor generalisatie naar onbekende omgevingen met minimale hertraining mogelijk wordt.
3. Uitgebreide Evaluatie: Een grondige beoordeling die aantoont dat het voorgestelde kader een superieure afweging bereikt tussen reductie van handover-frequentie en betrouwbaarheid van connectiviteit in vergelijking met traditionele schema's.

Resultaten
Het kader werd geëvalueerd in een simulatieomgeving met een oppervlak van 2000 × 2000 m², vijf basisstations en tien verschillende UAV-vluchtpaden. De resultaten werden vergeleken met een Greedy-schema, een Hysteresis-gebaseerd schema, een Minimum Outage Probability (MOP)-schema en een standaard DQN.

• Reductie van Handovers: De voorgestelde DDQN-aanpak verlaagde handover-evenementen met 54,6% ten opzichte van de greedy-baseline (2,45 evenementen versus 5,40 evenementen). Het presteerde ook beter dan het Hysteresis-schema (2,45 versus 4,30 evenementen) en het MOP-schema (2,45 versus 4,00 evenementen).
• Uitvalkans: Hoewel het greedy-schema de laagste uitvalkans behaalde (0,021%), hield de DDQN-aanpak de uitvalkans op een praktisch verwaarloosbaar niveau (0,048%), wat slechts een marginale toename van 0,027 procentpunten vertegenwoordigt. Dit wordt operationeel verwaarloosbaar geacht in vergelijking met de significante reductie in signaaloverhead.
• Stabiliteit: De DDQN-aanpak vertoonde een lagere variantie in handover-evenementen in vergelijking met baseline-methoden, wat wijst op een consistentere prestatie.
• Doeltreffendheid Transfer Learning: Analyse van cosinusgelijkenis en Euclidische afstand bevestigden dat het globale model handover-beslissingspatronen succesvol generaliseerde over verschillende vluchtpaden, met verbeterde gelijkenisscores na fijnafstelling.

Betekenis en Aanspraken
Het artikel stelt dat het voorgestelde kader de effectiviteit valideert van intelligente, op learning gebaseerde benaderingen voor UAV-mobiliteitsbeheer in next-generation O-RAN-architecturen. Door netwerkomstandigheden te anticiperen via vooraf bepaalde vluchtpaden, minimaliseert het systeem zowel de uitvalkans als de frequentie van handovers, waarmee de beperkingen van reactieve mechanismen worden aangepakt. De succesvolle implementatie van transfer learning suggereert dat robuuste globale modellen kunnen worden gedeployed in diverse operationele omgevingen zonder de computebelasting van hertraining voor elk nieuw scenario. De auteurs stellen dat dit werk bijdraagt aan de naadloze integratie van luchtgebruikersapparatuur in cellulair netwerken door een schaalbare, proactieve oplossing te bieden die resource-efficiëntie balanceert met connectiviteitsbetrouwbaarheid. De studie erkent dat hoewel de aanpak effectieve generalisatie toont binnen geteste condities, validatie in de echte wereld op O-RAN-testbeds en verkenning van multi-UAV-scenario's toekomstige doelen blijven.