Adaptive Machine Learning Framework for UAV Trajectory Optimization in O-RAN

Technische Samenvatting: Adaptief Machine Learning-framework voor UAV-trajectoptimalisatie in O-RAN

Probleemstelling
De inzet van Unmanned Aerial Vehicles (UAV's) als Open Radio Units (O-RUs) binnen 6G Open Radio Access Network (O-RAN) architecturen biedt een veelbelovende oplossing voor schaalbare en adaptieve netwerkdekking. Het optimaliseren van UAV-trajecten in dynamische, onbekende stedelijke omgevingen vormt echter een aanzienlijke uitdaging. Traditionele Reinforcement Learning (RL) benaderingen, hoewel effectief voor optimalisatie in een enkele omgeving, kampen met een gebrekkige adaptiviteit over diverse scenario's heen. Wanneer een UAV een nieuwe omgeving betreedt met andere gebouwlay-outs, terrein of communicatiekenmerken, vereisen standaard RL-modellen doorgaans hertraining vanaf nul. Dit proces is computationeel duur en tijdrovend, wat realtime operaties en schaalbaarheid belemmert. Bovendien missen bestaande Transfer Learning (TL) methoden vaak mechanismen om de toepasbaarheid van bronmodellen op doelomgevingen te evalueren, wat het risico op "negative transfer" met zich meebrengt, waarbij kennis uit ongelijksoortige omgevingen de prestaties verslechtert in plaats van deze te verbeteren.

Methodologie
Het artikel stelt een nieuw framework voor dat versterkte Continual Transfer Learning (CTL) integreert binnen de O-RAN architectuur om deze beperkingen aan te pakken. De kernmethodologie bestaat uit drie hoofdcomponenten:

1. Modelselectiemechanisme: Het systeem onderhoudt een bibliotheek van vooraf getrainde Deep Deterministic Policy Gradient (DDQN) modellen, elk getraind in specifieke stedelijke omgevingen (bijv. York, Londen, Ottawa). Wanneer een UAV een nieuwe omgeving ($E_{new}$) tegenkomt, extraheert het framework featurevectoren die de omgevingskenmerken vertegenwoordigen (gebouwhoogte, dichtheid, distributie van basisstations, kaartgrootte en UAV-hoogte). Een samengestelde gelijkenis-score wordt berekend tussen $E_{new}$ en alle omgevingen in de bibliotheek. Als de hoogste gelijkenis-score een vooraf ingestelde drempelwaarde overschrijdt, wordt het meest gelijkaardige vooraf getrainde model geselecteerd voor transfer learning.
2. Fallback Algemeen Model ($M_G$): In gevallen waarin geen voldoende gelijkaardig model in de bibliotheek aanwezig is (d.w.z. wanneer de gelijkenis-scores onder de drempelwaarde vallen), gebruikt het systeem een fallback-model, $M_G$. Dit model is initieel getraind op een synthetische stedelijke omgeving die is geconstrueerd door de belangrijkste structurele parameters van alle beschikbare echte steden te aggregeren en te middelen. Dit ontwerp zorgt ervoor dat $M_G$ een neutrale, onbevooroordeelde stedelijke setting vertegenwoordigt, wat overfitting op specifieke stadsmorfologieën voorkomt en een betrouwbare baseline biedt voor scenario's met negative transfer.
3. Integratie van Continual Learning (CL): Het framework maakt gebruik van CL om het fallback-model $M_G$ continu bij te werken. Terwijl UAV's in nieuwe omgevingen opereren en nieuwe beleidscycli genereren, worden deze modellen niet alleen opgeslagen in de bibliotheek, maar ook gebruikt om $M_G$ te verfijnen via gewogen aggregatie. De gewichten die aan het bestaande $M_G$ en het nieuwe model worden toegekend, hangen af van de gelijkenis tussen de nieuwe omgeving en de oorspronkelijke trainingscondities, waardoor het systeem progressief kennis kan accumuleren over diverse scenario's terwijl catastrofaal vergeten (catastrophic forgetting) wordt beperkt.

Het gehele systeem is ingebed binnen de O-RAN structuur. De Non-Real-Time RIC (Non-RT RIC) host rApps voor modelselectie, transfer learning en continual learning updates, terwijl de Near-Real-Time RIC (Near-RT RIC) xApps gebruikt voor real-time gelijkenis-vergelijking van steden, model dispatching en trajectinferentie.

Belangrijkste Bijdragen
Het artikel schetst de volgende specifieke bijdragen:

• Adaptieve Modelselectie: Ontwikkeling van een mechanisme dat het meest passende vooraf getrainde trajectbeleid selecteert uit een bibliotheek op basis van een omgeving-gelijkenis-metriek, wat de overhead voor hertraining aanzienlijk vermindert.
• Robuust Fallback-model: Creatie van een synthetisch fallback-model ($M_G$) dat continu wordt bijgewerkt via continual learning, waardoor het systeem in ongeziene omgevingen een baseline-prestatie kan handhaven en progressief de generalisatie kan verbeteren.
• O-RAN Integratie: Implementatie van een geïntegreerd UAV-trajectensysteem binnen de O-RAN architectuur, gebruikmakend van xApps en rApps om real-time inferentie en continue leerloops mogelijk te maken.
• Validatie in de Praktijk: Validatie van het framework met behulp van high-fidelity ray-traced RSSI-kaarten van echte steden (York, Beijing, Ottawa, etc.), waarbij realistische propagatiecondities zoals diffractie en multipath-effecten zijn opgenomen.

Resultaten
Simulaties uitgevoerd in meerdere stedelijke omgevingen (inclusief York, Ottawa en Beijing) demonstreren de effectiviteit van het voorgestelde framework:

• Convergentiesnelheid: De op modelselectie gebaseerde transfer learning-aanpak vermindert de convergentietijd met 44% tot 56% vergeleken met hertraining vanaf nul (DDQN).
• Vergelijking met Traditionele TL: De voorgestelde methode verbetert de convergentie met tot wel 40% vergeleken met traditionele transfer learning zonder modelselectie.
• Prestaties in Specifieke Scenario's:
  • In de York-omgeving, waar geen zeer gelijkaardige bron bestond, convergeerde het fallback-model $M_G$ in 880 episodes, waarmee het het beste bibliotheekmodel (940 episodes) en de DDQN-baseline (1380 episodes) overtrof.
  • In Ottawa bereikte het overdragen van het structureel gelijkaardige Manchester-model een convergentie in 750 episodes, een verbetering van 44,8% ten opzichte van de DDQN-baseline.
  • In Beijing resulteerde het overdragen van het gelijkaardige York-model in een convergentie in 590 episodes, een verbetering van 45,9% ten opzichte van de baseline.
• Negative Transfer: De studie benadrukt dat het selecteren van modellen uit ongelijksoortige omgevingen (bijv. overdragen van Rosslyn naar Ottawa) kan leiden tot tragere convergentie en prestaties die slechter zijn dan training vanaf nul, wat de noodzaak van het gelijkenis-gebaseerde selectiemechanisme valideert.
• Impact van Continual Learning: Hoewel de CL-bijgewerkte fallback-modellen in specifieke gevallen niet altijd de best geselecteerde transfermodellen overtroffen, toonden ze een verbeterde adaptiviteit over tijd, wat ervoor zorgt dat het systeem robuust blijft naarmate de bibliotheek van omgevingen groeit.

Betekenis en Claims
De auteurs stellen dat dit werk een kritiek gat in de UAV-trajectoptimalisatie dicht met betrekking tot de adaptiviteit in heterogene stedelijke scenario's. Door modelselectie te combineren met een continu bijgewerkt fallback-mechanisme binnen het O-RAN framework, zorgt het systeem ervoor dat UAV's snel kunnen adapteren aan nieuwe omgevingen zonder de prohibitieve kosten van hertraining vanaf nul. Het artikel benadrukt dat deze aanpak niet alleen het leren versnelt, maar ook een robuuste en betrouwbare operatie garandeert door negative transfer te voorkomen. De integratie van real-world ray-tracing data en de O-RAN architectuur positioneert het framework als een praktische stap richting schaalbare, intelligente 6G-netwerkimplementatie. De auteurs merken op dat toekomstig werk verdere verbeteringen in modelselectiestrategieën en energie-efficiënte trajectplanning zal verkennen.