Digital-Twin Empowered Deep Reinforcement Learning For Site-Specific Radio Resource Management in NextG Wireless Aerial Corridor

Technische Samenvatting: Digital-Twin-gestuurde Deep Reinforcement Learning voor Locatiespecifiek Radio Resource Management in NextG Wireless Aerial Corridors

Probleemstelling
Het artikel behandelt de complexe uitdaging van Radio Resource Management (RRM) waarbij de associatie van Basisstations (BS) en de selectie van beams voor meerdere Unmanned Aerial Vehicles (UAV's) gezamenlijk worden geoptimaliseerd binnen een locatiespecifieke (SS) luchtcorridor. Dit probleem wordt gekenmerkt door:

• Hoogdimensionele actieruimtes: Het combinatorische karakter van het toewijzen van $M$ UAV's aan $L$ BS'en en $N$ beams creëert een NP-hard optimalisatieprobleem.
• Dynamische omgevingen: Snel variërende propagatiekanalen en UAV-mobiliteit maken real-time adaptatie moeilijk.
• CSI-overhead: Conventionele optimale methoden vereisen wereldwijde Channel State Information (CSI), wat een prohibitieve signaleringsoverhead en synchronisatie-eisen met zich meebrengt in dichte, mobiele scenario's.
• Schaarsheid aan trainingsdata: Hoewel Deep Reinforcement Learning (DRL) een weg biedt om de computationele complexiteit te verminderen, vereist het trainen van robuuste modellen doorgaans uitgebreide, locatiespecifieke datasets die moeilijk te verkrijgen zijn vanuit live netwerken zonder de operaties te verstoren.

Methodologie
De auteurs stellen een tweestaps, Digital Twin (DT)-gestuurd framework voor dat physics-gebaseerde modellering koppelt aan Deep Reinforcement Learning.

1. Constructie van Digital Twin en Channel Twin (CT):

   • Een high-fidelity DT-omgeving wordt geconstrueerd met behulp van de Howard University campus als testbed, gebruikmakend van OpenStreetMap-data, Blender voor 3D-modellering en NVIDIA Sionna voor GPU-versnelde ray tracing.
   • De Channel Twin (CT) legt locatiespecifieke propagatiekenmerken vast (multipath, diffractie, reflectie) door geo-spatiële contexten, BS-locaties en UAV-posities te integreren.
   • Fase 1 (Optimalisatie van Beam Gain): Een dual annealing-algoritme wordt offline ingezet om optimale horizontale scanhoeken ($\phi_{scan}$) te precomputeren voor elke BS-UAV-beam combinatie. Dit maximaliseert de 3GPP-conforme antenne-gain ($G_{5G}$) richting de fysieke locatie van de UAV, wat effectief een bibliotheek van geoptimaliseerde beam gains creëert.

2. Multi-Head Proximal Policy Optimization (MH-PPO):

   • Fase 2 (Associatie-leren): Een Multi-Head Proximal Policy Optimization (MH-PPO) agent wordt getraind op de offline dataset gegenereerd door de CT.
   • Architectuur: De agent gebruikt een gedeelde feature extraction backbone (die geflattende kanaalversterking en Angles of Arrival verwerkt) die naar $M$ gedecentraliseerde actor-heads (één per UAV) en een gecentraliseerd critic-netwerk leidt. Dit ontwerp maakt het mogelijk dat het netwerk schaalt met de UAV-dichtheid zonder architecturale wijzigingen.
   • Constraint Handling: In plaats van harde restricties, handhaaft het framework load balancing en beam-exclusiviteit via een penalty-gebaseerd beloningsmechanisme. Als meerdere UAV's dezelfde BS selecteren, accepteert de omgeving de top-$N$ sterkste verbindingen en wordt de overmaat bestraft, waardoor de agent impliciet een load-balanced associatie kan leren.
   • State Space: De input-state bevat kanaalversterking, azimuth en zenith hoeken van aankomst (angles of arrival) afgeleid van de CT.
   • Action Space: De agent geeft een categorische distributie over BS-beam paren voor elke UAV.

Belangrijkste Bijdragen

1. DT-gestuurde Trainingsmethodologie: Het artikel construeert een physics-consistente offline dataset met behulp van een high-fidelity CT die voldoet aan de 3GPP TR 37.840 en ECC Report 281 specificaties. Deze dataset vormt de basis voor de training van een PPO-agent, wat robuust policy-leren over diverse kanaalcondities mogelijk maakt zonder de noodzaak van live netwerkexploratie.
2. Schaalbaar MH-PPO Framework: De auteurs formuleren de UAV-BS-beam associatie als een policy-learning taak met behulp van een gespecialiseerde multi-head actor-critic architectuur. Deze aanpak brengt hoogdimensionele CSI-features direct in kaart naar resource allocatie-beslissingen, waardoor iteratieve optimalisatie tijdens online inzet wordt geëlimineerd.
3. Impliciete Load Balancing: Een nieuw beloningsmechanisme straft capaciteitsbeperkingen af, waardoor de agent leert over eerlijkheid en load balancing door gedrag in plaats van expliciete constraint-encoding in het policy-netwerk.
4. Prestaties en Latentie: Het framework demonstreert significante verbeteringen in throughput ten opzichte van baselines, terwijl het inferentie-latenties in het millisecondebereik bereikt, wat geschikt is voor real-time 6G-operaties.

Resultaten
Uitgebreide simulaties werden uitgevoerd in een 3D virtuele omgeving met 3GPP-gestandaardiseerde antenneparameters, waarbij de voorgestelde MH-PPO werd vergeleken met een Vanilla DQN, een Two-Stage Hungarian algoritme en verschillende heuristieken (Max-Gain, Closest-BS, Random).

• Throughput Winsten: In dichte scenario's ($M=30$ UAV's) behaalde de MH-PPO agent een 44%–121% verbetering ten opzichte van DQN en een 249%–807% winst ten opzichte van traditionele heuristische schema's. Bijvoorbeeld, bij een hoogte van 60m met 20 UAV's behaalde MH-PPO 12,59 Mbps, een winst van 43,8% over DQN en een winst van 720,6% over de Closest-BS heuristiek.
• Robuustheid en Generalisatie: De MH-PPO agent vertoonde superieure stabiliteit in hoogdimensionele, interferentie-gelimiteerde omgevingen. Terwijl DQN leed onder distributie-mismatch en policy-degeneratie (bewezen door een lange linkerstaart in de throughput-distributie), behield MH-PPO een consistente prestatie. De 5e percentiel throughput (worst-case gebruikersprestatie) voor MH-PPO was significant hoger dan die van DQN, wat duidt op betere eerlijkheid.
• Inferentie Latentie: Het voorgestelde framework bereikte een gemiddelde inferentie-latentie van 2,43 ms, wat ongeveer 2,4% is van de minimale kanaalcoherentietijd voor UAV's die met 20–50 km/u reizen. Dit is enkele ordes van grootte sneller dan de tijd die nodig is voor iteratieve optimalisatie en valt ruim binnen de 40 ms latentie-eis voor Command-and-Control (C2) pakketten.
• Schaalbaarheid: De inferentie-latentie schaalde sub-lineair met het aantal UAV's, wat de haalbaarheid van de aanpak voor ultra-dense deployments bevestigt.

Significantie
Het artikel beweert dat dit werk een levensvatbaar pad legt voor real-time resource management in volgende generatie luchtcorridor-netwerken. Door gebruik te maken van Digital Twins om high-fidelity trainingsdata te genereren, overwinnen de auteurs de dubbele uitdagingen van computationele onhandelbaarheid in combinatorische optimalisatie en de onpraktische verkrijging van wereldwijde CSI in real-time. De resultaten tonen aan dat DT-gestuurde trainingspipelines hoge-prestatie, lage-latentie RRM-policies kunnen leveren die op maat zijn gemaakt voor locatiespecifieke implementaties, waarmee de kloof tussen theoretische optimalisatie en praktische, real-time 6G-implementatie effectief wordt overbrugd. Dit werk breidt eerdere conferentiebijdragen uit door expliciet rekening te houden met inter-cel interferentie in het beloningsontwerp en door een uitgebreide benchmark te bieden voor UAV-corridorcommunicatie.