Technische Samenvatting: Hiërarchische Multi-Agent DRL-gebaseerde Dynamische Clusterherconfiguratie voor UAV Mobiliteitsbeheer

1. Probleemstelling

Het artikel behandelt de uitdaging van mobiliteitsbeheer voor Unmanned Aerial Vehicles (UAV's) in draadloze interferentienetwerken met meerdere connectiviteit. In tegenstelling tot traditionele celcentrische netwerken waarbij gebruikers verbinding maken met één enkel Access Point (AP), bedienen multi-connectivity architecturen (bijv. cell-free netwerken, CoMP) gebruikers via dynamische clusters van gedistribueerde AP's. Dit paradigma biedt robuustheid voor hoog-mobiele 3D UAV-trajecten, maar introduceert drie kritieke uitdagingen:

1. Betrouwbaarheid onder eindige bloklengte: Command-and-control toepassingen voor UAV's vereisen Ultra-Reliable Low-Latency Communication (URLLC). In regimes met een eindige bloklengte zijn de foutkans bij decodering niet nul, wat strikte Signal-to-Interference-plus-Noise Ratio (SINR) beperkingen noodzakelijk maakt om betrouwbaarheidsdoelstellingen te halen.
2. Energie-efficiëntie: Gelijktijdige transmissies van meerdere AP's verhogen het totale stroomverbruik. Het systeem moet het gezamenlijke stroomverbruik minimaliseren terwijl de communicatiekwaliteit behouden blijft.
3. Clusterstabiliteit: Frequent herconfigureren van de bedienende clusters terwijl gebruikers bewegen, genereert aanzienlijke controle-overhead en latentie. Het systeem moet de frequentie van herconfiguratie minimaliseren zonder de Quality of Service (QoS) in gevaar te brengen.

Conventionele optimalisatie-, matching- en speltheoretische benaderingen worstelen met deze problemen vanwege hun afhankelijkheid van perfecte, realtime Channel State Information (CSI) en hun onvermogen om te schalen naarmate de netwerkomvang toeneemt. Hoewel Deep Reinforcement Learning (DRL) aanpassingsvermogen biedt, mist gecentraliseerde DRL schaalbaarheid, en lijdt standaard Multi-Agent DRL (MADRL) vaak aan prestatiebeperkingen door gedeeltelijke observeerbaarheid en de complexiteit van heterogene, nauw gekoppelde doelstellingen (clustering versus vermogensregeling).

2. Methodologie

De auteurs stellen een Hierarchical Multi-Agent Deep Reinforcement Learning (H-MADRL) framework voor, specifiek geïmplementeerd als H-MAPPO (Hierarchical Multi-Agent Proximal Policy Optimization). De aanpak deelt het gezamenlijke optimalisatieprobleem op in twee onderling afhankelijke subproblemen die worden beheerd door agents op verschillende netwerkniveaus.

Systeemarchitectuur

• High-Level Agent (Edge Cloud): Verantwoordelijk voor dynamische clusterherconfiguratie. Deze observeert de globale netwerktoestanden (gebicatorslocaties, AP-belasting, kanaalcondities) en bepaalt de optimale bedienende cluster $\Gamma$ voor elke UAV.
• Low-Level Agents (APs): Verantwoordelijk voor energie-efficiënte vermogensallocatie. Elke AP fungeert als een onafhankelijke agent die zendvermogen toewijst aan zijn toegewezen gebruikers op basis van lokale observaties en de clusteringbeslissing ontvangen van de high-level agent.

Nieuw Mechanisme: Action-Observation Transition

Om het probleem van gedeeltelijke observeerbaarheid in MADRL aan te pakken en coördinatie te verbeteren, introduceren de auteurs een action-observation transition mechanisme. De actie ondernomen door de high-level agent (de clusteringbeslissing) wordt direct geïnjecteerd in de observatieruimte van de low-level agents. Dit stelt low-level agents in staat om de globale clusteringcontext in hun lokale vermogensallocatiebeslissingen te integreren, wat een samenhangend systeem creëert waarbij de policies op lager niveau worden gestuurd door strategieën op hoger niveau.

Wiskundige Formulering

Het probleem wordt gemodelleerd als een Partieel Observeerbare Markov Beslissingsproces (POMDP).

• Doel: Maximaliseer een gewogen som van clusterstabiliteit (minimaliseren van herconfiguraties) en energie-efficiëntie (maximaliseren van overgedragen bits per eenheid vermogen), onderhevig aan:
  • Maximale foutkans bij decodering ($\varepsilon_{max}$) beperkingen afgeleid van eindige bloklengte informatietheorie.
  • Maximale zendvermogen beperkingen ($P_{max}$).
  • Minimale SINR drempelwaarden ($\gamma_{th}$).
• Beloningsfuncties:
  • High-Level: Beloningen voor stabiele clusters en strafpunten voor SINR-uitval.
  • Low-Level: Beloningen voor vermogensminimalisatie en strafpunten voor schendingen van de foutkans.

Training en Implementatie

Het framework wordt getraind met behulp van Proximal Policy Optimization (PPO) voor de high-level agent en Multi-Agent PPO (MAPPO) voor de low-level agents. Training vindt plaats in een digital twin omgeving (OpenAI Gym met Ray RLlib) met on-policy rollouts. De resulterende policies worden ingezet als "bevroren" netwerken, waarbij de edge cloud clusteringcommando's uitzendt via optische backhaul, en AP's lokale inferentie uitvoeren voor vermogensregeling zonder online exploratie.

3. Belangrijkste Bijdragen

1. Optimalisatieformulering: De auteurs formuleren een multi-objectieve optimalisatieprobleem voor gezamenlijke dynamische clustering en vermogensallocatie in een draadloos interferentienetwerk, waarbij expliciet rekening wordt gehouden met eindige bloklengte betrouwbaarheidsbeperkingen en foutkansen.
2. Hiërarchisch Framework: Ze stellen een schaalbaar H-MADRL framework voor dat clustering en vermogensregeling ontkoppelt. Een high-level agent in de edge cloud optimaliseert clustering, terwijl gedistribueerde low-level AP agents vermogen optimaliseren, waarbij een balans wordt gevonden tussen schaalbaarheid en prestaties.
3. Action-Observation Transition: Een nieuw mechanisme wordt geïntroduceerd waarbij de actie van de high-level agent (clustering) deel uitmaakt van de observatieruimte van de low-level agents. Dit verbetert de coördinatie en stelt low-level agents in staat om vermogen efficiënter toe te wijzen op basis van de globale clusteringcontext.
4. Validatie: De haalbaarheid en prestaties van het voorgestelde H-MAPPO algoritme worden gevalideerd door uitgebreide numerieke simulaties tegenover gecentraliseerde en gedistribueerde baselines.

4. Numerieke Resultaten

Het artikel vergelijkt H-MAPPO met verschillende baselines: MSAC (gecentraliseerd), standaard MAPPO (gedistribueerd), Opportunistic clustering, JCPC (optimalisatie-gebaseerd) en een "Closest" AP schema.

• Leerefficiëntie: H-MAPPO convergeert ongeveer 15% sneller en bereikt hogere cumulatieve beloningen dan de gedistribueerde MAPPO baseline. De hiërarchische decompositie vereenvoudigt de actieruimte, wat helpt bij snellere exploratie en stabilisatie.
• Betrouwbaarheid (Outage Probability): H-MAPPO bereikt een SINR outage probability nabij $10^{-8}$, vergelijkbaar met het optimalisatie-gebaseerde JCPC schema ($10^{-9}$) en aanzienlijk beter dan gecentraliseerde MSAC ($10^{-5}$) en gedistribueerde MAPPO. Het voldoet effectief aan strikte Decoding Error Probability (DEP) drempels.
• Vermogensefficiëntie: H-MAPPO bereikt de vereiste betrouwbaarheid met het laagste totale zendvermogen onder de leer-gebaseerde methoden. Het opereert onder 60% van het maximaal beschikbare vermogen in 90% van de gevallen, terwijl niet-lerende opportunistische schema's >90% van het vermogen gebruiken.
• Clusterstabiliteit: H-MAPPO vertoont superieure stabiliteit met een clusterherconfiguratiepercentage van slechts 9%, vergeleken met 83% voor de JCPC optimalisatie-aanpak. Dit geeft aan dat de leeragent succesvol langetermijn mobiliteitspatronen vastlegt om onnodige herconfiguraties te voorkomen.
• Schaalbaarheid: Wanneer het aantal AP's verdubbelt (van 16 naar 32), neemt de beslissingstijd voor H-MAPPO met slechts 10% toe. In contrast hiermee ziet de gecentraliseerde MSAC aanpak een 90% toename in beslissingstijd, en de standaard MAPPO een toename van 70%. Dit benadrukt de superieure schaalbaarheid van de hiërarchische aanpak.

5. Betekenis en Claims

Het artikel claimt dat het voorgestelde H-MAPPO framework een praktische oplossing biedt voor de afweging tussen schaalbaarheid en prestaties in multi-connectivity UAV-netwerken. Door het probleem te deconstrueren en gebruik te maken van het action-observation transition mechanisme, bereikt het systeem:

• Prestaties die vergelijkbaar zijn met gecentraliseerde optimalisatie (specifiek in betrouwbaarheid en vermogensefficiëntie) maar met aanzienlijk betere schaalbaarheid.
• Verminderde controle-overhead door geminimaliseerde clusterherconfiguraties.
• Energie-efficiëntie door dynamisch vermogensallocatie aan te passen om aan strikte betrouwbaarheidsbeperkingen te voldoen zonder over-provisioning.

De auteurs concluderen dat deze hiërarchische aanpak effectief de kloof overbrugt tussen de aanpasbaarheid van gedistribueerd leren en de coördinatie die vereist is voor strikte QoS in dynamische 3D mobiliteitsscenario's. Zij erkennen beperkingen met betrekking tot de coördinatiecomplexiteit tussen niveaus en de afhankelijkheid van een centrale high-level controller, en suggereren dat toekomstig werk volledig gedecentraliseerde hiërarchische formuleringen kan verkennen.