DQN Based Joint UAV Trajectory and Association Planning in NTN Assisted Networks

Titel: DQN-gebaseerde gezamenlijke UAV-traject- en associatieplanning in door NTN ondersteunde netwerken

1. Probleemstelling

De opkomst van Advanced Air Mobility (AAM) vereist betrouwbare en efficiënte communicatielinks tussen onbemande luchtvaartuigen (UAV's) en controlecentra, vooral voor vluchten buiten het zicht (Beyond Visual Line-of-Sight). Bestaande terrestrische netwerken (terrestrial networks) hebben echter beperkingen:

• Afdekking: Antennes van macro-basistations (MBS) zijn vaak naar beneden gericht voor grondgebruikers, wat leidt tot zwakke signalen voor UAV's.
• Energie en Handovers: UAV's hebben beperkte aan boord energie. Frequent wisselen tussen basistations (handovers) verhoogt het energieverbruik en kan leiden tot onderbrekingen (disconnectivity) of het "ping-pong"-effect.
• Gebieden zonder dekking: In landelijke of afgelegen gebieden zijn MBS's vaak niet beschikbaar, wat leidt tot dekkingstappen (coverage holes).

Het artikel stelt een geïntegreerde architectuur voor die Geostationary Earth Orbit (GEO) satellieten combineert met terrestrische netwerken om deze problemen op te lossen. Het kernprobleem is het gezamenlijk optimaliseren van het UAV-traject en de netwerkassociatie (kiezen tussen een MBS of de GEO-satelliet) om drie doelen te minimaliseren:

1. Energieverbruik.
2. Frequentie van handovers.
3. Onderbrekingen van de verbinding (disconnectivity).

2. Methodologie

De auteurs formuleren het probleem als een gecombineerde UAV-traject- en associatieplanning (JUTAP) en lossen dit op met behulp van Deep Reinforcement Learning (DRL), specifiek een Deep Q-Network (DQN) algoritme.

• Systeemmodel:

  • Het gebied is opgedeeld in een 2D-rooster (grid).
  • De UAV vliegt van een startpunt naar een eindpunt op een vaste hoogte (max. 300m).
  • De UAV kan zich associëren met een van de $N_B$ MBS's of de GEO-satelliet.
  • Kanalen worden gemodelleerd met probabilistische Line-of-Sight (LoS) aannames voor MBS's en gegarandeerde LoS voor de satelliet.
  • De doelstellingsfunctie (4) minimaliseert een gewogen som van energiekosten, handoverkosten en kosten voor onderbroken verbindingen, onderworpen aan een totale energiebeperking.

• DQN-Algorithmus:

  • Toestand (State): $s_t = [x_t, y_t, \hat{c}_t]$, waarbij $(x_t, y_t)$ de gecoördineerde positie is en $\hat{c}_t$ een binaire indicator voor de associatiemodus (0 = terrestrisch, 1 = satelliet).
  • Actie (Action): Een combinatie van een bewegingsrichting (8 richtingen) en de volgende associatiemodus. De actie-ruimte is dus $8 \times 2 = 16$.
  • Beloning (Reward): De beloningsfunctie straalt negatieve waarden uit voor energieverbruik, handovers en onderbrekingen.
    • Handoverkosten zijn hoger bij wisseling naar de satelliet (vanwege latentie) en bij wisseling tussen MBS's.
    • Er is een straf voor het betreden van een "coverage hole".
  • Leren: Het agent gebruikt een $\epsilon$-greedy strategie, een replay buffer en een target network om de Q-waarden te leren en een optimaal beleid te vinden dat de totale kosten minimaliseert.

3. Belangrijkste Bijdragen

1. Geïntegreerde Architectuur: Voorstel van een hybride GEO-terrestrisch netwerk om de beperkingen van puur terrestrische netwerken voor UAV's te overwinnen.
2. Gezamenlijke Optimalisatie: Formulering van het JUTAP-probleem dat trajectplanning en netwerkselectie gelijktijdig behandelt, in plaats van ze als aparte problemen te benaderen.
3. DQN-oplossing: Ontwikkeling van een specifiek DQN-algoritme dat de "curse of dimensionality" (de dimensieproblematiek) van traditionele Q-learning overwint door gebruik te maken van een neurale netwerken voor het benaderen van de waarde-functie in een grote toestandsruimte.
4. Flexibiliteit: Het algoritme kan worden aangepast aan verschillende operationele prioriteiten door de gewichten ($w_1, w_2, w_3$) in de beloningsfunctie te variëren (bijv. prioriteit geven aan energiebesparing versus het vermijden van handovers).

4. Resultaten

De prestaties zijn gevalideerd via simulaties in een gebied van 3x3 km met 10 MBS's en één GEO-satelliet.

• Convergentie: Het algoritme convergeert stabiel na ongeveer 400 trainingsepisoden, wat aantoont dat het de netwerkdynamiek effectief leert.
• Vergelijking (Geïntegreerd vs. Standalone):
  • Het geïntegreerde GEO-terrestrische systeem resulteert in een kortere trajectlengte (4.073 m vs. 4.354 m) en minder onderbrekingen (1 vs. 5 coverage holes) vergeleken met een puur terrestrisch netwerk.
  • De UAV gebruikt de satelliet om dekkingstappen te omzeilen en een meer rechtstreekse route te volgen.
• Invloed van Gewichten:
  • Bij prioriteit voor handover-minimalisatie ($w_2=0.6$): De UAV vermijdt de satelliet (vanwege de hoge handoverkost) en blijft bij het terrestrische netwerk, wat leidt tot een langere route maar minder handovers.
  • Bij prioriteit voor energiebesparing ($w_1=0.6$): De UAV kiest de kortste route en maakt gebruik van de satelliet om dekkingstappen te vermijden, wat resulteert in de laagste totale afstand.

5. Betekenis en Conclusie

Dit onderzoek demonstreert dat AI-gedreven besluitvorming (specifiek DRL) essentieel is voor het beheer van complexe, dynamische netwerken in de luchtvaart. De geïntegreerde GEO-terrestrische aanpak biedt een robuuste oplossing voor de uitdagingen van AAM, zoals:

• Betrouwbaarheid: Het elimineren van dekkingstappen door satellietondersteuning.
• Efficiëntie: Het optimaliseren van energie en handoverkosten door slimme trajectplanning.
• Schaalbaarheid: De DQN-aanpak is schaalbaar naar grotere gebieden met meer basistations, waar traditionele methoden falen.

De resultaten onderstrepen de potentie van dergelijke geïntegreerde netwerken voor toekomstige toepassingen zoals vrachtlevering, surveillance en passagierstransport in de lage luchtruimte.