DQN Based Joint UAV Trajectory and Association Planning in NTN Assisted Networks

Titolo

Pianificazione congiunta della traiettoria e dell'associazione UAV basata su DQN in reti assistite da NTN

1. Problema e Contesto

L'articolo affronta le sfide critiche poste dall'Emergenza della Mobilità Aerea Avanzata (AAM), che richiede collegamenti di comunicazione stabili ed efficienti tra i Veicoli Aerei Non Equipaggiati (UAV) e i centri di controllo.

• Limitazioni delle reti terrestri: Le reti terrestri esistenti, basate su Stazioni Base Macro (MBS), spesso falliscono nel fornire una copertura ubiqua per gli UAV, specialmente in aree rurali o remote. Inoltre, le antenne MBS sono inclinate verso il basso per servire gli utenti a terra, causando un segnale debole per gli UAV e frequenti interruzioni (handover) o "buchi di copertura" (coverage holes).
• Vincoli energetici e dinamici: Gli UAV hanno una capacità energetica limitata a bordo. La pianificazione della traiettoria deve quindi bilanciare il consumo energetico, la frequenza degli handover (per evitare l'effetto "ping-pong" e il degrado del collegamento) e la connettività continua.
• Obiettivo: Il lavoro propone un'architettura integrata che combina reti terrestri e satelliti in orbita geostazionaria (GEO) per garantire una connettività UAV senza soluzione di continuità. Il problema centrale è formulato come un problema di Pianificazione Congiunta della Traiettoria e dell'Associazione (JUTAP), mirato a minimizzare simultaneamente il consumo energetico, la frequenza degli handover e la disconnettività.

2. Metodologia

Per risolvere il problema JUTAP, che è un problema di ottimizzazione non convesso misto-integer con spazi di stato complessi, gli autori adottano un approccio di Apprendimento per Rinforzo Profondo (Deep Reinforcement Learning - DRL), specificamente una Deep Q-Network (DQN).

• Modello di Sistema:

  • L'area di interesse è discretizzata in una griglia 3D.
  • L'UAV può associarsi a una delle MBS terrestri o al satellite GEO.
  • I canali di comunicazione sono modellati considerando le perdite di percorso, il guadagno dell'antenna e le condizioni di visibilità diretta (LoS).
  • Il consumo energetico è calcolato in base alla distanza percorsa e alla velocità, tenendo conto delle riserve di emergenza.

• Formulazione del Problema:
  L'obiettivo è minimizzare una funzione di costo ponderata:
  $$\min \sum (w_1 \cdot \text{Energia} + w_2 \cdot \text{Costo Handover} + w_3 \cdot \text{Disconnettività})$$
  Soggetta al vincolo di energia residua dell'UAV.

• Algoritmo DQN Proposto:

  • Spazio degli Stati ($s_t$): Include le coordinate normalizzate dell'UAV $(x_t, y_t)$ e un indicatore binario di associazione $\hat{c}_t$ (0 per rete terrestre, 1 per satellite GEO).
  • Spazio delle Azioni ($a_t$): Combina la direzione di movimento (8 direzioni possibili) e la scelta del tipo di associazione per il passo successivo. Dimensione totale: $8 \times 2 = 16$.
  • Funzione di Ricompensa ($r_t$): Progettata per penalizzare il consumo energetico, gli handover non necessari (con costi differenziati per handover MBS-MBS, MBS-GEO, ecc.) e i buchi di copertura.
  • Semplificazione: Per gestire lo spazio delle azioni esponenzialmente grande (dovuto al numero di MBS), la decisione di associazione è semplificata in una scelta binaria: associarsi alla MBS con il miglior SINR (se in modalità terrestre) o al satellite GEO.

3. Contributi Chiave

1. Architettura Integrata GEO-Terrestre: Propone un framework unificato che sfrutta la copertura globale dei satelliti GEO per colmare le lacune delle reti terrestri, garantendo connettività anche in aree remote.
2. Algoritmo JUTAP basato su DQN: Sviluppa un algoritmo specifico che apprende politiche ottimali di traiettoria e associazione in un ambiente dinamico, superando le limitazioni del Q-learning classico (curse of dimensionality) grazie all'uso di reti neurali e replay buffer.
3. Ottimizzazione Multi-Obiettivo: Dimostra come bilanciare trade-off complessi tra energia, stabilità del collegamento (handover) e affidabilità (evitare disconnessioni) attraverso pesi adattabili.

4. Risultati delle Simulazioni

Le simulazioni sono state condotte in un'area di 3x3 km con 10 MBS e un satellite GEO, utilizzando parametri realistici (frequenze, potenze di trasmissione, modelli di canale 3GPP).

• Convergenza: L'algoritmo DQN mostra una convergenza stabile dopo circa 400 episodi di addestramento, con un aumento graduale della ricompensa totale.
• Confronto Reti Integrate vs. Solo Terrestri:
  • La rete integrata GEO-terrestre permette all'UAV di seguire traiettorie più dirette verso la destinazione.
  • Riduzione dei buchi di copertura: Nel caso di studio, la rete integrata ha ridotto i buchi di copertura da 5 (solo terrestre) a 1, mantenendo la connettività tramite il satellite nelle zone critiche.
  • Efficienza: La traiettoria integrata ha una lunghezza totale inferiore (4.072 m vs 4.354 m) e riduce significativamente la disconnettività.
• Analisi dei Pesi (Trade-off):
  • Quando si priorizza la minimizzazione degli handover ($w_2$ alto), l'UAV tende a evitare il satellite (a causa dei costi di handover elevati associati) e rimane sulla rete terrestre, anche se ciò comporta percorsi più lunghi.
  • Quando si priorizza l'energia ($w_1$ alto), l'UAV sceglie il percorso più breve e utilizza il satellite per evitare buchi di copertura, accettando un numero leggermente superiore di handover per garantire l'efficienza energetica complessiva.

5. Significato e Conclusioni

Questo lavoro dimostra che l'integrazione di reti non terrestri (NTN) con le infrastrutture terrestri, gestita tramite intelligenza artificiale, è fondamentale per il futuro della mobilità aerea avanzata.

• Affidabilità: L'uso dei satelliti GEO elimina i punti critici di copertura, garantendo operazioni Beyond Visual Line of Sight (BVLOS) sicure.
• Efficienza Energetica: La capacità di scegliere dinamicamente il nodo di associazione ottimale permette di risparmiare energia, estendendo l'autonomia operativa degli UAV.
• Scalabilità: L'approccio basato su DQN è scalabile e adatto a scenari complessi con molte stazioni base, offrendo una soluzione pratica per la gestione autonoma delle flotte UAV in ambienti ibridi.

In sintesi, il paper valida che un framework decisionale guidato dall'AI può ottimizzare efficacemente la mobilità aerea in reti ibride, risolvendo il compromesso tra consumo energetico, stabilità del collegamento e copertura geografica.