Sintesi Tecnica: Riconfigurazione Dinamica dei Cluster basata su H-MADRL per la Gestione della Mobilità di UAV

1. Definizione del Problema

Il documento affronta la sfida della gestione della mobilità per i Veicoli Aerei a Pilotaggio Remoto (UAV) in reti di interferenza wireless a connettività multipla. A differenza delle tradizionali reti centrate sulle celle, dove gli utenti si connettono a un singolo Punto di Accesso (AP), le architetture a connettività multipla (ad esempio, reti cell-free, CoMP) servono gli utenti tramite cluster dinamici di AP distribuiti. Questo paradigma offre robustezza per le traiettorie 3D ad alta mobilità degli UAV, ma introduce tre sfide critiche:

1. Affidabilità sotto Blocco di Lunghezza Finita: Le applicazioni di comando e controllo degli UAV richiedono comunicazioni Ultra-Affidabili a Bassa Latenza (URLLC). Nei regimi a blocco di lunghezza finita, le probabilità di errore di decodifica sono non nulle, rendendo necessari vincoli rigorosi di Rapporto Segnale-Interferenza più Rumore (SINR) per soddisfare gli obiettivi di affidabilità.
2. Efficienza Energetica: Le trasmissioni simultanee da parte di più AP aumentano il consumo totale di potenza. Il sistema deve minimizzare il consumo di potenza congiunto mantenendo al contempo la qualità della comunicazione.
3. Stabilità del Cluster: La frequente riconfigurazione dei cluster di servizio al movimento degli utenti genera un overhead di controllo e una latenza significativi. Il sistema deve minimizzare la frequenza di riconfigurazione senza compromettere la Qualità del Servizio (QoS).

Gli approcci convenzionali di ottimizzazione, matching e teoria dei giochi faticano ad affrontare questi problemi a causa della loro dipendenza da informazioni sullo stato del canale (CSI) perfette e in tempo reale, e della loro incapacità di scalare all'aumentare delle dimensioni della rete. Sebbene l'Apprendimento per Rinforzo Profondo (DRL) offra adattabilità, il DRL centralizzato manca di scalabilità, e il Multi-Agent DRL (MADRL) standard soffre spesso di limitazioni nelle prestazioni a causa della parziale osservabilità e della complessità di obiettivi eterogenei e strettamente accoppiati (clustering vs. controllo della potenza).

2. Metodologia

Gli autori propongono un framework di Apprendimento per Rinforzo Profondo Multi-Agente Gerarchico (H-MADRL), implementato specificamente come H-MAPPO (Hierarchical Multi-Agent Proximal Policy Optimization). L'approccio decompone il problema di ottimizzazione congiunta in due sottoproblemi interdipendenti gestiti da agenti a diversi livelli di rete.

Architettura di Sistema

• Agente di Alto Livello (Edge Cloud): Responsabile della riconfigurazione dinamica dei cluster. Osserva gli stati globali della rete (posizioni degli utenti, carichi degli AP, condizioni del canale) e determina il cluster di servizio $\Gamma$ ottimale per ogni UAV.
• Agenti di Basso Livello (AP): Responsabili dell'allocazione della potenza efficiente dal punto di vista energetico. Ogni AP agisce come un agente indipendente che alloca la potenza di trasmissione ai propri utenti assegnati sulla base di osservazioni locali e della decisione di clustering ricevuta dall'agente di alto livello.

Meccanismo Innovativo: Transizione Azione-Osservazione

Per affrontare il problema della parziale osservabilità nel MADRL e migliorare la coordinazione, il documento introduce un meccanismo di transizione azione-osservazione. L'azione intrapresa dall'agente di alto livello (la decisione di clustering) viene iniettata direttamente nello spazio delle osservazioni degli agenti di basso livello. Ciò consente agli agenti di basso livello di incorporare il contesto globale di clustering nelle loro decisioni locali di allocazione della potenza, creando un sistema coeso in cui le policy di basso livello sono guidate dalle strategie di alto livello.

Formulazione Matematica

Il problema è modellato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP).

• Obiettivo: Massimizzare una somma pesata della stabilità del cluster (minimizzando le riconfigurazioni) e dell'efficienza energetica (massimizzando i bit trasmessi per unità di potenza), soggetti a:
  • Vincoli di probabilità massima di errore di decodifica ($\varepsilon_{max}$) derivati dalla teoria dell'informazione a blocco di lunghezza finita.
  • Vincoli di potenza massima di trasmissione ($P_{max}$).
  • Soglie minime di SINR ($\gamma_{th}$).
• Funzioni di Ricompensa:
  • Alto Livello: Ricompense per cluster stabili e penalità per i blackout di SINR.
  • Basso Livello: Ricompense per la minimizzazione della potenza e penalità per le violazioni della probabilità di errore.

Addestramento e Implementazione

Il framework viene addestrato utilizzando Proximal Policy Optimization (PPO) per l'agente di alto livello e Multi-Agent PPO (MAPPO) per gli agenti di basso livello. L'addestramento avviene in un ambiente digital twin (OpenAI Gym con Ray RLlib) tramite rollout on-policy. Le policy risultanti vengono implementate come reti "congelate", dove l'edge cloud emette comandi di clustering tramite backhaul ottico e gli AP eseguono l'inferenza locale per il controllo della potenza senza esplorazione online.

3. Contributi Chiave

1. Formulazione dell'Ottimizzazione: Gli autori formulano un problema di ottimizzazione multi-obiettivo per il clustering dinamico congiunto e l'allocazione della potenza in una rete di interferenza wireless, tenendo esplicitamente conto dei vincoli di affidabilità a blocco di lunghezza finita e delle probabilità di errore.
2. Framework Gerarchico: Propongono un framework H-MADRL scalabile che decompone il clustering e il controllo della potenza. Un agente di alto livello nell'edge cloud ottimizza il clustering, mentre gli agenti AP distribuiti di basso livello ottimizzano la potenza, bilanciando scalabilità e prestazioni.
3. Transizione Azione-Osservazione: Viene introdotto un meccanismo innovativo in cui l'azione dell'agente di alto livello (clustering) diventa parte dello spazio di osservazione degli agenti di basso livello. Ciò migliora la coordinazione e consente agli agenti di basso livello di allocare la potenza in modo più efficiente basandosi sul contesto globale di clustering.
4. Validazione: La fattibilità e le prestazioni dell'algoritmo H-MAPPO proposto sono validate attraverso estese simulazioni numeriche contro baseline centralizzate e distribuite.

4. Risultati Numerici

Il documento confronta H-MAPPO con diverse baseline: MSAC (centralizzato), MAPPO standard (distribuito), clustering opportunistico, JCPC (basato su ottimizzazione) e uno schema di AP "Più Vicino" (Closest).

• Efficienza di Apprendimento: H-MAPPO converge circa il 15% più velocemente e raggiunge ricompense cumulative superiori rispetto alla baseline distribuita MAPPO. La decomposizione gerarchica semplifica lo spazio delle azioni, favorendo una esplorazione e una stabilizzazione più rapide.
• Affidabilità (Probabilità di Outage): H-MAPPO raggiunge una probabilità di outage di SINR vicina a $10^{-8}$, comparabile allo schema basato su ottimizzazione JCPC ($10^{-9}$) e significativamente migliore di MSAC centralizzato ($10^{-5}$) e MAPPO distribuito. Soddisfa efficacemente le rigide soglie di Probabilità di Errore di Decodifica (DEP).
• Efficienza della Potenza: H-MAPPO raggiunge l'affidabilità richiesta con la minore potenza di trasmissione totale tra i metodi basati sull'apprendimento. Opera al di sotto del 60% della potenza massima disponibile nel 90% degli casi, mentre gli schemi non basati sull'apprendimento opportunistici utilizzano oltre il 90% della potenza.
• Stabilità del Cluster: H-MAPPO dimostra una stabilità superiore con un tasso di riconfigurazione del cluster di solo il 9%, rispetto all'83% dell'approccio di ottimizzazione JCPC. Ciò indica che l'agente di apprendimento cattura con successo i pattern di mobilità a lungo termine per evitare riconfigurazioni non necessarie.
• Scalabilità: Quando il numero di AP raddoppia (da 16 a 32), il tempo decisionale per H-MAPPO aumenta solo del 10%. Al contrario, l'approccio MSAC centralizzato vede un aumento del tempo decisionale del 90%, e il MAPPO standard vede un aumento del 70%. Ciò evidenzia la superiore scalabilità dell'approccio gerarchico.

5. Significato e Rivendicazioni

Il documento afferma che il framework H-MAPPO proposto offre una soluzione pratica al compromesso tra scalabilità e prestazioni nelle reti UAV a connettività multipla. Decomponendo il problema e utilizzando il meccanismo di transizione azione-osservazione, il sistema ottiene:

• Prestazioni comparabili all'ottimizzazione centralizzata (specificamente in termini di affidabilità e efficienza della potenza) ma con una scalabilità significativamente migliore.
• Riduzione dell'overhead di controllo attraverso la minimizzazione delle riconfigurazioni dei cluster.
• Efficienza energetica adattando dinamicamente l'allocazione della potenza per soddisfare i rigorosi vincoli di affidabilità senza sovradimensionamento.

Gli autori concludono che questo approccio gerarchico colma efficacemente il divario tra l'adattabilità dell'apprendimento distribuito e la coordinazione richiesta per una QoS rigorosa in scenari di mobilità 3D dinamica. Riconoscono i limiti riguardanti la complessità di coordinamento tra i livelli e la dipendenza da un controllore centrale di alto livello, suggerendo che il lavoro futuro potrebbe esplorare formulazioni gerarchiche completamente decentralizzate.