Digital-Twin Empowered Deep Reinforcement Learning For Site-Specific Radio Resource Management in NextG Wireless Aerial Corridor

Sintesi Tecnica: Deep Reinforcement Learning potenziato da Digital Twin per la Gestione delle Risorse Radio Site-Specific in Corridoi Aerei Wireless NextG

Definizione del Problema
Il documento affronta la complessa sfida della gestione delle risorse radio (RRM) per l'ottimizzazione congiunta dell'associazione alla stazione base (BS) e della selezione del fascio (beam selection) per molteplici veicoli aerei non pilotati (UAV) che operano in un corridoio aereo specifico per il sito (site-specific, SS). Questo problema è caratterizzato da:

• Spazi di azione ad alta dimensionalità: La natura combinatoria dell'assegnazione di $M$ UAV a $L$ BS e $N$ fasci crea un problema di ottimizzazione NP-hard.
• Ambienti Dinamici: La rapida variazione dei canali di propagazione e la mobilità degli UAV rendono difficile l'adattamento in tempo reale.
• Overhead CSI: I metodi ottimali convenzionali richiedono informazioni sullo stato del canale (CSI) globali, il che comporta un overhead di segnalazione e requisiti di sincronizzazione proibitivi in scenari densi e mobili.
• Scarsità di Dati di Addestramento: Sebbene il Deep Reinforcement Learning (DRL) offra una via per ridurre la complessità computazionale, l'addestramento di modelli robusti richiede tipicamente dataset estesi e site-specific, difficili da acquisire dalle reti live senza interrompere le operazioni.

Metodologia
Gli autori propongono un framework abilitato al Digital Twin (DT) in due fasi che accoppia la modellazione basata sulla fisica con il Deep Reinforcement Learning.

1. Costruzione del Digital Twin e del Channel Twin (CT):

   • Un ambiente DT ad alta fedeltà è costruito utilizzando il campus della Howard University come testbed, impiegando dati di OpenStreetMap, Blender per la modellazione 3D e NVIDIA Sionna per il ray tracing accelerato tramite GPU.
   • Il Channel Twin (CT) cattura le caratteristiche di propagazione site-specific (multipath, diffrazione, riflessione) integrando i contesti geo-spaziali, le posizioni delle BS e le posizioni degli UAV.
   • Fase 1 (Ottimizzazione del Guadagno del Fascio): Un algoritmo di dual annealing viene impiegato offline per pre-calcolare gli angoli di scansione orizzontale ottimali ($\phi_{scan}$) per ogni combinazione BS-UAV-fascio. Ciò massimizza il guadagno d'antenna conforme allo standard 3GPP ($G_{5G}$) verso la posizione fisica dell'UAV, creando efficacemente una libreria di guadagni di fascio ottimizzati.

2. Multi-Head Proximal Policy Optimization (MH-PPO):

   • Fase 2 (Apprendimento dell'Associazione): Un agente Multi-Head Proximal Policy Optimization (MH-PPO) viene addestrato sul dataset offline generato dal CT.
   • Architettura: L'agente utilizza un backbone di estrazione delle caratteristiche condiviso (che elabora i guadagni di canale appiattiti e gli angoli di arrivo) che alimenta $M$ teste attore decentralizzate (una per ogni UAV) e una rete critic centrale. Questo design permette alla rete di scalare con la densità degli UAV senza modifiche strutturali.
   • Gestione dei Vincoli: Invece di vincoli rigidi, il framework impone il bilanciamento del carico e l'esclusività del fascio attraverso un meccanismo di ricompensa basato su penalità. Se più UAV selezionano la stessa BS, l'ambiente ammette i collegamenti più forti tra i primi $N$, penalizzando l'eccedenza, permettendo all'agente di apprendere implicitamente associazioni bilanciate nel carico.
   • Spazio degli Stati: Lo stato di input include il guadagno del canale, l'azimut e gli angoli zenitali di arrivo derivati dal CT.
   • Spazio delle Azioni: L'agente produce una distribuzione categorica sulle coppie BS-fascio per ogni UAV.

Contributi Chiave

1. Metodologia di Addestramento guidata dal DT: Il documento costruisce un dataset offline fisicamente coerente utilizzando un CT ad alta fedeltà che aderisce alle specifiche 3GPP TR 37.840 e ECC Report 281. Questo dataset sostiene l'addestramento di un agente PPO, consentendo l'apprendimento di una policy robusta attraverso diverse condizioni di canale senza richiedere l'esplorazione di reti live.
2. Framework Scalabile MH-PPO: Gli autori formulano l'associazione UAV-BS-fascio come un compito di apprendimento di policy utilizzando un'architettura actor-critic multi-head specializzata. Questo approccio mappa direttamente le caratteristiche CSI ad alta dimensionalità verso decisioni di allocazione delle risorse, eliminando la necessità di ottimizzazione iterativa durante il deployment online.
3. Bilanciamento del Carico Implicito: Un meccanico meccanismo di ricompensa penalizza le violazioni di capacità, consentendo all'agente di apprendere l'equità e il bilanciamento del carico attraverso il comportamento piuttosto che attraverso l'encoding esplicito dei vincoli nella rete della policy.
4. Performance e Latenza: Il framework dimostra miglioramenti significativi del throughput rispetto ai baseline, raggiungendo al contempo latenze di inferenza nell'ordine dei millisecondi, adatte per operazioni 6G in tempo reale.

Risultati
Sono state condotte simulazioni estese in un ambiente 3D con parametri d'antenna standardizzati 3GPP, confrontando il proposto MH-PPO con un Vanilla DQN, un algoritmo Ungharian a due stadi e diversi euristici (Max-Gain, Closest-BS, Random).

• Guadagni di Throughput: In scenari densi ($M=30$ UAV), l'agente MH-PPO ha ottenuto un miglioramento del 44%–121% rispetto a DQN e un guadagno del 249%–807% rispetto agli schemi euristici tradizionali. Ad esempio, a un'altitudine di 60 m con 20 UAV, MH-PPO ha raggiunto 12,59 Mbps, un guadagno del 43,8% rispetto a DQN e del 720,6% rispetto all'euristico Closest-BS.
• Robustezza e Generalizzazione: L'agente MH-PPO ha dimostrato una stabilità superiore in ambienti densi e limitati dalle interferenze. Mentre il DQN ha sofferto di mismatch della distribuzione e degenerazione della policy (evidenziato da una lunga coda sinistra nella distribuzione del throughput), MH-PPO ha mantenuto prestazioni costanti. Il throughput al 5° percentile (prestazioni dell'utente nel caso peggiore) per MH-PPO è significativamente più alto di quello di DQN, indicando una migliore equità.
• Latenza di Inferenza: Il framework proposto ha raggiunto una latenza di inferenza media di 2,43 ms, ovvero circa il 2,4% del tempo minimo di coerenza del canale per UAV che viaggiano a 20–50 km/h. Questo è di diversi ordini di grandezza più veloce del tempo richiesto per l'ottimizzazione iterativa ed è ampiamente entro il requisito di latenza di 40 ms per i pacchetti di Command-and-Control (C2).
• Scalabilità: La latenza di inferenza è scalata in modo sub-lineare con il numero di UAV, confermando la fattibilità dell'approccio per deployment ultra-densi.

Significatività
Il documento afferma che questo lavoro stabilisce una via percorribile per la gestione delle risorse in tempo reale nei corridoi aerei di prossima generazione. Sfruttando i Digital Twin per generare dati di addestramento ad alta fedeltà, gli autori superano le doppie sfide dell'intrattabilità computazionale nell'ottimizzazione combinatoria e l'impraticabilità di acquisire CSI globale in tempo reale. I risultati dimostrano che le pipeline di addestramento guidate dai DT possono fornire policy di RRM ad alte prestazioni e bassa latenza, personalizzate per deployment site-specific, colmando efficacemente il divario tra l'ottimizzazione teorica e l'implementazione pratica 6G in tempo reale. Il lavoro estende i precedenti contributi di conferenza affrontando esplicitamente l'interferenza inter-cella nel design della ricompensa e fornendo un benchmark completo per le comunicazioni nei corridoi UAV.