xApp Empowered Resource Management for Non-Terrestrial Users in 5G O-RAN Networks

Sintesi Tecnica: Gestione delle Risorse Abilitata da xApp per Utenti Non Terrestri nelle Reti 5G O-RAN

Enunciato del Problema
L'integrazione di Veicoli Aerei Non Pilotati (UAV) nelle reti cellulari esistenti presenta sfide distinte rispetto alle apparecchiature utente (UE) terrestri. Gli UAV operano con elevata mobilità, pattern di movimento tridimensionale (3D) e altitudini elevate, portando a frequenti eventi di handover, aumento dell'overhead di segnalazione e potenziali guasti del collegamento radio. I tradizionali schemi di gestione dell'handover sono largamente reattivi, basandosi su misurazioni istantanee del segnale e soglie predefinite. Questi approcci sono inadeguati per gli scenari UAV, dove la mobilità rapida e i percorsi di volo prevedibili offrono opportunità per un'ottimizzazione proattiva. Inoltre, le soluzioni esistenti di gestione della mobilità non hanno sfruttato appieno le capacità intelligenti dell'architettura Open Radio Access Network (O-RAN), in particolare negli scenari che coinvolgono percorsi di volo predeterminati dove è fattibile un'ottimizzazione predittiva. La sfida principale risiede nel bilanciare la minimizzazione della probabilità di interruzione con la riduzione della frequenza degli handover per garantire una connettività senza interruzioni per le operazioni aeree critiche per la missione.

Metodologia
Gli autori propongono un framework proattivo di gestione della mobilità UAV implementato come xApp all'interno del Near Real-Time Radio Intelligent Controller (Near-RT RIC) di O-RAN. Il sistema impiega un algoritmo di apprendimento per rinforzo (RL) basato su Double Deep Q-Network (DDQN) per ottimizzare le decisioni di handover per UAV che operano lungo traiettorie di volo predeterminate.

• Modello di Sistema: Il framework considera una rete cellulare con multiple stazioni base (BS) terrestri e un UAV che segue una traiettoria 3D. Gli obiettivi di ottimizzazione sono duplice: minimizzare la probabilità media di interruzione (assicurando che il Rapporto Segnale-Interferenza-Rumore (SINR) rimanga al di sopra di una soglia) e minimizzare la frequenza degli eventi di handover.
• Framework di Apprendimento per Rinforzo:
  • Spazio degli Stati: Include le posizioni 3D attuali e successive dell'UAV, le misurazioni SINR dalle tre stazioni base più rilevanti e l'identità delle celle di servizio e candidate.
  • Spazio delle Azioni: Azioni discrete che permettono all'UAV di mantenere la connessione corrente o passare a una delle due stazioni base candidate.
  • Funzione di Ricompensa: Progettata per penalizzare sia gli eventi di interruzione che gli handover non necessari. Viene utilizzata un'approssimazione liscia basata su sigmoide per la penalità di handover per bilanciare i valori continui di interruzione con gli eventi di handover discreti.
  • Selezione dell'Algoritmo: Gli autori hanno scelto DDQN rispetto al DQN standard e ai metodi del gradiente della politica (PPO, A2C). Gli esperimenti hanno mostrato che i metodi del gradiente della politica soffrivano di convergenza prematura verso politiche "senza handover" a causa dell'alta varianza del gradiente e del pregiudizio a breve termine nelle penalità. DDQN è stato scelto per la sua capacità di mitigare il pregiudizio di sovrastima negli aggiornamenti del valore Q, fornendo un apprendimento più stabile in ambienti dinamici.
• Apprendimento per Trasferimento: Per affrontare la sfida di distribuire modelli attraverso scenari di volo diversi senza un addestramento estensivo, gli autori propongono un approccio di media centralizzata dei pesi. Multipli modelli DDQN vengono addestrati indipendentemente su percorsi di volo distinti. I loro pesi vengono quindi mediati per creare un modello globale. Questo modello globale viene successivamente affinato su nuovi percorsi di volo non visti utilizzando un tasso di apprendimento ridotto e il congelamento dei parametri a livello di strato (congelando i livelli inferiori per preservare i pattern generali mentre si adattano i livelli superiori).
• Integrazione O-RAN: L'xApp opera all'interno del Near-RT RIC, utilizzando l'interfaccia E2 per ricevere Metriche Chiave delle Prestazioni (KPM) come il SINR dalle Unità Distribuite (DU) e l'interfaccia A1 per ricevere Informazioni di Arricchimento (EI), specificamente dati sul percorso di volo UAV da un sistema di Gestione del Traffico dei Sistemi di Aerei Non Pilotati (UTM). Ciò permette all'xApp di anticipare le condizioni di rete ed eseguire decisioni di controllo con latenza sub-secondo.

Contributi Chiave

1. xApp Proattiva per O-RAN: Lo sviluppo di un xApp basata su DDQN che trasforma le decisioni di handover reattive in ottimizzazione predittiva sfruttando le traiettorie di volo predeterminate.
2. Framework di Apprendimento per Trasferimento: Un approccio innovativo che utilizza la media centralizzata dei pesi per consolidare la conoscenza da molteplici scenari di volo in un modello globale, abilitando la generalizzazione verso ambienti non visti con un addestramento minimo.
3. Valutazione Completa: Una valutazione approfondita che dimostra come il framework proposto raggiunga un compromesso superiore tra riduzione della frequenza degli handover e affidabilità della connettività rispetto agli schemi tradizionali.

Risultati
Il framework è stato valutato in un ambiente di simulazione caratterizzato da un'area di 2000 × 2000 m² con cinque stazioni base e dieci percorsi di volo UAV distinti. I risultati sono stati confrontati con uno schema Greedy, uno schema basato su Isteresi, uno schema di Probabilità Minima di Interruzione (MOP) e un DQN standard.

• Riduzione degli Handover: L'approccio DDQN proposto ha ridotto gli eventi di handover del 54,6% rispetto alla baseline Greedy (2,45 eventi contro 5,40 eventi). Ha inoltre superato lo schema basato su Isteresi (2,45 contro 4,30 eventi) e lo schema MOP (2,45 contro 4,00 eventi).
• Probabilità di Interruzione: Mentre lo schema Greedy ha raggiunto la probabilità di interruzione più bassa (0,021%), l'approccio DDQN ha mantenuto la probabilità di interruzione a un livello praticamente trascurabile (0,048%), rappresentando un aumento marginale di soli 0,027 punti percentuali. Ciò è considerato operativamente insignificante rispetto alla significativa riduzione dell'overhead di segnalazione.
• Stabilità: L'approccio DDQN ha dimostrato una varianza inferiore negli eventi di handover rispetto ai metodi di baseline, indicando una performance più coerente.
• Efficacia dell'Apprendimento per Trasferimento: Le analisi di similarità del coseno e della distanza euclidea hanno confermato che il modello globale ha generalizzato con successo i pattern di decisione di handover attraverso diversi percorsi di volo, con punteggi di similarità che migliorano dopo l'affinamento.

Significato e Affermazioni
Il documento afferma che il framework proposto convalida l'efficacia degli approcci intelligenti basati sull'apprendimento per la gestione della mobilità UAV nelle architetture O-RAN di prossima generazione. Anticipando le condizioni di rete attraverso percorsi di volo predeterminati, il sistema minimizza sia la probabilità di interruzione che la frequenza degli handover, affrontando le limitazioni dei meccanismi reattivi. L'implementazione riuscita dell'apprendimento per trasferimento suggerisce che modelli globali robusti possono essere distribuiti attraverso ambienti operativi diversi senza il carico computazionale di un addestramento per ogni nuovo scenario. Gli autori affermano che questo lavoro contribuisce all'integrazione senza interruzioni delle apparecchiature utente aeree nelle reti cellulari fornendo una soluzione scalabile e proattiva che bilancia l'efficienza delle risorse con l'affidabilità della connettività. Lo studio riconosce che, sebbene l'approccio mostri una generalizzazione efficace all'interno delle condizioni testate, la validazione nel mondo reale su banchi di prova O-RAN e l'esplorazione di scenari multi-UAV rimangono obiettivi futuri.