Adaptive Machine Learning Framework for UAV Trajectory Optimization in O-RAN

Sintesi Tecnica: Framework di Apprendimento Automatico Adattivo per l'Ottimizzazione delle Traiettorie UAV in O-RAN

Definizione del Problema
L'impiego di Veicoli Aerei a Pilotaggio Remoto (UAV) come Unità Radio Aperte (O-RU) all'interno delle architetture O-RAN per il 6G offre una soluzione promettente per una copertura di rete scalabile e adattiva. Tuttavia, l'ottimizzazione delle traiettorie degli UAV in ambienti urbani dinamici e sconosciuti presenta una sfida significativa. Gli approcci tradizionali di Reinforcement Learning (RL), pur essendo efficaci per l'ottimizzazione in un singolo ambiente, soffrono di una scarsa adattabilità tra diversi scenari. Quando un UAV entra in un nuovo ambiente con diverse configurazioni di edifici, morfologie del terreno o caratteristiche di comunicazione, i modelli RL standard richiedono tipicamente un nuovo addestramento da zero. Questo processo è computazionalmente costoso e richiede molto tempo, ostacolando le operazioni in tempo reale e la scalabilità. Inoltre, i metodi esistenti di Transfer Learning (TL) spesso mancano di meccanismi per valutare l'applicabilità dei modelli sorgente agli ambienti target, rischiando il "negative transfer", in cui la conoscenza derivante da ambienti dissimili degrada le prestazioni invece di migliorarle.

Metodologia
Il documento propone un nuovo framework che integra un potenziato Continual Transfer Learning (CTL) all'interno dell'architettura O-RAN per affrontare tali limitazioni. La metodologia principale consiste in tre componenti chiave:

1. Meccanismo di Selezione del Modello: Il sistema mantiene una libreria di modelli Deep Deterministic Policy Gradient (DDQN) pre-addestrati, ciascuno addestrato in specifici ambienti urbani (ad es., York, Londra, Ottawa). Quando un UAV incontra un nuovo ambiente ($E_{new}$), il framework estrae vettori di caratteristiche che rappresentano le caratteristiche ambientali (altezza degli edifici, densità, distribuzione delle stazioni base, dimensione della mappa e altitudine dell'UAV). Viene calcolato un punteggio di somiglianza composito tra $E_{new}$ e tutti gli ambienti nella libreria. Se il punteggio di somiglianza più elevato supera una soglia predefinita, viene selezionato il modello pre-addestrato più simile per il transfer learning.
2. Modello di Fallback Generale ($M_G$): Nei casi in cui non esiste un modello sufficientemente simile nella libreria (ovvero, i punteggi di somiglianza scendono al di sotto della soglia), il sistema impiega un modello di fallback, $M_G$. Questo modello è inizialmente addestrato su un ambiente urbano sintetico costruito aggregando e mediando i parametri strutturali chiave di tutte le città reali disponibili. Questa progettazione assicura che $M_G$ rappresenti un ambiente urbano neutro e privo di bias, prevenendo l'overfitting su specifiche morfologie cittadine e fornendo una base affidabile per gli scenari di negative transfer.
3. Integrazione del Continual Learning (CL): Il framework utilizza il CL per aggiornare continuamente il modello di fallback $M_G$. Man mano che gli UAV operano in nuovi ambienti e generano nuove policy, questi modelli non vengono solo archiviati nella libreria, ma vengono anche utilizzati per perfezionare $M_G$ attraverso un'aggregazione ponderata. I pesi assegnati all'esistente $M_G$ e al nuovo modello dipendono dalla somiglianza tra il nuovo ambiente e le condizioni di addestramento originali, consentendo al sistema di accumulare progressivamente la conoscenza attraverso diversi scenari pur mitigando il catastrophic forgetting.

L'intero sistema è inserito nella struttura O-RAN. Il Non-Real-Time RIC (Non-RT RIC) ospita rApp per la selezione del modello, il transfer learning e gli aggiornamenti del continual learning, mentre il Near-Real-Time RIC (Near-RT RIC) utilizza xApp per il confronto della somiglianza della città in tempo reale, la distribuzione dei modelli e l'inferenza della traiettoria.

Contributi Chiave
Il documento delinea i seguenti contributi specifici:

• Selezione Adattiva del Modello: Sviluppo di un meccanismo che seleziona la politica di traiettoria pre-addestrata più appropriata da una libreria basata su una metrica di somiglianza ambientale, riducendo significativamente l'overhead di ri-addestramento.
• Modello di Fallback Robusto: Creazione di un modello di fallback sintetico ($M_G$) che viene costantemente aggiornato tramite continual learning, consentendo al sistema di mantenere prestazioni di base in ambienti non visti e di migliorare progressivamente la generalizzazione.
• Integrazione O-RAN: Implementazione di un sistema di traiettoria UAV integrato nell'architettura O-RAN, utilizzando xApp e rApp per abilitare l'inferenza in tempo reale e i cicli di apprendimento continuo.
• Validazione nel Mondo Reale: Validazione del framework utilizzando mappe RSSI ad alta fedeltà ottenute tramite ray-tracing da città reali (York, Pechino, Ottawa, ecc.), incorporando condizioni di propagazione realistiche come diffrazione ed effetti multipath.

Risultati
Le simulazioni condotte in molteplici ambienti urbani (inclusi York, Ottawa e Pechino) dimostrano l'efficacia del framework proposto:

• Velocità di Convergenza: L'approccio di transfer learning basato sulla selezione del modello riduce il tempo di convergenza dal 44% al 56% rispetto al ri-addestramento da zero (DDQN).
• Confronto con il TL Tradizionale: Il metodo proposto migliora la convergenza fino al 40% rispetto al transfer learning tradizionale senza selezione del modello.
• Prestazioni in Scenari Specifici:
  • Nell'ambiente di York, dove non esisteva una sorgente altamente simile, il modello di fallback $M_G$ ha raggiunto la convergenza in 880 episodi, superando il miglior modello della libreria (940 episodi) e il baseline DDQN (1380 episodi).
  • Ad Ottawa, il trasferimento dal modello di Manchester, strutturalmente simile, ha portato alla convergenza in 750 episodi, un miglioramento del 44,8% rispetto al baseline DDQN.
  • A Pechino, il trasferimento dal modello di York, simile, ha portato alla convergenza in 590 episodi, un miglioramento del 45,9% rispetto al baseline.
• Negative Transfer: Lo studio evidenzia come la selezione di modelli da ambienti dissimili (ad es., trasferire da Rosslyn a Ottawa) possa portare a una convergenza più lenta e a prestazioni peggiori rispetto all'addestramento da zero, validando la necessità del meccanismo di selezione basato sulla somiglianza.
• Impatto del Continual Learning: Sebbene i modelli di fallback aggiornati tramite CL non abbiano sempre superato i migliori modelli di transfer selezionati in casi specifici, hanno dimostrato una migliore adattabilità nel tempo, garantendo che il sistema rimanga robusto man mano che la libreria di ambienti si espande.

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro affronta il vuoto critico nell'ottimizzazione delle traiettorie degli UAV relativo all'adattabilità in scenari urbani eterogenei. Combinando la selezione del modello con un meccanismo di fallback costantemente aggiornato all'interno del framework O-RAN, il sistema garantisce che gli UAV possano adattarsi rapidamente a nuovi ambienti senza i costi proibitivi del ri-addestramento da zero. Il documento sottolinea che questo approccio non solo accelera l'apprendimento, ma assicura anche un'operatività robusta e affidabile prevenendo il negative transfer. L'integrazione di dati di ray-tracing del mondo reale e dell'architettura O-RAN posiziona il framework come un passo pratico verso una distribuzione di reti 6G intelligenti e scalabili. Gli autori osservano che il lavoro futuro esplorerà ulteriori miglioramenti nelle strategie di selezione del modello e nella pianificazione delle traiettorie a efficienza energetica.