⚡ electrical engineering

Optimisation of Resource Allocation in Heterogeneous Wireless Networks Using Deep Reinforcement Learning

Questo articolo propone un'applicazione xApp basata sull'apprendimento per rinforzo profondo per il controller RIC Near-RT in reti O-RAN eterogenee, dimostrando che l'approccio PPO ottimizza congiuntamente potenza, slicing e scheduling, riducendo il consumo energetico fino al 70% e migliorando l'equità degli utenti rispetto alle strategie tradizionali.

Autori originali: Oluwaseyi Giwa, Jonathan Shock, Jaco Du Toit, Tobi Awodumila

Pubblicato 2026-04-08

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Oluwaseyi Giwa, Jonathan Shock, Jaco Du Toit, Tobi Awodumila

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

📡 Il "Direttore d'Orchestra" Intelligente per il Wi-Fi del Futuro

Immagina una grande città piena di torri radio (quelle che ti danno il segnale per il telefono). In passato, queste torri erano poche e grandi. Oggi, per gestire milioni di persone che guardano video, giocano e lavorano, abbiamo aggiunto tantissime torri piccole e potenti, tutte vicine tra loro. È come se avessimo riempito una stanza di persone che urlano tutte insieme per farsi sentire: il risultato è un caos di rumore (interferenza) dove nessuno riesce a capire nulla.

Questo caos si chiama Rete Eterogenea (HetNet). Il problema è: come facciamo a dare a tutti una buona connessione senza consumare troppa energia e senza che qualcuno rimanga senza segnale?

Gli autori di questo studio hanno creato un "Direttore d'Orchestra" intelligente basato sull'Intelligenza Artificiale (AI) per risolvere questo problema.

🎻 L'Analogia del Traffico e del Direttivo

Pensa alla rete come a un'autostrada affollata.

Le Torri (Base Stations) sono i caselli.
I Telefoni (Utenti) sono le auto.
Il Segnale è la strada.

Prima, i caselli funzionavano con regole rigide: "Chi arriva per primo passa" o "Chi ha la macchina più veloce passa". Questo crea ingorghi (interferenze) e spreca benzina (energia) perché tutti cercano di correre alla massima velocità, anche quando non serve.

Gli autori hanno inserito un Direttore d'Orchestra (chiamato Near-RT RIC con un'app chiamata xApp) che guarda l'intera autostrada in tempo reale. Questo direttore non è un umano, ma un'intelligenza artificiale che impara dai suoi errori, proprio come un bambino che impara a non toccare il forno caldo.

🧠 Come impara il Direttore? (L'Intelligenza Artificiale)

Il direttore usa due metodi di apprendimento (chiamati PPO e TD3), che sono come due diversi allenatori sportivi:

L'Allenatore "PPO" (Il Prudente): È come un allenatore che dice: "Facciamo piccoli passi. Se una strategia funziona bene, miglioriamola leggermente. Se è troppo rischiosa, non cambiamola di colpo". È molto stabile e non si spaventa facilmente.
L'Allenatore "TD3" (Il Coraggioso): È come un allenatore che dice: "Proviamo cose nuove velocemente, anche se a volte sbagliamo, per trovare la soluzione migliore in fretta". È veloce all'inizio, ma a volte può confondersi se la situazione diventa troppo complessa.

🎯 Cosa fa esattamente questo Direttore?

Invece di decidere ogni singola auto che passa (che sarebbe troppo lento), il Direttore decide le regole generali ogni pochi millisecondi:

Quanto "urlare" (Potenza): Se una torre sta urlando troppo forte e disturba la vicina, il Direttore le dice: "Abbassa la voce, ti basta parlare piano".
Quanto spazio dare (Banda): Decide quanta strada dare a chi ha bisogno di più spazio (es. chi guarda un film in 4K) e quanta a chi manda solo un messaggio.
Chi serve per primo (Scheduling): Assicura che anche chi è in un angolo della cella (dove il segnale è debole) non venga ignorato solo perché chi è vicino ha un segnale forte.

🏆 I Risultati: Chi ha vinto?

Gli autori hanno fatto una gara tra il loro "Direttore AI" e i vecchi metodi (le regole rigide). Ecco cosa è successo:

Risparmio Energetico (La Bolletta): Il metodo AI (specialmente PPO) ha ridotto il consumo di energia fino al 70%. È come se tutte le torri radio smettessero di urlare inutilmente e iniziassero a sussurrare solo quando necessario.
Equità (Nessuno escluso): Con i vecchi metodi, chi era vicino alla torre aveva tutto, chi era lontano non aveva nulla. Con l'AI, la "giustizia" è migliorata del 30%. Tutti ricevono una connessione dignitosa, anche chi è in fondo alla strada.
Velocità: Non hanno perso velocità! Anzi, gestendo meglio il traffico, la rete complessiva è diventata più efficiente.

💡 Perché è importante per il futuro (6G)?

Questo studio è fondamentale perché ci prepara per il 6G (la prossima generazione di internet).
Il futuro richiederà che le reti siano:

Verdi: Che consumino poca energia per salvare il pianeta.
Giuste: Che non lascino indietro nessuno.
Intelligenti: Che si adattino da sole senza bisogno di tecnici umani che corrono a sistemare i cavi.

In sintesi:
Gli autori hanno dimostrato che un'intelligenza artificiale, posizionata al centro della rete, può imparare a gestire il caos delle torri radio molto meglio dei vecchi metodi. È come passare da un traffico caotico guidato da semafori fissi a un sistema di navigazione in tempo reale che dice a ogni auto esattamente quando accelerare e quando rallentare, risparmiando benzina e evitando incidenti.

Il vincitore della gara è stato l'allenatore PPO: è stato il più equilibrato, risparmiando molta energia e assicurandosi che tutti i passeggeri arrivassero a destinazione felici.

Titolo: Ottimizzazione dell'Assegnazione delle Risorse nelle Reti Wireless Eterogenee (HetNet) tramite Deep Reinforcement Learning

1. Il Problema

L'evoluzione verso le reti 5G e l'imminente 6G ha portato alla proliferazione di Reti Eterogenee (HetNet), che sovrappongono celle macro tradizionali a tier densi di piccole celle (micro, pico, femto). Sebbene questo aumenti l'efficienza spettrale, introduce sfide critiche nella allocazione delle risorse (RA):

Interferenza: La densa distribuzione delle stazioni base (BS) genera interferenze severe sia intra-tier che cross-tier.
Complessità: La gestione congiunta di potenza di trasmissione, slicing della banda e schedulazione degli utenti è un problema di ottimizzazione non convesso e combinatorio.
Limiti degli approcci tradizionali: Le strategie classiche (basate su modelli statici o euristici) falliscono nel gestire la natura dinamica e non convessa delle reti moderne, spesso sacrificando l'equità degli utenti o l'efficienza energetica per massimizzare il throughput.
Vincoli Architetturali: È necessario un controllo centralizzato ma in tempo reale (near-real-time) che possa operare all'interno dell'architettura O-RAN (Open Radio Access Network) tramite il controller Near-RT RIC.

2. Metodologia

Gli autori propongono un'applicazione software (xApp) eseguita sul Near-RT RIC, basata su Deep Reinforcement Learning (DRL), per ottimizzare congiuntamente potenza, banda e schedulazione.

Formulazione del Problema (MDP):
- Il problema è modellato come un Processo Decisionale di Markov (MDP).
- Stato ( $S$ ): Include misurazioni globali della rete (KPM) come la potenza precedente, le stime di interferenza (CQI) e la geometria della topologia.
- Azione ( $A$ ): Un vettore continuo che controlla tre parametri:
  1. Potenza di trasmissione ( $p_b$ ).
  2. Frazione di banda assegnata ( $W_b$ ).
  3. Pesi di priorità per gli utenti, mappati in frazioni di risorse reali tramite una funzione softmax per garantire differenziabilità.
- Ricompensa ( $R$ ): Una funzione scalare che bilancia tre obiettivi: throughput totale, equità (Indice di Fairness di Jain) ed efficienza energetica (consumo di potenza).
Algoritmi DRL Confrontati:
- TD3 (Twin Delayed Deep Deterministic Policy Gradient): Un algoritmo off-policy che utilizza due reti critiche per ridurre il bias di sovrastima e aggiornamenti ritardati per la stabilità.
- PPO (Proximal Policy Optimisation): Un algoritmo on-policy che utilizza un obiettivo "clipped" per limitare l'entità degli aggiornamenti della politica, garantendo una convergenza stabile.
Ambiente di Simulazione:
- Utilizzo di coordinate reali delle stazioni base di un operatore telecom a Città del Capo (Sudafrica) per creare una topologia realistica con geometrie di interferenza precise (3 BS Macro, 10 BS Micro, 50 utenti).
- Modelli di canale che includono perdita di percorso, ombreggiamento log-normale e fading di Rayleigh.

3. Contributi Chiave

Integrazione O-RAN: Formulazione di un MDP compatibile con il Near-RT RIC, dove l'agente centrale utilizza feedback globali (E2 interface) per gestire risorse in modo coordinato, superando i limiti degli approcci distribuiti.
Topologia Realistica: A differenza di molti studi che usano modelli sintetici (es. Processo di Poisson), questo lavoro utilizza dati geospaziali reali, rendendo i risultati più affidabili per il deployment futuro.
Ottimizzazione Multi-Obiettivo: Dimostrazione che un singolo agente DRL può gestire simultaneamente la potenza, lo slicing della banda e la schedulazione, bilanciando throughput, equità ed energia.
Analisi Comparativa: Confronto rigoroso tra PPO e TD3 contro baseline euristici (G-OFDMA, Interference Pricing, Proportional Fair) in scenari diversi (urbani densi, hotspot, suburbani).

4. Risultati

Le simulazioni mostrano che l'approccio basato su DRL supera significativamente le tecniche tradizionali:

Efficienza Energetica: L'xApp basato su PPO riduce il consumo energetico della rete fino al 70% negli scenari urbani densi rispetto all'euristica "Greedy" (G-OFDMA), che tende a trasmettere alla massima potenza.
Equità (Fairness): PPO migliora l'Indice di Fairness di Jain di oltre il 300% rispetto a G-OFDMA e del 100% rispetto all'Interference Pricing. Questo garantisce che gli utenti al bordo della cella non vengano "affamati" a favore di quelli centrali.
Throughput: Sebbene G-OFDMA ottenga un throughput competitivo, lo fa a scapito dell'energia. PPO mantiene un throughput per utente superiore rispetto alle baseline, ottimizzando il SINR (Signal-to-Interference-plus-Noise Ratio) piuttosto che solo la potenza del segnale.
Convergenza e Stabilità:
- TD3 converge più rapidamente inizialmente ma mostra instabilità e degradazione delle prestazioni nelle fasi successive a causa della complessità dell'ambiente di interferenza.
- PPO dimostra una convergenza monotona e stabile, raggiungendo una ricompensa media finale significativamente più alta.
Complessità Computazionale: Sebbene l'inferenza DRL sia più lenta delle euristiche, i tempi di esecuzione rientrano nella finestra temporale del Near-RT RIC (10ms - 1s), rendendo il deployment fattibile.

5. Significato e Implicazioni

Questo lavoro valida la fattibilità di un'orchestrazione AI centralizzata e consapevole dell'energia nelle architetture di rete future (6G).

Sostenibilità: Dimostra che l'IA può ridurre drasticamente l'impronta di carbonio delle reti cellulari senza compromettere la qualità del servizio (QoS).
Paradigma O-RAN: Conferma che gli xApp basati su DRL possono gestire la complessità delle HetNet in modo più efficace rispetto ai controllori tradizionali, sfruttando la visibilità globale della rete.
Scelta dell'Algoritmo: Per scenari critici dove l'equità e l'efficienza energetica sono prioritari, PPO emerge come la scelta superiore rispetto a TD3, nonostante un costo computazionale leggermente maggiore, grazie alla sua robustezza e capacità di trovare politiche globalmente ottimali.

In sintesi, il paper fornisce un percorso concreto per l'implementazione di reti wireless intelligenti, adattive ed efficienti, ponendo le basi per l'automazione avanzata nelle reti di prossima generazione.