Energy-Efficient IRS-Assisted Green Cellular Networks With Ground Base Station Sleep Mode

Sintesi Tecnica: Reti Cellulari Green Assistite da IRS con Modalità Sleep per le Stazioni Base a Terra ad Alta Efficienza Energetica

Formulazione del Problema
Questa ricerca affronta la sfida di massimizzare l'efficienza energetica (EE) nelle reti wireless oltre la quinta generazione (B5G) e la sesta generazione (6G). Lo scenario specifico riguarda una rete cellulare downlink che integra tre componenti chiave: Stazioni Base a Terra (GBS), una singola Stazione Base Aerea (ABS) e Superfici Riflettenti Intelligenti (IRS). Il problema centrale deriva dalla necessità di bilanciare il risparmio energetico con i requisiti di Qualità del Servizio (QoS). Sebbene le modalità sleep delle GBS riducano il consumo di potenza statica, esse possono creare lacune di copertura e degradare le prestazioni, in particolare per gli utenti ai bordi della cella. Al contrario, le ABS offrono una copertura flessibile ma introducono costi energetici della piattaforma (ad esempio, il volo stazionario o hovering), e le IRS migliorano la propagazione del segnale ma richiedono l'ottimizzazione congiunta degli sfasamenti.

Gli autori formulano questo scenario come un problema di ottimizzazione non convesso a variabili intere miste. L'obiettivo è massimizzare il rapporto tra il throughput totale della rete e il consumo energetico totale. Le variabili di ottimizzazione includono:

• Variabili discrete: Stati di attivazione delle GBS (sleep/attiva) e associazione utente (quale trasmettitore serve quale utente su quale sottocanale).
• Variabili continue: Allocazione della potenza di trasmissione per le GBS e l'ABS, il posizionamento orizzontale dell'ABS e gli sfasamenti degli elementi IRS.

Il problema è vincolato da budget di potenza, requisiti di QoS (velocità di dati minima), vincoli di modulo unitario per gli elementi IRS e la modellazione esplicita dell'interferenza co-canale tra trasmettitori terrestri e aerei attivi. La natura non convessa del problema, guidata da obiettivi frazionari, variabili binarie e termini di interferenza accoppiati, rende i metodi di ottimizzazione convenzionali computazionalmente intrattabili.

Metodologia
Per risolvere questo complesso problema di ottimizzazione, gli autori propongono un framework di Apprendimento per Rinforzo Profondo Ibrido (Hybrid Deep Reinforcement Learning - DRL). Questo approccio decompone lo spazio decisionale in componenti discrete e continue, sfruttando i punti di forza di due algoritmi distinti:

1. Double Deep Q-Learning (DDQL): Utilizzato per gestire i compiti decisionali discreti. Nello specifico, l'agente DDQL determina gli indicatori della modalità sleep delle GBS ($\alpha_m$) e le variabili di associazione utente ($\beta_{k,m,l}, \beta_{k,a,l}$). Questo modulo apprende la topologia di rete ottimale e i pattern di attivazione per minimizzare l'uso energetico non necessario pur mantenendo la copertura.
2. Deep Deterministic Policy Gradient (DDPG): Utilizzato per ottimizzare le variabili di controllo continuo. L'agente DDPG regola la posizione orizzontale dell'ABS, l'allocazione della potenza di trasmissione sia per i nodi terrestri che per quelli aerei, e le matrici di sfasamento dell'IRS. Questo modulo si adatta alle dinamiche condizioni del canale e ai pattern di interferenza.

Il sistema è modellato come un Processo Decisionale di Markov (MDP). Lo spazio degli stati include l'informazione sullo stato del canale (CSI), l'attività corrente delle GBS, le associazioni utente, i livelli di potenza, la posizione dell'ABS e le configurazioni IRS. La funzione di ricompensa è progettata per massimizzare l'efficienza energetica imponendo al contempo penalità per le violazioni della QoS (utenti che non raggiungono la velocità minima richiesta) e per le violazioni dei vincoli (ad esempio, limiti di potenza).

Contributi Chiave
L'articolo delinea i seguenti contributi specifici:

• Sviluppo del Framework: La progettazione di un framework di rete ad alta efficienza energetica che integra congiuntamente l'assistenza IRS, la mobilità ABS e le modalità sleep delle GBS.
• Modellazione Consapevole dell'Interferenza: La creazione di un modello di sistema che tiene esplicitamente conto dell'interferenza co-canale tra trasmissioni terrestri e aeree all'interno di uno schema di allocazione delle risorse ortogonali.
• Formulazione dell'Ottimizzazione: La formulazione di un problema non convesso a variabili intere miste che ottimizza congiuntamente indicatori di sleep, associazione utente, potenza, posizionamento e sfasamenti.
• Algoritmo Ibrido: La proposta di una soluzione DRL ibrida che combina DDQL e DDPG per navigare efficientemente lo spazio decisionale ad alta dimensionalità e variabili miste.
• Validazione delle Prestazioni: La dimostrazione che l'approccio proposto migliora l'efficienza energetica soddisfacendo al contempo i vincoli di QoS, superando i benchmark convenzionali.

Risultati Numerici
Il framework proposto è stato valutato attraverso simulazioni numeriche che coinvolgono 3 GBS, 6 utenti e 2 IRS in un'area con raggio di 500 m. I risultati sono stati confrontati con tre schemi di riferimento: un sistema senza IRS, un sistema senza ABS e un sistema in cui tutte le GBS rimangono attive (nessun modo sleep).

• Convergenza: Il framework DRL ibrido ha dimostrato una convergenza stabile, con l'efficienza energetica che è aumentata da circa $3 \times 10^6$ bit/J a un intervallo compreso tra $5,5$e$6,5 \times 10^6$ bit/J dopo l'addestramento.
• Compromessi (Trade-offs): Il sistema ha raggiunto con successo un duplice miglioramento: l'aumento della velocità di dati media dell'utente e la contemporanea riduzione del consumo energetico totale.
• Efficacia della Modalità Sleep: La politica appresa ha ridotto progressivamente il numero di GBS attive durante gli episodi di addestramento. I risultati indicano che i collegamenti assistiti da IRS e il supporto dell'ABS consentono alla rete di mantenere la QoS anche con meno stazioni base a terra attive.
• Prestazioni Comparative: Il metodo proposto ha ottenuto l'efficienza energetica più elevata tra tutti gli schemi confrontati. Il divario di prestazioni rispetto alle basi "No-IRS" e "No-ABS" ha evidenziato i benefici specifici del potenziamento della riflessione del segnale e della flessibilità aerea, rispettivamente.

Significatività e Rivendicazioni
L'articolo sostiene che l'integrazione della flessibilità delle ABS, della propagazione assistita da IRS e del controllo intelligente della modalità sleep permetta un'operazione di rete altamente efficiente e adattiva. Gli autori affermano che il loro approccio DRL ibrido fornisce una soluzione promettente per affrontare le sfide dell'efficienza energetica nelle future reti wireless, bilanciando efficacemente copertura, gestione dell'interferenza e consumo energetico. Lo studio conclude che il framework proposto migliora significativamente l'efficienza energetica rispetto agli schemi privi di assistenza IRS, supporto ABS o ottimizzazione della modalità sleep, senza compromettere le velocità di dati degli utenti.

Gli autori mantengono un ambito modesto riguardo al lavoro futuro, notando che le direzioni di ricerca future includono l'estensione del framework a scenari con molteplici ABS, strategie di deployment dinamico delle IRS e modelli di mobilità e traffico più realistici.