Secure Energy Efficient Wireless Transmission: A Finite v/s Infinite-Horizon RL Solution

Sintesi Tecnica: Trasmissione Wireless Sicura ed Efficiente dal Punto di Vista Energetico: Una Soluzione di RL a Orizzonte Finito vs. Infinito

Definizione del Problema
Questo articolo affronta l'ottimizzazione della sicurezza e dell'efficienza energetica delle reti wireless in sistemi dotati di capacità di Raccolta Energetica (Energy Harvesting - EH). Nello specifico, gli autori considerano uno scenario che coinvolge un nodo sorgente (S), un nodo destinazione full-duplex (D) e un intercettatore passivo (E). Sia S che D sono alimentati da batterie ricaricabili a capacità limitata e si affidano a processi di raccolta energetica stocastici. La destinazione utilizza la sua capacità full-duplex per trasmettere segnali di disturbo (jamming), degradando così la ricezione dell'intercettatore e contemporaneamente ricevendo i dati dalla sorgente.

La sfida principale consiste nell'allocare congiuntamente la potenza di trasmissione alla sorgente ($P_S$) e la potenza di jamming alla destinazione ($P_D$) su una durata temporale finita (un numero fisso di slot temporali, $K$). L'obiettivo è massimizzare l'Efficienza Energetica della Sicurezza Media (Average Secrecy Energy Efficiency - SEE), definita come il numero medio di bit sicuri trasmessi per unità di energia consumata. Il sistema è soggetto a vincoli di causalità (l'energia non può essere utilizzata prima che venga raccolta), limiti di capacità della batteria e alla natura markoviana degli stati del canale e degli arrivi di energia.

Metodologia
Il problema è formulato come un Processo Decisionale di Markov (MDP) a Orizzonte Finito, poiché la durata della trasmissione $K$ è nota a priori e la dinamica del sistema (guadagni del canale e raccolta energetica) evolve nel tempo. Gli autori propongono tre distinti approcci di soluzione per confrontare le strategie di modellazione a orizzonte finito e a orizzonte infinito:

1. Allocazione Congiunta della Potenza a Orizzonte Finito (FHJPA): Questa è la soluzione ottimale proposta per il problema a orizzonte finito. Utilizza un algoritmo di Induzione a Ritroso (Backward Induction - BI). L'algoritmo itera dal tempo finale ($K$) all'indietro fino al primo slot ($0$), calcolando la funzione di valore e la politica ottimale (una tabella di consultazione delle coppie di potenza) per ogni possibile stato. Lo stato include i guadagni del canale, i livelli della batteria e lo slot temporale corrente.
2. Algoritmo Greedy (GA): Un baseline sub-ottimale a bassa complessità. In ogni slot temporale, il GA seleziona l'allocazione di potenza che massimizza la ricompensa immediata (SEE istantanea) senza considerare le ricompense future o le transizioni di stato.
3. Allocazione Congiunta della Potenza a Orizzonte Infinito (IHJPA): Un algoritmo progettato per scenari in cui la durata della rete è sconosciuta o effettivamente infinita. Impiega l'Iterazione della Politica (Policy Iteration - PI) per trovare una politica stazionaria che massimizzi la ricompensa media a lungo termine, assumendo un fattore di sconto o una distribuzione geometrica dell'orizzonte temporale.

Contributi Chiave

• Formulazione Novellistica: Il lavoro presenta un nuovo framework di ottimizzazione congiunta della potenza di trasmissione e di jamming che incorpora simultaneamente le capacità di EH sia al nodo sorgente che al nodo destinazione, massimizzando la SEE. Gli autori osservano che i lavori precedenti si concentravano o sulla massimizzazione dei bit sicuri totali piuttosto che sulla SEE, o assumevano l'EH solo alla destinazione.
• Analisi Comparativa degli Orizzonti: Questo studio è il primo a investigare e confrontare sia i modelli di Reinforcement Learning (RL) a orizzonte finito che quelli a orizzonte infinito specificamente per la massimizzazione della SEE nei problemi di allocazione congiunta della potenza.
• Sviluppo di Algoritmi: Gli autori propongono l'algoritmo FHJPA per l'ottimizzazione a orizzonte finito e l'algoritmo IHJPA per l'ottimizzazione a orizzonte infinito, fornendo un'analisi comparativa dettagliata rispetto a un baseline greedy.
• Intuizione sulla Disponibilità Energetica: Lo studio fornisce approfondimenti su come la disponibilità di energia raccolta influenzi l'ottimalità delle strategie greedy rispetto agli approcci di programmazione dinamica ottimali.

Risultati
Le prestazioni degli algoritmi sono state valutate tramite simulazioni variando parametri quali i livelli di energia raccolta ($E_S, E_D$), le probabilità di raccolta ($p, q$) e il numero totale di slot temporali ($K$).

• Prestazioni di FHJPA: L'algoritmo FHJPA supera costantemente sia l'algoritmo GA che l'IHJPA in termini di SEE Media. Questa superiorità è attribuita alla modellazione accurata del problema come MDP a orizzonte finito, che tiene conto dei vincoli temporali specifici e della dinamica delle batterie.
• Comportamento di GA: Sebbene il GA sia generalmente inferiore al FHJPA, il suo divario di prestazioni si riduce significamente quando la batteria del nodo sorgente ha energia sufficiente (a causa di un'alta probabilità di raccolta o di grandi unità di energia raccolta). In questi scenari ad alta energia, la massimizzazione greedy della ricompensa immediata diventa quasi ottimale.
• Comportamento di IHJPA: L'algoritmo IHJPA fornisce scarse prestazioni quando l'orizzonte temporale $K$ è piccolo, poiché l'assunzione di orizzonte infinito non riflette accuratamente la terminazione finita della trasmissione. Tuttavia, all'aumentare di $K$, l'accuratezza del modello a orizzonte infinito migliora, riducendo il divario di prestazioni tra FHJPA e IHJPA.
• Trade-off: I risultati indicano un compromesso tra la SEE Media e il numero totale di bit sicuri trasmessi. L'algoritmo FHJPA, ottimizzando l'efficienza, può ridurre la potenza di trasmissione per conservare l'energia, risultando in meno bit sicuri totali rispetto al GA, che trasmette aggressivamente quando l'energia è abbondante.
• Complessità Computazionale: L'algoritmo FHJPA richiede una fase di pianificazione con complessità $O((K-1)N_S^2 N_A)$, mentre il GA non ha fase di pianificazione. Interessante è che l'analisi del tempo computazionale mostra che l'algoritmo FHJPA richiede il 16,6% di tempo in meno rispetto all'algoritmo IHJAP, suggerendo che per i problemi a orizzonte finito, l'approccio di induzione a ritroso è più efficiente dal punto di vista computazionale rispetto all'iterazione della politica per gli orizzonti infiniti in questo specifico contesto.

Significatività e Rivendicazioni
L'articolo sostiene che per le reti wireless con durate di trasmissione finite note e vincoli di raccolta energetica, la modellazione a orizzonte finito è superiore alla modellazione a orizzonte infinito per massimizzare l'Efficienza Energetica della Sicurezza. Gli autori sottolineano che, sebbene i modelli a orizzonte infinito siano comuni in letteratura, essi possono produrre risultati sub-ottimali quando la durata della rete è finita e nota.

Inoltre, il lavoro evidenzia un'intuizione pratica: quando l'energia è abbondante, le strategie greedy a bassa complessità possono approssimare le prestazioni ottimali, offrendo un'alternativa percorribile per i sistemi in cui le risorse computazionali sono limitate. Infine, gli autori concludono che l'ottimizzazione del sistema non dovrebbe concentrarsi esclusivamente sulla massimizzazione della SEE o dei bit sicuri totali in isolamento, ma dovrebbe cercare un equilibrio tra questi parametri in base ai requisiti specifici della rete.