Robust SAC-Enabled UAV-RIS Assisted Secure MISO Systems With Untrusted EH Receivers

Sintesi Tecnica: Sistemi MISO Sicuri Assistiti da UAV-RIS Abilitati da SAC con Ricevitori EH Non Fidati

Enunciato del Problema
Questo articolo affronta la sfida della trasmissione downlink sicura in sistemi Multi-Input Single-Output (MISO) multiutente abilitati da Superfici Intelligenti Ricostituibili (RIS) assistite da Veicoli Aerei Non Pilotati (UAV). Lo scenario specifico prevede un RIS montato su un UAV in hovering che assiste una Stazione Base (BS) con antenne multiple nel servire Ricevitori Legittimi per l'Informazione e il Raccolto Energetico (IHR), coesistendo con Ricevitori Non Fidati per il Raccolto Energetico (UEHR). Questi UEHR agiscono come potenziali intercettatori e raccolgono energia simultaneamente (SWIPT).

Il sistema opera sotto vincoli pratici significativi:

1. Informazione sullo Stato del Canale (CSI) Imperfetta: La BS possiede solo stime imperfette dei canali UEHR, modellate tramite un insieme di incertezza limitato in norma, rendendo necessaria una formulazione di sicurezza nel caso peggiore.
2. Sfasamenti RIS Discreti: L'hardware RIS pratico è limitato a sfasamenti a risoluzione finita piuttosto che a valori continui ideali.
3. Ottimizzazione Accoppiata: Il problema richiede l'ottimizzazione congiunta di tre variabili altamente accoppiate: la posizione orizzontale dell'UAV, l'allocazione della potenza di trasmissione alla BS (utilizzando la precodifica Zero-Forcing) e gli sfasamenti discreti del RIS.
4. Obiettivo: L'obiettivo è massimizzare l'Efficienza Energetica di Sicurezza nel Caso Peggiore (WCSEE), definita come il rapporto tra il tasso di segretezza minimo tra gli utenti legittimi e il consumo totale di energia, soggetto ai requisiti di raccolta energetica per gli UEHR.

Il problema di ottimizzazione risultante è altamente non convesso a causa della funzione obiettivo frazionaria, dell'accoppiamento tra relazioni geometriche del canale e variabili di controllo, della natura discreta delle fasi RIS e dei vincoli di robustezza imposti dall'incertezza della CSI.

Metodologia
Per affrontare l'intrattabilità del problema di massimizzazione del WCSEE, gli autori propongono due approcci complementari:

1. Benchmark Basato su Modello (BCD-SCA):

   • Viene sviluppato un framework di Discesa del Coordinato a Blocchi (BCD), che alterna l'ottimizzazione dell'allocazione della potenza, degli sfasamenti RIS e della posizione dell'UAV.
   • Viene impiegata l'Approssimazione Convessa Successiva (SCA) per gestire le non convessità. Per l'allocazione della potenza, la trasformazione di Charnes–Cooper converte il programma frazionario in una forma convessa. Per le fasi RIS e la posizione dell'UAV, vengono utilizzate espansioni di Taylor del primo ordine e disuguaglianze tra media aritmetica e media geometrica (AGM) per costruire vincoli surrogati convessi.
   • Questo approccio assume condizioni idealizzate (CSI perfetta e fasi continue) per servire come benchmark strutturato.

2. Soluzione Basata su Apprendimento (Soft Actor-Critic - SAC):

   • Per affrontare il problema generale del WCSEE con fasi discrete e incertezza della CSI senza risolvere iterativamente per ogni realizzazione del canale, viene proposto un framework personalizzato di Apprendimento per Rinforzo Profondo (DRL) basato su Soft Actor-Critic (SAC).
   • Formulazione MDP: Il problema è modellato come un Processo Decisionale di Markov in cui lo stato include le stime del canale e la posizione dell'UAV, l'azione controlla congiuntamente potenza, fasi e posizione, e la ricompensa è il WCSEE (zero se i vincoli di raccolta energetica sono violati).
   • Architettura: L'agente SAC utilizza una rete attore (politica Gaussiana) e doppie reti critico per mitigare il bias di sovrastima. La regolarizzazione dell'entropia è utilizzata per incoraggiare l'esplorazione e garantire una convergenza stabile.
   • Gestione dei Vincoli: Le fasi RIS discrete sono gestite mappando gli output continui del SAC sull'insieme discreto, e i vincoli rigidi (come la raccolta energetica) sono imposti attraverso il meccanismo di modellazione della ricompensa.

Contributi Chiave

• Formulazione del Sistema: L'articolo formula un nuovo sistema sicuro UAV-RIS assistito per SWIPT che considera congiuntamente la posizione dell'UAV, la configurazione RIS e l'allocazione della potenza in condizioni di CSI imperfetta e ricevitori non fidati, mirando a massimizzare il WCSEE.
• Framework di Ottimizzazione: Sviluppa un algoritmo basato su BCD-SCA che risolve efficientemente una formulazione trattabile dell'efficienza energetica di sicurezza (SEE), fornendo un benchmark a convergenza rapida.
• Innovazione DRL: Propone un approccio basato su SAC su misura per il problema generale del WCSEE. Questo metodo cattura efficacemente l'accoppiamento ad alta dimensionalità tra le variabili ed evita l'ottimizzazione iterativa ripetuta richiesta dai metodi convenzionali, spostando il carico computazionale sull'addestramento offline.
• Validazione delle Prestazioni: Lo studio fornisce un confronto completo rispetto all'ottimizzazione convenzionale (SCA) e ad altri benchmark DRL (DDPG, TD3).

Risultati
I risultati delle simulazioni dimostrano la superiorità dell'approccio SAC proposto:

• Guadagno nelle Prestazioni: Il metodo SAC raggiunge un miglioramento fino al 28% nell'SEE rispetto al benchmark basato su SCA e un miglioramento di circa il 16% rispetto al Deep Deterministic Policy Gradient (DDPG). Supera anche il Twin Delayed DDPG (TD3).
• Robustezza: L'approccio SAC mantiene prestazioni stabili e robustezza attraverso diverse configurazioni di sistema, inclusi diversi numeri di elementi RIS e livelli di potenza di trasmissione. Dimostra una forte resilienza all'incertezza della CSI (raggi di incertezza $\nu$ variabili).
• Convergenza: SAC mostra una convergenza più rapida e ricompense medie più elevate rispetto a DDPG e TD3, anche con dimensioni di mini-batch piccole.
• Scalabilità: A differenza di SCA, che diventa computazionalmente intensivo con variabili accoppiate ad alta dimensionalità, il metodo SAC offre un dispiegamento online a bassa complessità dopo l'addestramento offline.

Significato
L'articolo afferma che il suo significato primario risiede nel colmare il divario tra ottimizzazione teorica e dispiegamento pratico nei sistemi sicuri UAV-RIS. Mentre i lavori esistenti spesso trattano SWIPT, sicurezza o dispiegamento UAV in isolamento o assumono modelli idealizzati, questo framework unifica questi elementi sotto vincoli realistici (CSI imperfetta, fasi discrete). Dimostrando che un approccio DRL senza modello (SAC) può superare un'ottimizzazione rigorosa basata su modelli (SCA) in ambienti complessi, accoppiati e incerti, l'articolo suggerisce un cambiamento di paradigma verso il controllo basato sull'apprendimento per le reti wireless sicure di prossima generazione. I risultati indicano che SAC è particolarmente adatto per gestire la non convessità e l'alta dimensionalità intrinseche nell'allocazione congiunta delle risorse UAV-RIS, offrendo una soluzione scalabile per le future reti oltre il 5G.