Robust SAC-Enabled UAV-RIS Assisted Secure MISO Systems With Untrusted EH Receivers

Technische Samenvatting: Robuuste SAC-gemachtigde UAV-RIS ondersteunde beveiligde MISO-systemen met onbetrouwbare EH-ontvangers

Probleemstelling
Dit artikel behandelt de uitdaging van beveiligde downlink-transmissie in door een onbemand luchtvaartuig (UAV) ondersteunde, door een reconfigureerbare intelligente oppervlakte (RIS) mogelijk gemaakte multi-gebruiker Multiple-Input Single-Output (MISO)-systemen. Het specifieke scenario omvat een zwevende, op een UAV gemonteerde RIS die een meervoudig-antenne Basisstation (BS) assisteert bij het bedienen van legitieme Informatie- en Energie-ontvangende Ontvangers (IHRs), terwijl het samenbestaat met Onbetrouwbare Energie-ontvangende Ontvangers (UEHRs). Deze UEHRs fungeren als potentiële afluisteraars en oogsten gelijktijdig energie (SWIPT).

Het systeem opereert onder aanzienlijke praktische beperkingen:

1. Onvolmaakte Kanaalstatusinformatie (CSI): Het BS beschikt slechts over onvolmaakte schattingen van de UEHR-kanalen, gemodelleerd via een norm-gebonden onzekerheidsset, wat een worst-case beveiligingsformulering vereist.
2. Discrete RIS-fasenshifts: Praktische RIS-hardware is beperkt tot fasenshifts met een eindige resolutie in plaats van ideale continue waarden.
3. Gekoppelde optimalisatie: Het probleem vereist de gezamenlijke optimalisatie van drie sterk gekoppelde variabelen: de horizontale locatie van de UAV, de toewijzing van de zendvermogen bij het BS (met behulp van Zero-Forcing precoding), en de discrete RIS-fasenshifts.
4. Doel: Het doel is het maximaliseren van de Worst-Case Secrecy Energy Efficiency (WCSEE), gedefinieerd als de verhouding tussen de minimale geheimhoudingsrate onder legitieme gebruikers en het totale stroomverbruik, onderworpen aan energie-oogstvereisten voor de UEHRs.

Het resulterende optimalisatieprobleem is sterk niet-convex vanwege de fractionele doelstelling, de koppeling tussen geometrische kanaalrelaties en besturingsvariabelen, het discrete karakter van RIS-fasen, en de robuustheidsbeperkingen die worden opgelegd door CSI-onzekerheid.

Methodologie
Om de onbehandelbaarheid van het WCSEE-maximalisatieprobleem het hoofd te bieden, stellen de auteurs twee complementaire benaderingen voor:

1. Modelgebaseerde Benchmark (BCD-SCA):

   • Er wordt een Block Coordinate Descent (BCD)-raamwerk ontwikkeld dat alternerend optimaliseert voor vermogenstoewijzing, RIS-fasenshifts en UAV-locatie.
   • Successive Convex Approximation (SCA) wordt ingezet om niet-convexiteiten te behandelen. Voor vermogenstoewijzing converteert de Charnes–Cooper-transformatie het fractionele programma naar een convexe vorm. Voor RIS-fasen en UAV-locatie worden eerste-orde Taylor-ontwikkelingen en ongelijkheden van het rekenkundig-geometrisch gemiddelde (AGM) gebruikt om convexe surrogate-beperkingen te construeren.
   • Deze benadering neemt geïdealiseerde omstandigheden aan (perfecte CSI en continue fasen) om te dienen als een gestructureerde benchmark.

2. Op leren gebaseerde oplossing (Soft Actor-Critic - SAC):

   • Om het algemene WCSEE-probleem met discrete fasen en CSI-onzekerheid aan te pakken zonder iteratief oplossen voor elke kanaalrealisatie, wordt een aangepast Deep Reinforcement Learning (DRL)-raamwerk op basis van Soft Actor-Critic (SAC) voorgesteld.
   • MDP-formulering: Het probleem wordt gemodelleerd als een Markov Decision Process waarbij de toestand kanaalschattingen en UAV-positie omvat, de actie gezamenlijk vermogen, fasen en locatie bestuurt, en de beloning de WCSEE is (nul als energie-oogstbeperkingen worden geschonden).
   • Architectuur: De SAC-agent maakt gebruik van een actor-netwerk (Gaussische policy) en twin critic-netwerken om over-schatting bias te verminderen. Entropieregulatie wordt gebruikt om exploratie te stimuleren en stabiele convergentie te waarborgen.
   • Beperkingen hanteren: Discrete RIS-fasen worden beheerd door continue SAC-uitvoer te mappen naar de discrete set, en harde beperkingen (zoals energie-oogst) worden afgedwongen via het beloningsvormingsmechanisme.

Belangrijkste bijdragen

• Systeemformulering: Het artikel formuleert een nieuw beveiligd UAV-RIS ondersteund SWIPT-systeem dat gezamenlijk UAV-locatie, RIS-configuratie en vermogenstoewijzing in overweging neemt onder onvolmaakte CSI en onbetrouwbare ontvangers, met als doel WCSEE te maximaliseren.
• Optimalisatiekader: Het ontwikkelt een op BCD-SCA gebaseerd algoritme dat een hanteerbare geheimhoudings-energie-efficiëntie (SEE)-formulering efficiënt oplost, waardoor een snel convergerende benchmark wordt geboden.
• DRL-innovatie: Het stelt een op maat gemaakte SAC-gebaseerde aanpak voor het algemene WCSEE-probleem voor. Deze methode vangt effectief de hoog-dimensionale koppeling tussen variabelen en vermijdt de herhaalde iteratieve optimalisatie die door conventionele methoden wordt vereist, waardoor de rekenlast wordt verschoven naar offline training.
• Prestatievalidatie: De studie biedt een uitgebreide vergelijking met conventionele optimalisatie (SCA) en andere DRL-benchmarks (DDPG, TD3).

Resultaten
Simulatie-resultaten tonen de superioriteit van de voorgestelde SAC-benadering aan:

• Prestatiewinst: De SAC-methode bereikt tot een 28% verbetering in SEE in vergelijking met de op SCA gebaseerde benchmark en ongeveer 16% verbetering ten opzichte van Deep Deterministic Policy Gradient (DDPG). Het presteert ook beter dan Twin Delayed DDPG (TD3).
• Robuustheid: De SAC-benadering behoudt stabiele prestaties en robuustheid over variërende systeemconfiguraties, waaronder verschillende aantallen RIS-elementen en zendvermogensniveaus. Het toont sterke veerkracht tegenover CSI-onzekerheid (variërende onzekerheidsstralen $\nu$).
• Convergentie: SAC vertoont snellere convergentie en hogere gemiddelde beloningen in vergelijking met DDPG en TD3, zelfs met kleine mini-batch-groottes.
• Schaalbaarheid: In tegenstelling tot SCA, dat computationeel intensief wordt met hoog-dimensionale gekoppelde variabelen, biedt de SAC-methode lage-complexiteit online implementatie na offline training.

Betekenis
Het artikel beweert dat de primaire betekenis ligt in het overbruggen van de kloof tussen theoretische optimalisatie en praktische implementatie in beveiligde UAV-RIS-systemen. Waar bestaande werken vaak SWIPT, beveiliging of UAV-implementatie geïsoleerd behandelen of geïdealiseerde modellen aannemen, verenigt dit kader deze elementen onder realistische beperkingen (onvolmaakte CSI, discrete fasen). Door aan te tonen dat een model-vrije DRL-benadering (SAC) strikte modelgebaseerde optimalisatie (SCA) kan overtreffen in complexe, gekoppelde en onzekere omgevingen, suggereert het artikel een paradigma-shift naar op leren gebaseerde besturing voor beveiligde draadloze netwerken van de volgende generatie. De resultaten geven aan dat SAC bijzonder goed geschikt is voor het hanteren van de niet-convexiteit en hoge dimensionaliteit die inherent zijn aan gezamenlijke UAV-RIS-resource-toewijzing, en biedt een schaalbare oplossing voor toekomstige netwerken voorbij 5G.