Secure Energy Efficient Wireless Transmission: A Finite v/s Infinite-Horizon RL Solution

Technische Samenvatting: Veilige Energie-efficiënte Draadloze Transmissie: Een Eindige vs. Oneindige Horizon RL-oplossing

Probleemstelling
Dit artikel behandelt de optimalisatie van de beveiliging en energie-efficiëntie van draadloze netwerken in systemen die zijn uitgerust met Energy Harvesting (EH) capaciteiten. Specifiek beschouwen de auteurs een scenario met een bronknooppunt (S), een full-duplex bestemmingsknooppunt (D) en een passieve afluisteraar (E). Zowel S als D worden gevoed door oplaadbare batterijen met beperkte capaciteit en vertrouwen op stochastische energie-oogstprocessen. Het bestemmingsknooppunt maakt gebruik van zijn full-duplex capaciteit om verstoringssignalen (jamming) te verzenden, waardoor de ontvangst van de afluisteraar wordt verslechterd terwijl tegelijkertijd gegevens van de bron worden ontvangen.

De kernuitdaging is het gezamenlijk toewijzen van het transmissievermogen bij de bron ($P_S$) en het verstoringsvermogen bij de bestemming ($P_D$) over een eindige tijdsduur (een vast aantal tijdslots, $K$). Het doel is om de Gemiddelde Geheimhoudings-Energie-efficiëntie (Average Secrecy Energy Efficiency - SEE) te maximaliseren, gedefinieerd als het gemiddelde aantal beveiligde bits dat wordt verzonden per eenheid verbruikte energie. Het systeem is onderworpen aan causaliteitsbeperkingen (energie kan niet worden gebruikt voordat deze is geoogst), batterijcapaciteitslimieten en het Markoviaanse karakter van kanaaltoestanden en energie-instroom.

Methodologie
Het probleem wordt geformuleerd als een Finite-Horizon Markov Decision Process (MDP) omdat de transmissieduur $K$ vooraf bekend is en de systeemdynamiek (kanaalversterkingen en energie-oogst) in de loop van de tijd evolueert. De auteurs stellen drie verschillende oplossingsbenaderingen voor om de vergelijking tussen eindige horizon en oneindige horizon modelleringsstrategieën te onderzoeken:

1. Finite-Horizon Joint Power Allocation (FHJPA): Dit is de voorgestelde optimale oplossing voor het eindige horizon probleem. Het maakt gebruik van een Backward Induction (BI) algoritme. Het algoritme iterereert van de laatste tijdslot ($K$) terug naar de eerste ($0$), waarbij de waardefunctie en het optimale beleid (een look-up tabel van vermogensparen) voor elke mogelijke staat wordt berekend. De staat omvat kanaalversterkingen, batterijniveaus en de huidige tijdslot.
2. Greedy Algorithm (GA): Een laag-complexe suboptimale baseline. In elk tijdslot selecteert de GA de vermogenstoewijzing die de onmiddellijke beloning (instantane SEE) maximaliseert, zonder rekening te houden met toekomstige beloningen of toestandsveranderingen.
3. Infinite-Horizon Joint Power Allocation (IHJPA): Een algoritme ontworpen voor scenario's waarin de netwerklevensduur onbekend of effectief oneindig is. Het maakt gebruik van Policy Iteration (PI) om een stationair beleid te vinden dat de lange-termijn gemiddelde beloning maximaliseert, uitgaande van een kortingsfactor of een geometrische verdeling van de tijdshorizon.

Belangrijkste Bijdragen

• Nieuwe Formulering: Het artikel presenteert een nieuw gezamenlijk optimalisatiekader voor transmissie- en verstoringsvermogen dat tegelijkertijd de SEE maximaliseert en rekening houdt met de EH-capaciteiten van zowel het bronknooppunt als het bestemmingsknooppunt. De auteurs merken op dat eerdere werken ofwel focusten op het maximaliseren van het totaal aantal beveiligde bits in plaats van de SEE, ofwel ervan uitgingen dat EH alleen bij het bestemmingsknooppunt plaatsvond.
• Vergelijkende Analyse van Horizons: Dit werk is de eerste die zowel finite-horizon als infinite-horizon Reinforcement Learning (RL) modellen onderzoekt en vergelijkt, specifiek voor het maximaliseren van SEE in gezamenlijke vermogenstoewijzingsproblemen.
• Algoritmeontwikkeling: De auteurs stellen het FHJPA-algoritme voor voor eindige horizon optimalisatie en het IHJPA-algoritme voor oneindige horizon optimalisatie, waarbij een gedetailleerde vergelijkende analyse tegenover een greedy baseline wordt gegeven.
• Inzicht in Energiebeschikbaarheid: De studie biedt inzichten in hoe de beschikbaarheid van geoogste energie de optimaliteit van greedy strategieën versus optimale dynamische programmeerbenaderingen beïnvloedt.

Resultaten
De prestaties van de algoritmen werden geëvalueerd via simulaties waarbij parameters zoals de geoogste energieniveaus ($E_S, E_D$), oogstkansen ($p, q$) en het totaal aantal tijdslots ($K$) werden gevarieerd.

• Prestaties van FHJPA: Het FHJPA-algoritme presteert consequent beter dan zowel het GA als het IHJPA algoritme in termen van Gemiddelde SEE. Deze superioriteit wordt toegeschreven aan de nauwkeurige modellering van het probleem als een finite-horizon MDP, die rekening houdt met de specifieke tijdsbeperkingen en batterijdynamiek.
• Gedrag van GA: Hoewel de GA over het algemeen onderpresteert ten opzichte van FHJPA, wordt het prestatieverschil aanzienlijk kleiner wanneer de batterij van het bronknooppunt voldoende energie heeft (door een hoge oogstkans of grote geoogste energie-eenheden). In deze scenario's met veel energie wordt de greedy maximalisatie van de onmiddellijke beloning bijna optimaal.
• Gedrag van IHJPA: Het IHJPA-algoritme presteert slecht wanneer de tijdshorizon $K$ klein is, aangezien de oneindige horizon aanname de eindige terminatie van de transmissie niet accuraat weerspiegelt. Naarmate $K$ echter toeneemt, verbetert de nauwkeurigheid van het oneindige horizon model, waardoor het prestatieverschil tussen FHJFA en IHJPA afneemt.
• Trade-offs: De resultaten wijzen op een trade-off tussen Gemiddelde SEE en het totaal aantal verzonden beveiligde bits. Het FHJPA-algoritme kan, door te optimaliseren voor efficiëntie, het transmissievermogen verlagen om energie te besparen, wat resulteert in minder totale beveiligde bits vergeleken met de GA, die agressief zendt wanneer energie overvloedig is.
• Computationele Complexiteit: Het FHJPA-algoritme vereist een planningsfase met een complexiteit van $O((K-1)N_S^2 N_A)$, terwijl de GA geen planningsfase heeft. Interessant genoeg laat de analyse van de rekentijd zien dat het FHJPA-algoritme 16,6% minder tijd nodig heeft dan het IHJPA-algoritme, wat suggereert dat voor finite-horizon problemen de backward induction benadering computationeel efficiënter is dan policy iteration voor oneindige horizonten in deze specifieke context.

Betekenis en Claims
Het artikel claimt dat voor draadloze netwerken met bekende eindige transmissieduur en energie-oogstbeperkingen, finite-horizon modellering superieur is aan oneindige horizon modellering voor het maximaliseren van de Geheimhoudings-Energie-efficiëntie. De auteurs benadrukken dat hoewel oneindige horizon modellen gebruikelijk zijn in de literatuur, ze suboptimale resultaten kunnen opleveren wanneer de levensduur van het netwerk eindig en bekend is.

Verder benadrukt het artikel een praktisch inzicht: wanneer energie overvloedig is, kunnen laag-complexe greedy strategieën een optimale prestatie benaderen, wat een levensvatbaar alternatief biedt voor systemen waar computationele middelen beperkt zijn. Ten slotte concluderen de auteurs dat systeemoptimalisatie zich niet uitsluitend moet richten op het maximaliseren van de SEE of het totaal aantal beveiligde bits in isolatie, maar dat er gezocht moet worden naar een balans tussen deze metrieken op basis van specifieke netwerkvereisten.