⚡ electrical engineering

Secure Energy Efficient Wireless Transmission: A Finite v/s Infinite-Horizon RL Solution

Dieses Paper schlägt einen Reinforcement-Learning-Algorithmus mit endlichem Horizont für die gemeinsame Leistungsallokation von Sende- und Jamming-Leistung in Energy-Harvesting-Full-Duplex-Drahtlosnetzwerken vor und zeigt auf, dass dieser sowohl Greedy- als auch Infinite-Horizon-Ansätze übertrifft, um die Geheimnis-Energieeffizienz zu maximieren und gleichzeitig die Rechenzeit zu reduzieren.

Ursprüngliche Autoren: Shalini Tripathi, Ankur Bansal, Holger Claussen, Lester Ho, Chinmoy Kundu

Veröffentlicht 2026-01-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shalini Tripathi, Ankur Bansal, Holger Claussen, Lester Ho, Chinmoy Kundu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie führen ein Staffellaufrennen durch, bei dem zwei Läufer, Quelle und Ziel, versuchen, eine geheime Nachricht aneinander zu übermitteln. Es gibt jedoch einen Haken: Ein listiger Abhörer lauert in der Nähe und versucht, die Nachricht zu stehlen. Um den Abhörer zu stoppen, nutzt der Ziel-Läufer einen speziellen Trick: Er kann einen lauten, verwirrenden Lärm (Jamming) in Richtung des Abhörers ausstoßen, während er gleichzeitig auf die Quelle hört.

Doch hier liegt die eigentliche Herausforderung: Beide Läufer werden durch Solarpanels (Energy Harvesting) angetrieben. Sie besitzen keine Batterie, die ewig hält; sie verfügen nur über die Energie, die sie in diesem exakten Moment aus der Sonne (oder dem Wind) gewinnen, gespeichert in einem kleinen, begrenzten Akku. Wenn sie jetzt zu viel Energie verbrauchen, könnten sie später ohne Kraft dastehen. Wenn sie zu wenig verbrauchen, könnte die Nachricht gestohlen werden.

Das Ziel dieser Arbeit ist es, die perfekte Strategie zu finden, wie viel Leistung die Quelle zum Sprechen und wie viel Leistung das Ziel zum Stören (Jamming) verwenden sollte, damit sie für jeden Tropfen eingesetzter Energie die meisten „geheimen Bits“ übertragen. Dies wird als Secrecy Energy Efficiency (SEE) bezeichnet.

Die Autoren vergleichen drei verschiedene Wege, um diese Entscheidungen zu treffen:

1. Der „Zeitreisende Planer“ (FHJPA)

Dies ist die Hauptlösung der Arbeit. Stellen Sie sich vor, Sie wissen genau, wie viele Minuten das Rennen dauern wird (Finite Horizon). Sie können den gesamten Zeitplan des Rennens von Anfang bis Ende einsehen.

Wie es funktioniert: Dieser Algorithmus arbeitet sich vom letzten bis zum ersten Moment des Rennens rückwärts. Er fragt: „Wenn ich jetzt viel Energie verbrauche, werde ich für die entscheidenden letzten Minuten noch genug übrig haben?“ Er berechnet das perfekte Gleichgewicht für jeden einzelnen Moment, da er genau weiß, wann das Rennen endet.
Das Ergebnis: Dies ist der intelligenteste Ansatz. Er gewinnt, weil er die „Deadline“ versteht. Er verschwendet nicht zu viel Energie zu Beginn, wenn er sie für das Ende aufsparen muss, und er hält sich auch nicht zurück, wenn das Ende noch weit entfernt ist.

2. Der „Gierige Sprinter“ (GA)

Dies ist ein einfacher Ansatz mit geringer Komplexität. Stellen Sie sich einen Läufer vor, der sich nur für den nächsten Schritt interessiert.

Wie es funktioniert: In jedem Moment fragt er sich: „Was liefert mir jetzt gerade das beste Ergebnis?“ Er macht sich keine Sorgen um das Morgen oder den nächsten Moment. Er greift einfach nach der größten unmittelbaren Belohnung.
Das Ergebnis: Normalerweise ist dies eine schlechte Idee, da man vor dem Ende des Rennens ohne Energie dastehen könnte. Dennoch fand die Arbeit eine überraschende Wendung: Wenn die Läufer über reichlich Solarenergie verfügen (ihre Akkus sind voll), arbeitet diese einfache „gierige“ Strategie fast so gut wie die komplexe Planer-Strategie. Wenn Energie im Überfluss vorhanden ist, muss man sich keine Sorgen machen, Energie für später aufzusparen, sodass die einfache Strategie nahezu perfekt ist.

3. Der „Ewige Läufer“ (IHJPA)

Dieser Ansatz geht davon aus, dass das Rennen niemals endet (Infinite Horizon).

Wie es funktioniert: Er plant auf einen stationären Zustand hin, unter der Annahme, dass das Rennen auf unbestimmte Zeit weitergeht. Er erstellt eine Strategie, die über einen unendlichen Zeitraum gesehen im Durchschnitt gut funktioniert.
Das Ergebnis: Dies ist eine schlechte Wahl für ein Rennen mit einer bekannten, kurzen Frist. Es ist, als würde man versuchen, ein Budget für ein ganzes Leben zu planen, wenn man nur eine Woche zu leben hat. Die Arbeit zeigt, dass diese Methode bei kurzen Rennen schlecht abschneidet, da sie das „Ende der Linie“ nicht berücksichtigt. Wenn das Rennen jedoch länger wird (mehr Zeitschlitze), verbessert sich diese Methode und nähert sich dem „Zeitreisenden Planer“ an.

Die wichtigsten Erkenntnisse

Das Wissen um die Deadline ist entscheidend: Der „Zeitreisende Planer“ (Finite Horizon) ist der beste, weil er genau weiß, wann die Übertragung stoppt. Er optimiert den Energieverbrauch spezifisch für diese Dauer.
Überfluss verändert das Spiel: Wenn die Energieausbeute hoch ist (viel Sonnenschein), braucht man kein komplexes Gehirn. Eine einfache „gierige“ Strategie, die nur den aktuellen Moment maximiert, funktioniert fast so gut wie die komplexe.
Der Kompromiss: Die Arbeit hebt ein schwieriges Gleichgewicht hervor. Der „Zeitreisende Planer“ ist großartig in Bezug auf die Effizienz (die meisten Bits pro Energieeinheit), aber manchmal sendet der „Gierige Sprinter“ insgesamt tatsächlich mehr geheime Bits, weil er keine Angst hat, mehr Leistung zu nutzen.
Geschwindigkeit vs. Klugheit: Der komplexe „Zeitreisende Planer“ ist tatsächlich schneller zu berechnen (16,6 % schneller) als die „Ewige Läufer“-Methode, was ihn zu einer praktischen Wahl für reale Geräte macht.

Kurz gesagt: Die Arbeit lehrt uns, dass man für kurze, energiebegrenzte drahtlose Übertragungen eine Strategie benötigt, die die Deadline kennt. Aber wenn man über reichlich Energie verfügt, kann man sich mit einer viel einfacheren, „im Moment lebenden“ Strategie begnügen.

Technische Zusammenfassung: Sicherer und energieeffizienter drahtloser Datentransfer: Eine Lösung mittels Finite- vs. Infinite-Horizon-RL

Problemstellung
Diese Arbeit adressiert die Optimierung der Sicherheit und Energieeffizienz drahtloser Netzwerke in Systemen, die mit Energy Harvesting (EH)-Kapazitäten ausgestattet sind. Konkret betrachten die Autoren ein Szenario mit einem Quellknoten (S), einem Full-Duplex-Zielknoten (D) und einem passiven Abhörer (E). Sowohl S als auch D werden durch wiederaufladbare Batterien mit begrenzter Kapazität gespeist und verlassen sich auf stochastische Energieernteprozesse. Der Zielknoten nutzt seine Full-Duplex-Fähigkeit, um Störsignale (Jamming) zu übertragen, wodurch die Empfangsqualität des Abhörers verschlechtert wird, während er gleichzeitig Daten vom Quellknoten empfängt.

Die zentrale Herausforderung besteht darin, die Sendeleistung am Quellknoten ( $P_S$ ) und die Jamming-Leistung am Zielknoten ( $P_D$ ) über eine endliche Zeitdauer (eine feste Anzahl von Zeitschlitzen, $K$ ) gemeinsam zuzuweisen. Das Ziel ist die Maximierung der durchschnittlichen Geheimnis-Energieeffizienz (Average Secrecy Energy Efficiency, SEE), definiert als die durchschnittliche Anzahl sicherer Bits pro verbrauchter Einheit Energie. Das System unterliegt Kausalitätsbeschränkungen (Energie kann nicht verwendet werden, bevor sie geerntet wurde), Batteriekapitätsgrenzen und der Markovschen Natur der Kanalzustände und Energieankünfte.

Methodik
Das Problem wird als Finite-Horizon Markov Decision Process (MDP) formuliert, da die Übertragungsdauer $K$ a priori bekannt ist und sich die Systemdynamiken (Kanalgewinne und Energieernte) im Zeitverlauf entwickeln. Die Autoren schlagen drei verschiedene Lösungsansätze vor, um Finite-Horizon- und Infinite-Horizon-Modellierungsstrategien zu vergleichen:

Finite-Horizon Joint Power Allocation (FHJPA): Dies ist die vorgeschlagene optimale Lösung für das Finite-Horizon-Problem. Sie nutzt einen Backward Induction (BI) Algorithmus. Der Algorithmus iteriert vom letzten Zeitschlitz ( $K$ ) rückwärts bis zum ersten Zeitschlitz ($0$) und berechnet die Wertfunktion sowie die optimale Policy (eine Look-up-Tabelle von Leistungspaaren) für jeden möglichen Zustand. Der Zustand umfasst Kanalgewinne, Batteriestände und den aktuellen Zeitschlitz.
Greedy Algorithm (GA): Ein suboptimaler Baseline-Algorithmus mit geringer Komplexität. In jedem Zeitschlitz wählt der GA die Leistungsallokation aus, die die unmittelbare Belohnung (instantaneous SEE) maximiert, ohne zukünftige Belohnungen oder Zustandsübergänge zu berücksichtigen.
Infinite-Horizon Joint Power Allocation (IHJPA): Ein Algorithmus für Szenarien, in denen die Lebensdauer des Netzwerks unbekannt oder effektiv unendlich ist. Er verwendet Policy Iteration (PI), um eine stationäre Policy zu finden, die die langfristige durchschnittliche Belohnung maximiert, unter Annahme eines Diskontierungsfaktors oder einer geometrischen Verteilung des Zeithorizonts.

Zentrale Beiträge

Neuartige Formulierung: Die Arbeit präsentiert ein neuartiges gemeinsames Optimierungs-Framework für Sende- und Jamming-Leistung, das gleichzeitig EH-Fähigkeiten an sowohl dem Quellknoten als auch dem Zielknoten integriert und dabei die SEE maximiert. Die Autoren merken an, dass vorangegangene Arbeiten entweder auf die Maximierung der gesamten sicheren Bits statt auf die SEE fokussierten oder davon ausgingen, dass EH nur am Zielknoten zur Verfügung steht.
Vergleichende Analyse der Horizonte: Diese Arbeit ist die erste, die sowohl Finite-Horizon- als auch Infinite-Horizon-Reinforcement-Learning (RL)-Modelle untersucht und vergleicht, die spezifisch auf die Maximierung der SEE in Problemen der gemeinsamen Leistungsallokation abzielen.
Algorithmenentwicklung: Die Autoren schlagen den FHJPA-Algorithmus für die Finite-Horizon-Optimierung und den IHJPA-Algorithmus für die Infinite-Horizon-Optimierung vor und bieten eine detaillierte vergleichende Analyse gegenüber einer Greedy-Baseline.
Einblicke in die Energieverfügbarkeit: Die Studie liefert Erkenntnisse darüber, wie die Verfügbarkeit geernteter Energie die Optimalität von Greedy-Strategien gegenüber optimalen dynamischen Programmieransätzen beeinflusst.

Ergebnisse
Die Leistung der Algorithmen wurde durch Simulationen evaluiert, wobei Parameter wie geerntete Energieniveaus ( $E_S, E_D$ ), Erntewahrscheinlichkeiten ( $p, q$ ) und die Gesamtzahl der Zeitschlitze ( $K$ ) variiert wurden.

Leistung von FHJPA: Der FHJPA-Algorithmus übertrifft sowohl den GA als auch den IHJPA-Algorithmus konsistent in Bezug auf die durchschnittliche SEE. Diese Überlegenheit wird der präzisen Modellierung des Problems als Finite-Horizon-MDP zugeschrieben, welche die spezifischen Zeitbeschränkungen und Batteriedynamiken berücksichtigt.
Verhalten von GA: Obwohl der GA im Allgemeinen hinter FHJPA zurückbleibt, verringert sich die Leistungslücke signifikant, wenn die Batterie des Quellknotens über ausreichend Energie verfügt (aufgrund hoher Erntewahrscheinlichkeiten oder großer geernteter Energieeinheiten). In diesen Szenarien mit hoher Energie wird die Greedy-Maximierung der unmittelbaren Belohnung nahezu optimal.
Verhalten von IHJPA: Der IHJPA-Algorithmus schneidet schlecht ab, wenn der Zeithorizont $K$ klein ist, da die Infinite-Horizon-Annahme die endliche Beendigung der Übertragung nicht korrekt widerspiegelt. Mit zunehmendem $K$ verbessert sich die Genauigkeit des Infinite-Horizon-Modells, wodurch sich die Leistungslücke zwischen FHJPA und IHJPA verringert.
Trade-offs: Die Ergebnisse deuten auf einen Trade-off zwischen der durchschnittlichen SEE und der Gesamtzahl der übertragenen sicheren Bits hin. Der FHJPA-Algorithmus kann durch die Optimierung der Effizienz die Sendeleistung reduzieren, um Energie zu sparen, was im Vergleich zum GA, der aggressiv überträgt, wenn Energie im Überfluss vorhanden ist, zu weniger insgesamt sicheren Bits führt.
Rechenkomplexität: Der FHJPA-Algorithmus erfordert eine Planungsphase mit einer Komplexität von $O((K-1)N_S^2 N_A)$ , während der GA keine Planungsphase besitzt. Interessanterweise zeigt die Analyse der Rechenzeit, dass der FHJPA-Algorithmus 16,6 % weniger Zeit benötigt als der IHJPA-Algorithmus, was darauf hindeutet, dass für Finite-Horizon-Probleme der Backward-Induction-Ansatz in diesem spezifischen Kontext recheneffizienter ist als die Policy Iteration für Infinite Horizons.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass für drahtlose Netzwerke mit bekannten endlichen Übertragungsdauern und Energy-Harvesting-Beschränkungen die Finite-Horizon-Modellierung überlegen ist gegenüber der Infinite-Horizon-Modellierung zur Maximierung der Geheimnis-Energieeffizienz. Die Autoren betonen, dass Infinite-Horizon-Modelle zwar in der Literatur verbreitet sind, aber suboptimale Ergebnisse liefern können, wenn die Lebensdauer des Netzwerks endlich und bekannt ist.

Darüber hinaus hebt die Arbeit eine praktische Erkenntnis hervor: Wenn Energie im Überfluss vorhanden ist, können Low-Complexity-Greedy-Strategien eine nahezu optimale Leistung erzielen, was eine lebensfähige Alternative für Systeme darstellt, in denen die Rechenressourcen begrenzt sind. Schließlich kommen die Autoren zu dem Schluss, dass die Systemoptimierung sich nicht allein auf die Maximierung der SEE oder der gesamten sicheren Bits isoliert konzentrieren sollte, sondern ein Gleichgewicht zwischen diesen Metriken basierend auf spezifischen Netzwerkanforderungen anstreben sollte.

1. Der „Zeitreisende Planer“ (FHJPA)

2. Der „Gierige Sprinter“ (GA)

3. Der „Ewige Läufer“ (IHJPA)

Die wichtigsten Erkenntnisse

Mehr davon