⚡ electrical engineering

RL-Based Delay Minimization for Computation Offloading in IRS- and RHS-Enhanced MEC Systems

Dieses Paper schlägt ein auf Deep Deterministic Policy Gradient (DDPG) basierendes Reinforcement-Learning-Framework vor, um die Phasenverschiebungen des IRS, die Antennenamplituden des RHS und die Offloading-Entscheidungen in einem durch IRS und RHS erweiterten Mobile-Edge-Computing-System gemeinsam zu optimieren und dadurch die gesamte Task-Ausführungsverzögerung im Vergleich zu herkömmlichen Ansätzen signifikant zu minimieren.

Ursprüngliche Autoren: Zahra Amiri, Mohsen Eslami, Ebrahim Nikmaleki

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zahra Amiri, Mohsen Eslami, Ebrahim Nikmaleki

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie führen eine geschäftige Küche (das Mobile Edge Computing-System), in der Kunden (die Nutzer) möchten, dass ihr Essen so schnell wie möglich zubereitet wird. Einige Kunden haben ihre eigenen winzigen Mixer direkt am Tisch (lokale Rechenleistung), während andere ihre Bestellungen an den Chef der Hauptküche senden (den MEC-Server).

Das Ziel dieser Arbeit ist es, herauszufinden, wie man jede Bestellung am schnellsten erledigt, um die Gesamtzeit von der „Bestellung aufgeben“ bis zum „Servieren des Essens“ zu minimieren.

Hier ist die Lösung des Autors, unterteilt in einfache Konzepte:

1. Die zwei „magischen Werkzeuge“

Die Küche befindet sich in einem Gebäude mit schlechter Akustik und seltsamen Wänden, was es dem Chef schwierig macht, die Kunden klar zu hören. Um dies zu beheben, führen die Autoren zwei hochtechnologische Werkzeuge ein:

Der „Smart Mirror“ (IRS – Intelligent Reflecting Surface): Stellen Sie sich eine Wand vor, die mit tausenden winzigen, verstellbaren Spiegeln bedeckt ist. Wenn die Stimme eines Kunden durch eine Säule blockiert wird, können diese Spiegel den Schall auffangen und perfekt in Richtung des Chefs lenken. In der Arbeit ist dies eine Intelligente Reflektierende Oberfläche (IRS), die die Reflexion der Funksignale anpasst, um die Verbindung zu verstärken.
Der „Formverändernde Lautsprecher“ (RHS – Reconfigurable Holographic Surface): Dies ist ein spezielles Lautsprechersystem an der Station des Chefs. Anstatt den Schall einfach nur in eine Richtung zu ballern, kann es seine Form sofort ändern, um den Schall genau dort zu fokussieren, wo der Kunde gerade steht, um den Lärm zu durchbrechen. Dies ist die Rekonfigurierbare Holografische Oberfläche (RHS), die wie eine superpräzise Antenne wirkt.

2. Die große Entscheidung: Hier kochen oder dorthin senden?

Jeder Kunde hat eine Wahl:

Lokal kochen: Den eigenen kleinen Mixer benutzen. Das geht schnell, wenn die Aufgabe klein ist, aber langsam, wenn die Aufgabe riesig ist, weil der eigene Mixer schwach ist.
An den Chef senden: Die Bestellung an die Hauptküche senden. Das ist großartig für große Aufgaben, aber es dauert Zeit, die Bestellung durch den Raum zu rufen (Übertragungsverzögerung).

Der knifflige Teil ist, dass sich der „Raum“ (das Funksignal) ständig ändert. Manchmal sind die Spiegel perfekt ausgerichtet; manchmal sind sie es nicht. Auch die Fähigkeit des Chefs zu hören, ändert sich.

3. Das Problem: Zu viele Entscheidungen

Die Autoren versuchten, eine mathematische Gleichung aufzustellen, um den perfekten Moment zu finden, um eine Bestellung zu senden, und den perfekten Winkel für jeden einzelnen Spiegel festzulegen. Aber die Mathematik war zu unordentlich und kompliziert (nicht-konvex und hochdimensional). Es war, als versuchte man, ein Puzzle mit einer Million beweglicher Teile gleichzeitig zu lösen. Traditionelle mathematische Methoden blieben stecken.

4. Die Lösung: Der „Schlaue Lehrling“ (DDPG)

Anstatt die mathematische Gleichung direkt zu lösen, haben die Autoren einem Computerprogramm beigebracht, durch Versuch und Irrtum zu lernen. Sie verwendeten eine Methode namens Deep Deterministic Policy Gradient (DDPG).

Denken Sie an dieses Programm als einen schlauen Lehrlings-Koch:

Der Zustand (Was er sieht): Der Lehrling betrachtet den Raum. Er sieht, wo die Kunden sind, wie laut der Lärm ist und wie viel Arbeit der Hauptchef noch vor sich hat.
Die Aktion (Was er tut): Der Lehrling trifft drei Entscheidungen gleichzeitig:
1. Die winzigen Spiegel neigen (anpassen der IRS-Phasenverschiebungen).
2. Den Lautsprecher fokussieren (anpassen der RHS-Amplituden).
3. Entscheiden, wie viel der Bestellung lokal gekocht bzw. an den Chef gesendet werden soll (Task-Offloading-Verhältnis).
Die Belohnung (Die Punktzahl): Wenn das Essen schnell serviert wird, erhält der Lehrling eine hohe Punktzahl. Wenn es langsam ist, sinkt die Punktzahl. Wenn der Lehrling versucht, zu viele Bestellungen zu senden und der Hauptchef dadurch überfordert wird, erhält er einen großen Punktabzug.

Mit der Zeit lernt der Lehrling die besten Gewohnheiten. Er findet heraus: „Oh, wenn der Kunde weit weg ist, sollte ich die Spiegel so neigen und 80 % der Bestellung an den Chef senden.“

5. Was sie herausgefunden haben

Die Autoren führten Simulationen (Computertests) durch, um zu sehen, ob ihr „schlauer Lehrling“ funktioniert.

Der Lehrling gewinnt: Das System, das diese Lernmethode verwendet, war viel schneller als Systeme, die kein Offloading oder keine smarten Spiegel verwendeten.
Mehr Spiegel = Schneller: Sie fanden heraus, dass das Hinzufügen von mehr winzigen Spiegeln zur Wand (Erhöhung der Anzahl der IRS-Elemente) das System noch schneller machte, wobei sie die Verzögerung beim Übergang von 8 auf 80 Spiegel um etwa 10 % reduzierten.
Konvergenz: Der Lehrling startete langsam, lernte aber schnell die beste Strategie und hörte auf, Fehler zu machen, wodurch er sich bei einer sehr geringen Verzögerungszeit stabilisierte.

Zusammenfassung

Die Arbeit behauptet, dass die Kombination aus einem Smart Mirror (IRS) und einem Formverändernden Lautsprecher (RHS) mit einer lernenden KI (DDPG) die Zeit, die zur Datenverarbeitung in einem drahtlosen Netzwerk benötigt wird, signifikant reduzieren kann. Die KI lernt, wie sie die Spiegel, die Lautsprecher und die Aufgabenverteilung jongliert, um alles so schnell wie möglich ablaufen zu lassen, und übertrifft dabei ältere, statische Methoden.

Technische Zusammenfassung: RL-basierte Verzögerungsminimierung für das Computation Offloading in IRS- und RHS-gestützten MEC-Systemen

Problemstellung
Die vorliegende Arbeit befasst sich mit der Herausforderung, die gesamte Aufgabenausführungsverzögerung in Mobile Edge Computing (MEC)-Systemen unter ungünstigen drahtlosen Kanalbedingungen zu minimieren. Während MEC Rechenressourcen näher zu den Nutzern bringt, wird die Leistung oft durch die unzuverlässige Uplink-Übertragung begrenzt. Um dies zu überwinden, schlagen die Autoren ein durch zwei aufstrebende Technologien erweitertes System vor: Intelligent Reflecting Surfaces (IRS) und Reconfigurable Holographic Surfaces (RHS).

In dem vorgeschlagenen Framework dient eine mit einer RHS ausgestattete Basisstation (BS) mehreren Single-Antennen-Nutzern. Eine IRS wird eingesetzt, um die Uplink-Kommunikation zu unterstützen. Die Nutzer verwenden eine Strategie des partiellen Offloadings, bei der Aufgaben zwischen lokaler Verarbeitung und dem Offloading an den MEC-Server aufgeteilt werden. Die zentrale Herausforderung ist ein gemeinsames Optimierungsproblem mit drei gekoppelten, kontinuierlichen Entscheidungsvariablen:

IRS-Phasenverschiebungen: Zur Optimierung des reflektierten Signalpfads.
RHS-Antennenamplituden: Zur Steuerung des aktiven Beamformings an der BS.
Aufgaben-Offloading-Verhältnisse: Bestimmung des Anteils jeder Aufgabe, der lokal versus im Edge-Computing verarbeitet wird.

Das Problem ist als hochgradig nichtkonvex und hochdimensional charakterisiert, was konventionelle Optimierungsmethoden für dynamische Netzwerkumgebungen unpraktikabel macht.

Methodik
Um das formulierte Optimierungsproblem zu lösen, entwickeln die Autoren ein auf Deep Deterministic Policy Gradient (DDPG) basierendes Reinforcement Learning (RL) Framework. Das System wird als Markov-Entscheidungsprozess (MDP) mit den folgenden Komponenten modelliert:

Zustandsraum ( $S$ ): Beinhaltet die instantane Kanalsituation (Channel State Information, CSI) für die direkten Nutzer-zu-BS-, Nutzer-zu-IRS- sowie IRS-zu-BS-Verbindungen sowie die verfügbaren Rechenressourcen am MEC-Server.
Aktionsraum ( $A$ ): Besteht aus kontinuierlichen Kontrollvariablen: der IRS-Phasenverschiebermatrix, der RHS-Amplitudensteuerungsmatrix und dem Vektor der Aufgaben-Offloading-Verhältnisse für alle Nutzer.
Belohnungsfunktion ( $r$ ): Definiert als das negative Summenmaß der Gesamtsystemlatenz (lokale Rechenverzögerung + Edge-Computing-Verzögerung). Um die Durchführbarkeit zu gewährleisten, wird ein Strafterm zur Belohnungsfunktion hinzugefügt, falls die gesamte Rechenressourcenbeschränkung des MEC-Servers verletzt wird.
Algorithmus: Der DDPG-Algorithmus nutzt eine Actor-Critic-Architektur. Das Actor-Netzwerk generiert kontinuierliche Aktionen, während das Critic-Netzwerk diese bewertet. Das Training wird durch Experience Replay Buffers und Target-Netzwerke mit Soft-Updates stabilisiert.

Zentrale Beiträge
Die Arbeit skizziert vier primäre Beiträge:

Neuartiges Framework: Vorschlag eines gemeinsamen IRS–RHS-gestützten MEC-Frameworks, das speziell für die Minimierung der Verzögerung konzipiert ist.
Problemformulierung: Mathematische Formulierung eines gemeinsamen Optimierungsproblems, das IRS-Phasenverschiebungen, RHS-Amplituden und Aufgaben-Offloading-Entscheidungen unter Berücksichtigung physikalischer und ressourcentechnischer Beschränkungen abdeckt.
Algorithmische Lösung: Entwicklung einer DDPG-basierten Lösung, die in der Lage ist, den inhärenten hochdimensionalen kontinuierlichen Aktionsraum des Problems zu handhaben.
Leistungsvalidierung: Demonstration durch Simulationen, dass das vorgeschlagene integrierte Design herkömmliche Ansätze bei der Reduzierung der Aufgabenausführungsverzögerung signifikant übertrifft.

Simulationsergebnisse
Numerische Simulationen wurden mit Python und PyTorch durchgeführt, wobei ein System mit einer BS mit 16 RHS-Elementen, einer IRS mit 20 reflektierenden Elementen und mehreren Nutzern verwendet wurde. Die wichtigsten Ergebnisse sind:

Konvergenz: Der vorgeschlagene DDPG-basierte Algorithmus zeigt einen klaren Konvergenztrend, wobei die Systemverzögerung über die Iterationen hinweg abnimmt und sich auf einem niedrigeren Wert stabilisiert als beim Non-Offloading-Baseline-Szenario.
IRS-Einfluss: Ein Vergleich von Szenarien mit und ohne IRS-Unterstützung zeigt, dass die IRS die Systemverzögerung signifikant reduziert, indem sie die Kanalbedingungen und die Signalfortpflanzung verbessert.
Skalierbarkeit: Eine Erhöhung der Anzahl der IRS-Elemente von 8 auf 80 führte zu einer ungefähren Reduktion der Verzögerung um 10 %, was die Effektivität der Skalierung der reflektierenden Oberfläche unterstreicht.

Bedeutung und Behauptungen
Die Autoren behaupten, dass der vorgeschlagene Ansatz effektiv die Einschränkungen statischer Optimierungsframeworks in dynamischen, zeitvarianten Netzwerkkontexten adressiert. Durch die Integration von IRS (für die Uplink-Verbesserung) und RHS (für effizientes Downlink/Beamforming) mit DDPG erreicht das System eine synergistische Reduktion der Latenz. Die Arbeit kommt zu dem Schluss, dass dieses integrierte Design eine vielversprechende Lösung für die nächsten Generationen von MEC-Systemen darstellt und signifikante Latenzreduzierungen gegenüber konventionellen Schemata bietet.

Zukünftige Arbeiten, wie von den Autoren angemerkt, sollen dieses Framework auf dynamischere Szenarien ausweiten, einschließlich Nutzermobilität, Multi-Zell-Umgebungen und fortschrittlicher Ressourcenallokationsstrategien.