⚡ electrical engineering

RL-Based Delay Minimization for Computation Offloading in IRS- and RHS-Enhanced MEC Systems

Dit artikel stelt een op Deep Deterministic Policy Gradient (DDPG) gebaseerd reinforcement learning-framework voor om de IRS-faseverschuivingen, RHS-antenneamplitudes en taakoffloading-beslissingen gezamenlijk te optimaliseren in een door IRS en RHS versterkt mobile edge computing-systeem, waardoor de algehele taakuitvoeringstijd aanzienlijk wordt geminimaliseerd in vergelijking met conventionele benaderingen.

Oorspronkelijke auteurs: Zahra Amiri, Mohsen Eslami, Ebrahim Nikmaleki

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zahra Amiri, Mohsen Eslami, Ebrahim Nikmaleki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een drukke keuken runt (het Mobile Edge Computing-systeem) waar klanten (de gebruikers) hun eten zo snel mogelijk bereid willen hebben. Sommige klanten hebben hun eigen kleine blender op tafel staan (lokale computing), terwijl anderen hun bestelling naar de hoofdkok van de keuken sturen (de MEC-server).

Het doel van dit artikel is om uit te zoeken wat de snelste manier is om elke bestelling af te krijgen, waarbij de totale tijd van "bestelling geplaatst" tot "eten geserveerd" wordt geminimaliseerd.

Hier is hoe de auteurs het probleem oplossen, onderverdeeld in eenvoudige concepten:

1. De twee "magische hulpmiddelen"

De keuken bevindt zich in een gebouw met slechte akoestiek en vreemde muren, waardoor het voor de kok moeilijk is om de klanten duidelijk te horen. Om dit op te lossen, introduceren de auteurs twee hoogtechnologische hulpmiddelen:

De "Slimme Spiegel" (IRS - Intelligent Reflecting Surface): Stel je een muur voor die bedekt is met duizenden kleine, verstelbare spiegels. Als de stem van een klant wordt geblokkeerd door een pilaar, kunnen deze spiegels het geluid opvangen en perfect richting de kok weerkaatsen. In het artikel is dit een Intelligent Reflecting Surface die de radiofrequente signalen aanpast om de verbinding te versterken.
De "Vormveranderende Luidspreker" (RHS - Reconfigurable Holographic Surface): Dit is een speciaal luidsprekersysteem bij de werkplek van de kok. In plaats van alleen maar geluid in één richting te blazen, kan het direct van vorm veranderen om het geluid precies te focussen op de plek waar de klant staat, waardoor het door de ruis heen snijdt. Dit is de Reconfigurable Holographic Surface, die fungeert als een superprecieze antenne.

2. De grote beslissing: Hier koken of daarheen sturen?

Elke klant heeft een keuze:

Lokaal koken: Gebruik je eigen kleine blender. Dit is snel als de taak klein is, maar traag als de taak enorm groot is omdat je blender zwak is.
Naar de chef sturen: Stuur de bestelling naar de hoofdkeuken. Dit is geweldig voor grote taken, maar het kost tijd om de bestelling door de kamer te roepen (transmissievertraging).

Het lastige deel is dat de "kamer" (het draadloze signaal) constant verandert. Soms zijn de spiegels perfect uitgelijnd; soms zijn ze dat niet. Het vermogen van de kok om te horen, verandert ook.

3. Het probleem: Te veel keuzes

De auteurs probeerden een wiskundige vergelijking te schrijven om het perfecte moment te vinden om een bestelling te verzenden en de perfecte hoek voor elke enkele spiegel. Maar de wiskunde was te rommelig en ingewikkeld (niet-convex en hoogdimensionaal). Het was also[f] een puzzel proberen op te lossen met een miljoen bewegende stukjes tegelijk. Traditionele wiskundige methoden liepen vast.

4. De oplossing: De "Slimme Trainee" (DDPG)

In plaats van de wiskundige vergelijking direct op te lossen, hebben de auteurs een computerprogramma geleerd om te leren door middel van vallen en opstaan. Ze gebruikten een methode genaamd Deep Deterministic Policy Gradient (DDPG).

Denk aan dit programma als een slimme trainee-kok:

De Toestand (Wat het ziet): De trainee kijkt naar de kamer. Hij ziet waar de klanten zijn, hoe hard het lawaai is en hoeveel werk de hoofdkok nog heeft liggen.
De Actie (Wat het doet): De trainee neemt drie beslissingen tegelijkertijd:
1. Kantel de kleine spiegels (pas de IRS-faseverschuivingen aan).
2. Focus de luidspreker (pas de RHS-amplitudes aan).
3. Beslis hoeveel van de bestelling lokaal gekookt moet worden versus naar de chef gestuurd (task offloading ratio).
De Beloning (De score): Als het eten snel geserveerd wordt, krijgt de trainee een hoge score. Als het traag gaat, daalt de score. Als de trainee probeert te veel bestellingen te sturen en de hoofdkok daardoor overbelast raakt, krijgt de trainee een grote straf.

Na verloop van tijd leert de trainee de beste gewoontes. De trainee begrijpt: "Oh, wanneer de klant ver weg is, moet ik de spiegels zo kantelen en 80% van de bestelling naar de chef sturen."

5. Wat ze ontdekten

De auteurs voerden simulaties uit (computertests) om te zien of hun "slimme trainee" werkte.

De Trainee wint: Het systeem dat gebruikmaakt van deze leermethode was veel sneller dan systemen die geen offloading gebruikten of geen slimme spiegels gebruikten.
Meer spiegels = Sneller: Ze ontdekten dat het toevoegen van meer kleine spiegels aan de muur (het vergroten van het aantal IRS-elementen) het systeem nog sneller maakte, waarbij ze ongeveer 10% van de vertraging wegschelden wanneer ze van 8 naar 80 spiegels gingen.
Convergentie: De trainee begon traag, maar leerde snel de beste strategie en stopte met fouten maken, waardoor de vertraging stabiliseerde op een zeer laag niveau.

Samenvatting

Het artikel beweert dat door een Slimme Spiegel (IRS) en een Vormveranderende Luidspreker (RHS) te combineren met een Lerende AI (DDPG), je de tijd die nodig is om gegevens te verwerken in een draadloos netwerk aanzienlijk kunt verminderen. De AI leert hoe hij de spiegels, de luidsprekers en de taakverdeling moet balanceren om alles zo snel mogelijk te laten verlopen, waarbij hij oudere, statische methoden overtreft.

Technische Samenvatting: RL-gebaseerde vertragingsminimalisatie voor computationele offloading in door IRS- en RHS-versterkte MEC-systemen

Probleemstelling
Het artikel behandelt de uitdaging van het minimaliseren van de totale taakuitvoeringstijd (delay) in Mobile Edge Computing (MEC)-systemen die opereren onder ongunstige draadloze kanaalcondities. Hoewel MEC computationele middelen dichter bij gebruikers brengt, wordt de prestatie vaak beperkt door onbetrouwbare uplink-transmissie. Om dit te overwinnen, stellen de auteurs een systeem voor dat wordt versterkt door twee opkomende technologieën: Intelligent Reflecting Surfaces (IRS) en Reconfigurable Holographic Surfaces (RHS).

In het voorgestelde framework dient een Base Station (BS), uitgerust met een RHS, meerdere gebruikers met één antenne. Een IRS wordt ingezet om de uplink-communicatie te ondersteunen. Gebruikers maken gebruik van een partiële offloading-strategie, waarbij taken worden gesplitst tussen lokale verwerking en offloading naar de MEC-server. De kernuitdaging is een gezamenlijk optimalisatieprobleem bestaande uit drie gekoppelde, continue beslissingsvariabelen:

IRS Faseverschuivingen: Om het gereflecteerde signaalpad te optimaliseren.
RHS Antenne-amplitudes: Om de actieve beamforming bij de BS te controleren.
Taak Offloading Ratio's: Het bepalen van het deel van elke taak die lokaal wordt verwerkt versus wordt offgeload.

Het probleem wordt gekenmerkt als hoogst niet-convex en hoogdimensionaal, waardoor conventionele optimalisatiemethoden ontoelaatbaar zijn in dynamische netwerkomgevingen.

Methodologie
Om het geformuleerde optimalisatieprobleem op te lossen, ontwikkelen de auteurs een op Deep Deterministic Policy Gradient (DDPG) gebaseerd Reinforcement Learning (RL) framework. Het systeem wordt gemodelleerd als een Markov Decision Process (MDP) met de volgende componenten:

Toestandsruimte ( $S$ ): Bevat de instantane Channel State Information (CSI) voor de directe user-to-BS, user-to-IRS, en IRS-to-BS verbindingen, evenals de beschikbare computationele middelen bij de MEC-server.
Actieruimte ( $A$ ): Bestaat uit continue controlevariabelen: de IRS faseverschuivingsmatrix, de RHS amplitude-controlematrix en de vector van taak offloading ratio's voor alle gebruikers.
Beloningsfunctie ( $r$ ): Gedefinieerd als de negatieve som van de totale systeemlatentie (lokale computing delay + edge computing delay). Om haalbaarheid te garanderen, wordt een strafterm toegevoegd aan de beloningsfunctie voor schendingen van de totale computationele middelen-beperking van de MEC-server.
Algoritme: Het DDPG-algoritme maakt gebruik van een actor-critic architectuur. Het actor-netwerk genereert continue acties, terwijl het critic-netwerk deze evalueert. Training wordt gestabiliseerd met behulp van experience replay buffers en target networks met soft updates.

Belangrijkste Bijdragen
Het artikel beschrijft vier primaire bijdragen:

Nieuw Framework: Voorstel van een gezamenlijk IRS–RHS ondersteund MEC-framework dat specifiek is ontworpen voor vertragingsminimalisatie.
Probleemformulering: Wiskundige formulering van een gezamenlijk optimalisatieprobleem dat IRS faseverschuivingen, RHS amplitudes en taak offloading beslissingen dekt onder fysieke en resource-beperkingen.
Algoritmische Oplossing: Ontwikkeling van een DDPG-gebaseerde oplossing die in staat is om de hoogdimensionale continue actieruimte die inherent is aan het probleem te hanteren.
Prestatievalidatie: Demonstratie via simulaties dat het voorgestelde geïntegreerde ontwerp de conventionele benaderingen aanzienlijk overtreft in het verminderen van de taakuitvoeringstijd.

Simulatie-resultaten
Numerieke simulaties werden uitgevoerd met Python en PyTorch met een systeem bestaande uit een BS met 16 RHS-elementen, een IRS met 20 reflecterende elementen en meerdere gebruikers. Belangrijkste bevindingen zijn:

Convergentie: Het voorgestelde DDPG-gebaseerde algoritme vertoont een duidelijke convergentietrend, waarbij de systeemvertraging afneemt over iteraties en stabiliseert op een lagere waarde vergeleken met een non-offloading baseline.
Impact van IRS: Het vergelijken van scenario's met en zonder IRS-ondersteuning laat zien dat IRS de systeemvertraging aanzienlijk vermindert door kanaalcondities en signaalvoortplanting te verbeteren.
Schaalbaarheid: Het verhogen van het aantal IRS-elementen van 8 naar 80 resulteerde in een reductie van de vertraging van ongeveer 10%, wat de effectiviteit van het schalen van het reflecterende oppervlak onderstreept.

Betekenis en Claims
De auteurs beweren dat de voorgestelde aanpak effectief de beperkingen van statische optimalisatieframeworks in dynamische, tijdvariërende netwerkomstandigheden aanpakt. Door IRS (voor uplink verbetering) en RHS (voor efficiënte downlink/beamforming) te integreren met DDPG, bereikt het systeem een synergetische reductie in latentie. Het artikel concludeert dat dit geïntegreerde ontwerp een veelbelovende oplossing is voor volgende generatie MEC-systemen, waarbij significante reducties in latentie worden geboden vergeleken met conventionele schema's.

Toekomstig werk, zoals opgemerkt door de auteurs, is bedoeld om dit framework uit te breiden naar meer dynamische scenario's, inclusief gebruikersmobiliteit, multi-cel omgevingen en geavanceerde resource allocatiestrategieën.