💻 computer science

A Linear Mapping-Enhanced PPO Framework for Dynamic Load Balancing in Smart City Edge Systems

Dit artikel stelt een Linear Mapping-Enhanced Proximal Policy Optimization (LME-PPO) framework voor dat deep reinforcement learning gebruikt om dynamische load balancing te optimaliseren en de systeemlatentie in smart city edge computing-omgevingen te verminderen door effectief complexe taakruimtes te mappen en computationeel evenwicht over edge-servers te waarborgen.

Oorspronkelijke auteurs: Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een File in een Smart City

Stel je een Smart City voor als een enorme, bruisende metropool. In deze stad genereren duizenden apparaten (zoals verkeerscamera's, slimme meters en sensoren) constant data. Deze data is als een vloedgolf van auto's die naar een bestemming proberen te rijden.

In het verleden moesten al deze "auto's" helemaal naar een gigantische, centrale "Cloud City" (het hoofddatacentrum) rijden om verwerkt te worden. Dit veroorzaakte enorme files en lange vertragingen.

Om dit op te lossen, bouwde de stad Edge Servers. Denk aan deze als lokale buurt-servicestations verspreid over de hele stad. Ze staan veel dichter bij de apparaten, zodat ze problemen sneller kunnen oplossen.

Het Probleem: De Ongelijke Werkdruk

Hier komt de crux: de "auto's" (data-taken) komen niet gelijkmatig aan.

Soms stuurt een plotseling verkeersongeluk een enorme golf aan data naar Edge Server A.
Tegelijkertijd heeft Edge Server B in een rustige buurt bijna niets te doen.

Als de stad dit niet beheert, raakt Server A overbelast en vertraagt alles (wat zorgt voor vertragingen), terwijl Server B stilstaat en geld verspilt. Dit wordt Load Imbalance (onbalans in de werklast) genoemd.

De stad heeft een Central Dispatcher (een slimme scheduler) nodig die naar alle servers kijkt en zegt: "Server A is te druk; laten we wat van die auto's naar Server B sturen."

De Oude Manieren vs. De Nieuwe Manier

Het artikel onderzoekt hoe je deze Dispatcher kunt bouwen:

Statische Regels (De Oude Manier): Zoals een verkeerslicht dat op een vaste tijd rood en groen wordt. Het is simpel, maar kan een plotseling ongeluk of een parade niet aan. Het laat vaak sommige servers overbelast achter.
Optimalisatie-algoritmen (De Middelweg): Zoals een GPS die elke keer de perfecte route berekent. Het is slim, maar het duurt lang om de route te berekenen. Tegen de tijd dat de route is uitgerekend, is de verkeerssituatie alweer veranderd.
Deep Reinforcement Learning (De Nieuwe Manier): Dit is als het trainen van een superintelligente verkeersagent die leert van ervaring. In plaats van een regelboek te volgen, observeert de agent het verkeer, probeert verschillende strategieën uit en leert welke zetten de auto's over een langere periode het snelst door laten rijden.

De Oplossing van het Papier: Het "LME-PPO" Framework

De auteurs stellen een specifiek type "superintelligente agent" voor genaamd LME-PPO. Hier is hoe het werkt, opgedeeld in drie eenvoudige delen:

1. De "Linear Mapping" (De Vertaler)

Het grootste probleem met het trainen van een slimme AI voor deze taak is dat het aantal auto's (taken) elke seconde verandert.

Het Problek: Stel je voor dat je een robot leert om koekjes uit te delen. Als je tegen de robot zegt: "Geef 5 koekjes uit," maar er zijn plotseling 500 koekjes, dan raakt de robot in de war. Als je zegt: "Geef 500 uit," maar er zijn er slechts 5, dan gaat de robot kapot. Het brein van de robot (het AI-model) verwacht meestal een vast aantal, maar de echte wereld is rommelig en veranderlijk.
De Oplossing: De auteurs hebben een Linear Mapping Layer toegevoegd. Denk aan dit als een vertaler of een schaal.
- Het AI-brein zegt: "Ik denk dat Server A 30% van het werk moet krijgen, en Server B 70%." (Dit zijn slechts proporties).
- De Vertaler kijkt naar hoeveel taken er op dit moment zijn gearriveerd. Als er 100 taken zijn gearriveerd, zegt de vertaler: "Oké, 30% van 100 is 30 taken voor Server A."
- Dit stelt de AI in staat om de strategie (de percentages) te leren zonder in de war te raken door het volume (het totaal aantal taken).

2. De "PPO" (De Slimme Trainer)

PPO (Proximal Policy Optimization) is de trainingsmethode.

Stel je voor dat je een hond leert om te apporteren. Als je te hard schreeuwt wanneer hij een fout maakt, wordt de hond bang en stopt hij met leren. Als je te zacht bent, leert hij de truc niet.
PPO is een "Goldilocks"-trainer (de gulden middenweg). Het zorgt ervoor dat de AI stap voor wordt geleerd zonder enorme, angstaanjagende fouten te maken die de voortgang verpesten. Het houdt het leren stabiel en gestaag.

3. De "Internal Balancer" (De Lokale Manager)

Zodra de Central Dispatcher taken naar een specifieke Edge Server stuurt, moet die server nog steeds het werk verrichten.

Binnen elke Edge Server zijn er kleinere werkers genaamd Virtual Machines (VM's).
Het papier bevat een speciale regel om ervoor te zorgen dat de taken gelijkmatig worden verdeeld onder deze interne werkers. Het is als een voorman die ervoor zorgt dat als één werker snel is (hoge CPU-snelheid), deze het zware werk krijgt, terwijl tragere werkers lichtere taken krijgen, zodat iedereen tegelijk klaar is.

De Resultaten: Wat is er Gebeurd?

De auteurs hebben hun nieuwe systeem getest tegen de oude methoden (zoals "Greedy" algoritmen, die gewoon de eerst beschikbare server pakken, en "PSO", een type optimalisatie).

Snellere Snelheid: Hun systeem verminderde de gemiddelde tijd die nodig was om taken te verwerken.
Betere Balans: De werklast werd veel gelijkmatiger verdeeld. Geen enkele server werd achtergelaten terwijl hij verzuipte in het werk, terwijl anderen niets deden.
Stabiliteit: Zelfs toen de stad chaotisch werd (hoog verkeer, plotselinge pieken in data), bleef hun systeem soepel werken zonder vast te lopen of in de war te raken.

Samenvatting

Kortom, dit artikel presenteert een nieuwe manier om data in Smart Cities te beheren. Het gebruikt een slimme AI die leert om de werklast dynamisch in evenwicht te houden. Het geheime ingrediënt is een vertalerslaag die de AI helpt om te gaan met veranderende hoeveelheden data, en een stabiele trainingsmethode die ervoor zorgt dat de AI correct leert zonder door te draaien. Het resultaat is een stad waar data sneller stroomt en diensten (zoals verkeerscontrole of noodhulp) beter functioneren.

Technische Samenvatting: Een LME-PPO-raamwerk met Lineaire Mapping voor Dynamische Load Balancing in Smart City Edge-systemen

Probleemstelling
De integratie van Mobile Edge Computing (MEC) in smart city-infrastructuren beoogt latentie te verminderen en de bandbreedte-efficiëntie te verbeteren door data dichter bij de IoT-bronnen te verwerken. De stochastische en heterogene aard van taakoffloading van stedelijke IoT-apparaten (bijv. verkeerscamera's, slimme netwerken) creëert echter aanzienlijke belastingsimbalans tussen Edge Servers (ES's). In een typische implementatie waarbij elke ES meerdere Virtuele Machines (VM's) host, kunnen willekeurige taakaanvragen ervoor zorgen dat sommige servers overbelast raken terwijl andere onderbenut blijven. Deze onbalans verslechtert de servicekwaliteit en verhoogt de systeemlatentie. Bestaande oplossingen kampen met beperkingen: statische planningsalgoritmen missen aanpasbaarheid aan dynamische workloads; traditionele optimalisatiemethoden (bijv. Particle Swarm Optimization) lijden aan iteratieve vertragingen die ongeschikt zijn voor real-time beperkingen; en standaard Deep Reinforcement Learning (DRL)-benaderingen hebben moeite met het mismatch tussen continue staatvariaties en vaste actieruimtes, vooral wanneer het aantal taken aanzienlijk fluctueert.

Methodologie
De auteurs stellen een Linear Mapping-Enhanced Proximal Policy Optimization (LME-PPO) raamwerk voor om deze uitdagingen aan te pakken. De aanpak is als volgt gestructureerd:

Systeemmodellering: Het resourcebeheersysteem van de smart city wordt gemodelleerd als een Markov Decision Process (MDP).
- Toestandsruimte ( $S$ ): Gedefinieerd door het aantal wachtende taken in de wachtrijen van $M$ edge servers.
- Actieruimte ( $A$ ): Representeert de taakschema-matrix over alle ES's.
- Beloningsfunctie: Ontworpen om de variantie tussen individuele ES-executietijden en de systeembrede gemiddelde executietijd te minimaliseren, wat load balancing bevordert.
- Beperkingen: Het model houdt rekening met wachtrijcapaciteitslimieten, variaties in CPU-frequentie over VM's en maximaal toegestane executietijden.
LME-PPO Raamwerk:
- Actor-Critic Architectuur: Het systeem maakt gebruik van een standaard PPO-algoritme met Actor- en Critic-netwerken (twee-laagse volledig verbonden netwerken).
- Lineaire Mapping Laag: Een kerninnovatie van dit werk. Omdat PPO doorgaans continue waarden outputt, maar taakallocatie discrete gehele getallen vereist, introduceren de auteurs een lineaire mapping-laag. Het Actor-netwerk geeft een vector van relatieve allocatieverhoudingen ( $m_t$ ) uit. Deze vector wordt naar werkelijke integer takenaantallen ( $N_t$ ) gemapt op basis van het totale aantal arriverende taken in de huidige tijdstap ( $n$ ) met de formule: $N_i = n \times \frac{m_i}{\sum m_i}$ . Dit mechanisme zorgt ervoor dat de actieruimte zich dynamisch aanpast aan de huidige workload, wat trainingsinstabiliteit door vaste actieruimtes voorkomt.
- Interne Taakplanning: Binnen elke ES wordt een Workload-Balanced Task Allocation Algorithm toegepast om taken te verdelen over meerdere VM's. Gebaseerd op Stelling 1 en Stelling 2, geeft het algoritme prioriteit aan het toewijzen van taken aan VM's met lagere CPU-frequenties om de executietijden gelijk te trekken, waardoor de minimale mogelijke voltooiingstijd voor de wachtrij wordt gewaarborgd.
Lange-termijn Nut: Het raamwerk optimaliseert voor lange-termijn gedisconteerde utiliteit in plaats van single-slot prestaties, waarbij Generalized Advantage Estimation (GAE) wordt gebruikt om directe beloningen te balanceren met toekomstige systeemtoestanden.

Kernbijdragen

Stochastische Systeemmodellering: Het artikel modelleert het taakallocatieproces als een stochastisch systeem met een DRL-raamwerk dat ook planning op VM-niveau binnen elke ES incorporeert, waardoor cruciale computationele kenmerken voor precieze load balancing worden gevangen.
Linear Mapping Verbetering: De auteurs introduceren een lineaire mapping-laag binnen het PPO-raamwerk om het conflict tussen de continue output van het beleidsnetwerk en de discrete, tijdvariërende aard van taakaanvragen op te lossen. Dit zorgt voor stabiel leren en haalbare integer taakallocaties.
Workload-Balanced Allocatie Algoritme: Een specif으로 ontwikkeld algoritme voor interne ES-planning dat de voltooiingstijd minimaliseert door taken intelligent toe te wijzen aan VM's op basis van hun CPU-frequenties en de huidige wachtrijstatus.
Omvattende Evaluatie: De studie biedt een rigoureuze vergelijking met Particle Swarm Optimization (PSO) en greedy baselines, waarmee de effectiviteit van het raamwerk in dynamische omgevingen wordt aangetoond.

Experimentele Resultaten
Het voorgestelde LME-PPO raamwerk werd geëvalueerd met een Python/PyTorch simulator met 20 edge servers. Belangrijkste bevindingen zijn:

Convergentie: Het algoritme convergeert sneller met minder ES's (200 episodes voor 20 ES's) en vertoont superieure stabiliteit vergeleken met SAC en TD3 algoritmen.
Latentie Reductie: De LME-PPO benadering bereikte een aanzienlijk lagere gemiddelde systeemexecutietijd (ca. 3,7 ms) vergeleken met PSO (4,5 ms) en Greedy (5,7 ms) algoritmen over 100 episodes.
Load Balancing: Onder variërende workloadcondities (laag, normaal, hoog) behield LME-PPO consistent de laagste gemiddelde computationele tijd en de meest gebalanceerde runtimeverdeling over de ES's. In contrast vertoonden Greedy en PSO algoritmen hogere rountimes en grotere fluctuaties door taakaccumulatie.
Schaalbaarheid: Het raamwerk behield een stabiele prestatie over verschillende netwerkconfiguraties (300, 400, 500 neuronen) en discountfactoren, waarbij een discountfactor van 0,99 de beste lange-termijn prestatie leverde.

Betekenis en Claims
Het artikel claimt dat het LME-PPO raamwerk een robuuste en schaalbare oplossing biedt voor de volgende generatie smart city-omgevingen. Door de kloof tussen continue controlebeleid en discrete executie-eisen te overbruggen via lineaire mapping, kan de benadering de hoge variabiliteit van IoT-taakoffloading effectief aan. De auteurs stellen dat hun methode niet alleen superieure load balancing bereikt, maar ook de gemiddelde systeemlatentie aanzienlijk vermindert, wat een praktisch alternatief biedt voor heuristische en traditionele optimalisatiemethoden in dynamische edge computing scenario's. Het werk benadrukt de noodzaak om zowel inter-server load balancing als intra-server (VM-niveau) taakplanning aan te pakken om de benutting van resources te maximaliseren. Toekomstig werk suggereert de exploratie van gedecentraliseerde architecturen en meer heterogene workloadpatronen.