💻 computer science

A Linear Mapping-Enhanced PPO Framework for Dynamic Load Balancing in Smart City Edge Systems

Cet article propose un cadre d'optimisation de politique proximale améliorée par cartographie linéaire (LME-PPO) qui exploite l'apprentissage par renforcement profond pour optimiser l'équilibrage dynamique de la charge et réduire la latence du système dans les environnements d'informatique de bord des villes intelligentes en cartographiant efficacement les espaces de tâches complexes et en assurant l'équilibre computationnel entre les serveurs de bord.

Auteurs originaux : Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

Publié 2026-07-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le bouchon de circulation d'une ville intelligente

Imaginez une Ville Intelligente comme une métropole immense et bouillonnante. Dans cette ville, des milliers d'appareils (comme des caméras de trafic, des compteurs intelligents et des capteurs) génèrent constamment des données. Ces données sont comme un flot de voitures essayant d'atteindre une destination.

Par le passé, toutes ces « voitures » devaient rouler jusqu'à une immense « Ville du Cloud » centrale (le centre de données principal) pour être traitées. Cela provoquait d'énormes embouteillages et de longs retards.

Pour correr cela, la ville a construit des Serveurs de Bordure (Edge Servers). Considérez-les comme des stations de service de quartier éparpillées dans toute la ville. Ils sont beaucoup plus proches des appareils, ce qui leur permet de résoudre les problèmes plus rapidement.

Le Problème : La charge de travail inégale

Voici le hic : les « voitures » (les tâches de données) n'arrivent pas de manière uniforme.

Parfois, un accident soudelain envoie une vague énorme de données vers le Serveur de Bordure A.
Au même moment, le Serveur de Bordure B, dans un quartier calme, n'a presque rien à faire.

Si la ville ne gère pas cela, le Serveur A est submergé et ralentit (provoquant des retards), tandis que le Serveur B reste inactif, gaspillant de l'argent. C'est ce qu'on appelle le Déséquilibre de Charge (Load Imbalance).

La ville a besoin d'un Répartiteur Central (un ordonnanceur intelligent) pour observer tous les serveurs et dire : « Le Serveur A est trop occupé ; envoyons une partie de ces voitures vers le Serveur B. »

Les anciennes méthodes vs La nouvelle méthode

Le papier examine comment construire ce Répartiteur :

Les Règles Statiques (L'ancienne méthode) : Comme un feu de signalisation qui passe au rouge et au vert selon un minuteur fixe. C'est simple, mais cela ne peut pas gérer un accident soudain ou un défilé. Cela laisse souvent certains serveurs surchargés.
Les Algorithmes d'Optimisation (La voie du milieu) : Comme un GPS qui calcule l'itinéraire parfait à chaque fois. C'est intelligent, mais cela prend beaucoup de temps pour calculer l'itinéraire. Le temps qu'il ait fini de le calculer, la situation du trafic a déjà changé.
L'Apprentissage par Renforcement Profond (La nouvelle méthode) : C'est comme former un policier de la circulation super-intelligent qui apprend par l'expérience. Au lieu de suivre un manuel de règles, le policier observe le trafic, essaie différentes stratégies et apprend quels mouvements permettent de faire circuler les voitures le plus rapidement possible au fil du temps.

La solution du papier : Le cadre « LME-PPO »

Les auteurs proposent un type spécifique de « policier super-intelligent » appelé LME-PPO. Voici comment il fonctionne, divisé en trois parties simples :

1. La « Cartographie Linéaire » (Le Traducteur)

Le plus gros problème pour entraîner une IA intelligente pour ce travail est que le nombre de voitures (tâches) change chaque seconde.

Le Problème : Imaginez que vous enseigniez à un robot à distribuer des biscuits. Si vous dites au robot : « Distribue 5 biscuits », mais qu'il y en a soudainement 500, le robot est confus. Si vous lui dites : « Distribue 500 », mais qu'il n'y en a que 5, il casse. Le cerveau du robot (le modèle d'IA) attend généralement un nombre fixe, mais le monde réel est désordonné et changeant.
La Solution : Les auteurs ont ajouté une Couche de Cartographie Linéaire (Linear Mapping Layer). Considérez cela comme un traducteur ou une échelle.
- Le cerveau de l'IA dit : « Je pense que le Serveur A devrait recevoir 30 % du travail, et le Serveur B devrait recevoir 70 %. » (Ce sont juste des proportions).
- Le Traducteur regarde combien de tâches réelles sont arrivées en ce moment même. Si 100 tâches sont arrivées, le traducteur dit : « D'accord, 30 % de 100 est égal à 30 tâches pour le Serveur A. »
- Cela permet à l'IA d'apprendre la stratégie (les pourcentages) sans être confuse par le volume (le nombre total de tâches).

2. Le « PPO » (L'Entraîneur Intelligent)

PPO (Proximal Policy Optimization) est la méthode d'entraînement.

Imaginez que vous apprenez à un chien à rapporter un objet. Si vous criez trop fort lorsqu'il fait une erreur, le chien a peur et arrête d'apprendre. Si vous êtes trop doux, il n'apprend pas le tour.
PPO est un entraîneur « juste milieu ». Il s'assure que l'IA apprend étape par étape sans commettre d'erreurs énormes et effrayantes qui ruineraient ses progrès. Il maintient l'apprentissage stable et régulier.

3. L'« Équilibreur Interne » (Le Gestionnaire Local)

Une fois que le Répartiteur Central envoie les tâches à un Serveur de Bordure spécifique, ce serveur doit encore effectuer le travail.

À l'intérieur de chaque Serveur de Bordure, il y a de plus petits travailleurs appelés Machines Virtuelles (VM).
Le papier inclut une règle spéciale pour s'assurer que les tâches sont réparties équitablement entre ces travailleurs internes. C'est comme un contremaître qui s'assure que si un travailleur est rapide (vitesse CPU élevée), il reçoit les tâches lourdes, tandis que les travailleurs plus lents reçoivent des tâches plus légères, afin que tout le monde termine en même temps.

Les Résultats : Qu'est-il arrivé ?

Les auteurs ont testé leur nouveau système contre les anciennes méthodes (comme les algorithmes « Greedy », qui se contentent de saisir le premier serveur disponible, et « PSO », un type d'optimisation).

Vitesse accrue : Leur système a réduit le temps moyen nécessaire pour traiter les tâches.
Meilleur équilibre : Le travail a été réparti de manière beaucoup plus équilibrée. Aucun serveur unique n'a été laissé à se noyer sous le travail pendant que d'autres restaient inactifs.
Stabilité : Même lorsque la ville devenait chaotique (trafic élevé, pics soudains de données), leur système continuait de fonctionner de manière fluide sans planter ou devenir confus.

Résumé

En bref, ce papier présente une nouvelle façon de gérer les données dans les Villes Intelligentes. Il utilise une IA intelligente qui apprend à équilibrer les charges de travail de manière dynamique. Le ingrédient secret est une couche de traduction qui aide l'IA à gérer des quantités de données changeantes, et une méthode d'entraînement stable qui garantit que l'IA apprend correctement sans devenir folle. Le résultat est une ville où les données circulent plus vite et où les services (comme le contrôle du trafic ou les interventions d'urgence) fonctionnent mieux.

Résumé Technique : Un cadre PPO amélioré par une application linéaire pour l'équilibrage de charge dynamique dans les systèmes Edge des villes intelligentes

Énoncé du Problème
L'intégration de l'informatique en périphique mobile (MEC - Mobile Edge Computing) dans les infrastructures de villes intelligentes vise à réduire la latence et à améliorer l'efficacité de la bande passante en traitant les données au plus près des sources IoT. Cependant, la nature stochastique et hétérogène du déchargement des tâches provenant des dispositifs IoT urbains (par exemple, caméras de trafic, réseaux électriques intelligents) crée des déséquilibres de charge importants parmi les serveurs de périphérie (ES - Edge Servers). Dans un déploiement typique où chaque ES héberge plusieurs machines virtuelles (VM), les arrivées aléatoires de tâches peuvent provoquer une surcharge de certains serveurs tandis que d'autres restent sous-utilisés. Ce déséquilibre dégrade la qualité de service et augmente la latence du système. Les solutions existantes font face à des limites : les algorithmes de planification statiques manquent d'adaptabilité face aux charges de travail dynamiques ; les méthodes d'optimisation traditionnelles (par exemple, l'optimisation par essaim de particules - PSO) souffrent de délais itératifs incompatibles avec les contraintes de temps réel ; et les approches classiques de l'apprentissage par renforcement profond (DRL) peinent à gérer le décalage entre les variations continues des états et les espaces d'actions fixes, particulièrement lorsque le nombre de tâches fluctue de manière significative.

Méthodologie
Les auteurs proposent un cadre LME-PPO (Linear Mapping-Enhanced Proximal Policy Optimization) pour répondre à ces défis. L'approche est structurée comme suit :

Modélisation du Système : Le système de gestion des ressources de la ville intelligente est modélisé comme un processus de décision de Markov (MDP).
- Espace d'États ( $S$ ) : Défini par le nombre de tâches en attente dans les files d'attente de $M$ serveurs de périphérie.
- Espace d'Actions ( $A$ ) : Représente la matrice de planification des tâches à travers tous les ES.
- Fonction de Récompense : Conçue pour minimiser la variance entre les temps d'exécution individuels des ES et le temps d'exécution moyen du système, favorisant ainsi l'équilibrage de la charge.
- Contraintes : Le modèle tient compte des limites de capacité des files d'attente, des variations de fréquence CPU entre les VM, et des temps d'exécution maximaux autorisés.
Cadre LME-PPO :
- Architecture Acteur-Critique : Le système utilise un algorithme PPO standard avec des réseaux Acteur et Critique (deux réseaux entièrement connectés à deux couches).
- Couche d'Application Linéaire (Linear Mapping Layer) : Une innovation centrale de ce travail. Puisque PPO produit généralement des valeurs continues, mais que l'allocation de tâches nécessite des entiers discrets, les auteurs introduisent une couche d'application linéaire. Le réseau Acteur produit un vecteur de proportions d'allocation relatives ( $m_t$ ). Ce vecteur est converti en nombres entiers de tâches réelles ( $N_t$ ) basés sur le nombre total de tâches arrivant dans le créneau temporel actuel ( $n$ ) en utilisant la formule : $N_i = n \times \frac{m_i}{\sum m_i}$ . Ce mécanisme garantit que l'espace d'action s'adapte dynamiquement à la charge de travail actuelle, évitant l'instabilité de l'entraînement causée par des espaces d'actions fixes.
- Planification Interne des Tâches : Au sein de chaque ES, un Algorithme d'Allocation de Tâches Équilibré par la Charge est employé pour distribuer les tâches parmi plusieurs VM. Basé sur le Théorème 1 et le Théorème 2, l'algorithme donne la priorité à l'assignation des tâches aux VM ayant les fréquences CPU les plus basses pour égaliser les temps d'exécution, garantissant ainsi le temps de complétion minimal pour la file d'attente.
Utilité à Long Terme : Le cadre optimise l'utilité actualisée à long terme plutôt que la performance par créneau unique, en utilisant l'estimation de l'avantage généralisé (GAE) pour équilibrer les récompenses immédiates et les états futurs du système.

Contributions Clés

Modélisation de Système Stochastique : L'article modélise le processus d'allocation des tâches comme un système stochastique avec un cadre DRL qui intègre la planification au niveau de la VM au sein de chaque ES, capturant les caractéristiques de calcul clés pour un équilibrage de charge précis.
Amélioration par Application Linéaire : Les auteurs introduisent une couche d'application linéaire au sein du cadre PPO pour résoudre le conflit entre la sortie continue de la politique de réseau et la nature discrète et variable dans le temps du nombre d'arrivées de tâches. Cela garantit un apprentissage stable et des assignations de tâches entières réalisables.
Algorithme d'Allocation Équilibré par la Charge : Un algorithme spécifique est conçu pour la planification interne de l'ES qui minimise le temps de complétion en assignant intelligemment les tâches aux VM en fonction de leurs fréquences CPU et de l'état actuel de la file d'attente.
Évaluation Complète : L'étude fournit une comparaison rigoureuse par rapport à l'optimisation par essaim de particules (PSO) et aux bases "greedy" (gloutonnes), démontrant l'efficacité du cadre dans des environnements dynamiques.

Résultats Expérimentaux
Le cadre LME-PPO proposé a été évalué à l'aide d'un simulateur Python/PyTorch avec 20 serveurs de périphérie. Les conclusions clés incluent :

Convergence : L'algorithme converge plus rapidement avec moins d'ES (200 épisodes pour 20 ES) et démontre une stabilité supérieure par rapport aux algorithmes SAC et TD3.
Réduction de la Latence : L'approche LME-PPO a atteint un temps d'exécution système moyen nettement inférieur (environ 3,7 ms) par rapport aux algorithmes PSO (4,5 ms) et Greedy (5,7 ms) sur 100 épisodes.
Équilibrage de la Charge : Sous diverses conditions de charge de travail (faible, normale, élevée), LME-PPO a systématiquement maintenu le temps de calcul moyen le plus bas et la distribution de temps d'exécution la plus équilibrée entre les ES. En revanche, les algorithmes Greedy et PSO ont présenté des temps d'exécution plus élevés et de plus grandes fluctuations dues à l'accumulation de tâches.
Scalabilité (Évolutivité) : Le cadre a maintenu des performances stables à travers différentes configurations de réseau (300, 400, 500 neurones) et différents facteurs de remise (discount factors), un facteur de remise de 0,99 offrant la meilleure performance à long terme.

Signification et Revendications
L'article affirme que le cadre LME-PPO fournit une solution robuste et évolutive pour les environnements de villes intelligentes de nouvelle génération. En comblant l'écart entre les politiques de contrôle continu et les exigences d'exécution discrètes grâce à l'application linéaire, l'approche gère efficacement la grande variabilité du déchargement des tâches IoT. Les auteurs soutiennent que leur méthode permet non seulement d'atteindre un équilibrage de charge supérieur, mais aussi de réduire considérablement la latence moyenne du système, offrant une alternative pratique aux méthodes heuristiques et d'optimisation traditionnelles dans les scénarios de calcul en périphérie dynamiques. Le travail souligne la nécessité d'adresser à la fois l'équilibrage de charge entre serveurs et la planification des tâches au niveau de la VM (intra-serveur) pour maximiser l'utilisation des ressources. Des travaux futurs sont suggérés pour explorer les architectures décentralisées et des modèles de charge de travail plus hétérogènes.