⚡ electrical engineering

RL-Based Delay Minimization for Computation Offloading in IRS- and RHS-Enhanced MEC Systems

Cet article propose un cadre d'apprentissage par renforcement basé sur le Gradient de Politique Déterministe Profond (DDPG) pour optimiser conjointement les déphasages de l'IRS, les amplitudes d'antenne de la RHS et les décisions de déchargement de tâches dans un système de calcul en bordure mobile amélioré par l'IRS et la RHS, minimisant ainsi de manière significative le délai global d'exécution des tâches par rapport aux approches conventionnelles.

Auteurs originaux : Zahra Amiri, Mohsen Eslami, Ebrahim Nikmaleki

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zahra Amiri, Mohsen Eslami, Ebrahim Nikmaleki

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une cuisine très occupée (le système de Mobile Edge Computing) où les clients (les utilisateurs) veulent que leurs plats soient préparés aussi rapidement que possible. Certains clients possèdent leurs propres petits mixeurs à leur table (calcul local), tandis que d'autres envoient leurs commandes au chef de la cuisine principale (le serveur MEC) pour qu'elles soient cuisinées.

L'objectif de cet article est de déterminer la manière la plus rapide de terminer chaque commande, en minimisant le temps total entre le moment de la « commande passée » et le moment où le « plat est servi ».

Voici comment les auteurs résolvent le problème, décomposé en concepts simples :

1. Les deux « outils magiques »

La cuisine se trouve dans un bâtiment avec une mauvaise acoustique et des murs étranges, ce qui rend difficile pour le chef d'entendre clairement les clients. Pour remédier à cela, les auteurs introduisent deux outils de haute technologie :

Le « Miroir Intelligent » (IRS - Intelligent Reflecting Surface) : Imaginez un mur recouvert de milliers de petits miroirs réglables. Si la voix d'un client est bloquée par un pilier, ces miroirs peuvent capter le son et le renvoyer parfaitement vers le chef. Dans l'article, il s'agit d'une Surface Réfléchissante Intelligente qui ajuste la façon dont les signaux radio rebondissent pour renforcer la connexion.
L'« Haut-parleur Métamorphe » (RHS - Reconfigurable Holographic Surface) : Il s'agit d'un système de haut-parleurs spécial situé au poste du chef. Au lieu de simplement diffuser le son dans une direction, il peut instantanément changer de forme pour concentrer le son exactement là où se trouve le client, afin de percer à travers le bruit. C'est la Surface Holographique Reconfigurable, qui agit comme une antenne ultra-précise.

2. La grande décision : Cuisiner ici ou envoyer là-bas ?

Chaque client a un choix :

Cuisiner localement : Utiliser son propre petit mixeur. C'est rapide si la tâche est petite, mais lent si la tâche est énorme car leur mixeur est peu puissant.
Envoyer au chef : Envoyer la commande à la cuisine principale. C'est idéal pour les tâches importantes, mais cela prend du temps de crier la commande à travers la pièce (délai de transmission).

Le point délicat est que la « pièce » (le signal sans fil) change constamment. Parfois, les miroirs sont parfaitement alignés ; parfois, ils ne le sont pas. La capacité du chef à entendre change également.

3. Le problème : Trop de choix

Les auteurs ont essayé d'écrire une équation mathématique pour trouver le moment parfait pour envoyer une commande et l'angle parfait pour chaque miroir. Mais les mathématiques étaient trop confuses et compliquées (non-convexes et de haute dimension). C'était comme essayer de résoudre un puzzle avec un million de pièces mobiles à la fois. Les méthodes mathématiques traditionnelles restaient bloquées.

4. La solution : Le « Stagiaire Intelligent » (DDPG)

Au lieu de résoudre l'équation mathématique directement, les auteurs ont appris à un programme informatique à apprendre par essais et erreurs. Ils ont utilisé une méthode appelée Deep Deterministic Policy Gradient (DDPG).

Voyez ce programme comme un stagiaire chef intelligent :

L'État (Ce qu'il voit) : Le stagiaire observe la pièce. Il voit où se trouvent les clients, à quel point le bruit est fort et quelle quantité de travail il reste au chef principal.
L'Action (Ce qu'il fait) : Le stagiaire prend trois décisions simultanément :
1. Incliner les petits miroirs (ajuster les déphasages de l'IRS).
2. Focaliser le haut-parleur (ajuster les amplitudes de la RHS).
3. Décider de la part de la commande à cuisiner localement par rapport à celle à envoyer au chef (ratio de déchargement de la tâche).
La Récompense (Le score) : Si le plat est servi rapidement, le stagiaire reçoit un score élevé. S'il est lent, le score chute. Si le stagiaire essaie d'envoyer trop de commandes et que le chef principal est surchargé, il reçoit une grosse pénalité.

Avec le temps, le stagiaire apprend les meilleures habitudes. Il comprend : « Oh, quand le client est loin, je dois incliner les miroirs de cette façon et envoyer 80 % de la commande au chef. »

5. Ce qu'ils ont découvert

Les auteurs ont lancé des simulations (tests informatiques) pour voir si leur « stagiaire intelligent » fonctionnait.

Le Stagiaire Gagne : Le système utilisant cette méthode d'apprentissage était beaucoup plus rapide que les systèmes qui n'utilisaient pas le déchargement ou qui n'utilisaient pas les miroirs intelligents.
Plus de Miroirs = Plus Rapide : Ils ont constaté qu'ajouter plus de petits miroirs au mur (augmenter le nombre d'éléments de l'IRS) rendait le système encore plus rapide, réduisant le délai d'environ 10 % en passant de 8 miroirs à 80.
Convergence : Le stagiaire a commencé lentement mais a rapidement appris la meilleure stratégie et a cessé de faire des erreurs, se stabilisant à un temps de délai très bas.

Résumé

L'article affirme qu'en combinant un Miroir Intelligent (IRS) et un Haut-parleur Métamorphe (RHS) avec une IA d'Apprentissage (DDPG), on peut réduire considérablement le temps de traitement des données dans un réseau sans fil. L'IA apprend à jongler avec les miroirs, les haut-parleurs et la distribution des tâches pour que tout fonctionne le plus rapidement possible, surpassant ainsi les anciennes méthodes statiques.

Résumé Technique : Minimisation du Délai par Apprentissage par Renforcement pour le Déchargement de Calcul dans les Systèmes MEC Améliorés par IRS et RHS

Énoncé du Problème
L'article traite du défi consistant à minimiser le délai global d'exécution des tâches dans les systèmes de calcul en périphole mobile (MEC - Mobile Edge Computing) opérant sous des conditions de canaux sans fil défavorables. Bien que le MEC rapproche les ressources de calcul des utilisateurs, les performances sont souvent limitées par une transmission montante (uplink) peu fiable. Pour surmonter cela, les auteurs proposent un système amélioré par deux technologies émergentes : les surfaces réfléchissantes intelligentes (IRS - Intelligent Reflecting Surfaces) et les surfaces holographiques reconfigurables (RHS - Reconfigurable Holographic Surfaces).

Dans le cadre proposé, une station de base (BS) équipée d'une RHS dessert plusieurs utilisateurs dotés d'une antenne unique. Un IRS est déployé pour assister la communication montante. Les utilisateurs emploient une stratégie de déchargement partiel, où les tâches sont réparties entre le traitement local et le déchargement vers le serveur MEC. Le défi central est un problème d'optimisation conjointe impliquant trois variables de décision continues couplées :

Déphasages de l'IRS : Pour optimiser le chemin du signal réfléchi.
Amplitudes d'antenne de la RHS : Pour contrôler le formage de faisceau (beamforming) actif à la BS.
Ratios de déchargement des tâches : Déterminer la fraction de chaque tâche traitée localement par rapport à celle déchargée.

Le problème est caractérisé comme étant hautement non convexe et de haute dimension, rendant les méthodes d'optimisation conventionnelles intraitables pour les environaux de réseaux dynamiques.

Méthodologie
Pour résoudre le problème d'optimisation formulé, les auteurs développent un cadre d'apprentissage par renforcement (RL) basé sur le Gradient de Politique Déterministe Profond (DDPG - Deep Deterministic Policy Gradient). Le système est modélisé comme un processus de décision de Markov (MDP) avec les composants suivants :

Espace d'États ( $S$ ) : Comprend l'information d'état du canal (CSI - Channel State Information) instantanée pour les liaisons utilisateur-vers-BS directe, utilisateur-vers-IRS, et IRS-vers-BS, ainsi que les ressources de calcul disponibles au serveur MEC.
Espace d'Actions ( $A$ ) : Se compose de variables de contrôle continues : la matrice de déphasage de l'IRS, la matrice de contrôle d'amplitude de la RHS, et le vecteur des ratios de déchargage des tâches pour tous les utilisateurs.
Fonction de Récompense ( $r$ ) : Définie comme la négative de la somme de la latence totale du système (délai de calcul local + délai de calcul de bord/edge). Pour garantir la faisabilité, un terme de pénalité est ajouté à la fonction de récompense pour les violations de la contrainte de ressource de calcul totale du serveur MEC.
Algorithme : L'algorithme DDPG utilise une architecture acteur-critique (actor-critic). Le réseau acteur génère des actions continues, tandis que le réseau critique les évalue. L'entraînement est stabilisé grâce à des tampons de rejeu d'expérience (experience replay buffers) et des réseaux cibles avec des mises à jour douces (soft updates).

Contributions Clés
L'article expose quatre contributions principales :

Cadre Novateur : Proposition d'un cadre de déchargement de calcul assisté conjointement par IRS et RHS, spécifiquement conçu pour la minimisation du délai.
Formulation du Problème : Formulation mathématique d'un problème d'optimisation conjointe couvrant les déphasages de l'IRS, les amplitudes de la RHS et les décisions de déchargage des tâches sous des contraintes physiques et de ressources.
Solution Algorithmique : Développement d'une solution basée sur DDPG capable de gérer l'espace d'actions continu de haute dimension inhérent au problème.
Validation des Performances : Démonstration par des simulations que le design intégré proposé surpasse de manière significative les approches conventionnelles dans la réduction du délai d'exécution des tâches.

Résultats de Simulation
Des simulations numériques ont été menées en utilisant Python et PyTorch avec un système comprenant une BS avec 16 éléments RHS, un IRS avec 20 éléments réfléchissants, et plusieurs utilisateurs. Les principales conclusions incluent :

Convergence : L'algorithme proposé basé sur DDPG démontre une tendance claire à la convergence, avec un délai système diminuant au fil des itérations et se stabilisant à une valeur plus faible par rapport à une base de référence sans déchargement.
Impact de l'IRS : La comparaison des scénarios avec et sans assistance IRS montre que l'IRS réduit considérablement le délai du système en améliorant les conditions de canal et la propagation du signal.
Scalabilité : Augmenter le nombre d'éléments de l'IRS de 8 à 80 a entraîné une réduction du délai d'environ 10%, soulignant l'efficacité de l'extension de la surface réfléchissante.

Signification et Revendications
Les auteurs affirment que l'approche proposée répond efficacement aux limites des cadres d'optimisation statiques dans des conditions de réseau dynamiques et variables dans le temps. En intégrant l'IRS (pour l'amélioration de la liaison montante) et la RHS (pour un formage de faisceau/liaison descendante efficace) avec DDPG, le système parvient à une réduction synergique de la latence. L'article conclut que ce design intégré est une solution prometteuse pour les systèmes MEC de prochaine génération, offrant des réductions de latence significatives par rapport aux schémas conventionnels.

Les travaux futurs, comme noté par les auteurs, visent à étendre ce cadre à des scénarios plus dynamiques, incluant la mobilité des utilisateurs, les environnements multi-cellules et les stratégies avancées d'allocation de ressources.