💻 computer science

ER-Curriculum-DDQN for Critical Task Offloading in UAV-MEC via Transparent LEO Relays

Cet article propose ER-Curriculum-DDQN, un cadre d'apprentissage par renforcement profond qui intègre le masquage de faisabilité, des caractéristiques de pression des tâches critiques et un apprentissage par curriculum guidé par réservation afin d'optimiser le déchargement de tâches en ligne dans les systèmes UAV-MEC via des relais LEO transparents, maximisant ainsi le taux d'achèvement opportun des tâches critiques sous des contraintes strictes de fenêtre de service.

Auteurs originaux : Ziang Zhang, Zhenjiang Zhang, Jiaxing Du, Zhaoyuan Liu, Yujie Wang

Publié 2026-09-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziang Zhang, Zhenjiang Zhang, Jiaxing Du, Zhaoyuan Liu, Yujie Wang

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans les vastes étendues silencieuses du ciel, là où l'infrastructure terrestre s'efface, un nouveau type de réseau est en train de prendre forme. Imaginez une flotte de drones, ou véhicules aériens sans pilote, planant au-dessus d'une zone de catastrophe ou d'une chaîne de montagnes reculée, transportant le poids de données urgentes provenant de capteurs et de caméras. Ces drones agissent comme des ordinateurs volants, mais ils ont des limites. Pour résoudre des problèmes complexes, ils doivent envoyer leurs données lourdes vers de puissants serveurs au sol ou dans le cloud. Lorsque le sol est trop éloigné ou que les routes sont bloquées, ces drones lèvent les yeux vers les étoiles pour obtenir de l'aide. Ils se connectent à des satellites en orbite basse qui agissent comme des miroirs transparents, renvoyant simplement les signaux entre le drone et une passerelle distante sans s'arrêter pour traiter l'information eux-mêmes. Cela crée un pont éphémère, une fenêtre de temps étroite où le drone, le satellite et la station au sol sont tous alignés. Le défi est que cette fenêtre est courte et impitoyable. Si un drone tente d'envoyer un fichier massif et non urgent via ce pont, il pourrait bloquer l'ensemble de la connexion pendant toute la durée de la transaction. Si un message d'urgence critique arrive pendant que ce pont est occupé, il ne peut pas être envoyé tant que la première tâche n'est pas terminée, risquant ainsi de manquer une échéance vitale. La question fondamentale pour les scientifiques est de savoir comment gérer cette connexion rare et limitée dans le temps afin que les tâches les plus importantes parviennent toujours à destination, même lorsque le système est encombré.

Des chercheurs de l'Université Jiaotong de Pékin et de l'Université des Armes de l'Armée de l'PLA ont abordé ce problème en concevant un système de prise de décision intelligent pour ces réseaux volants. Ils se sont concentrés sur un scénario où vingt drones travaillent ensemble, partageant deux centres de calcul au sol et deux voies satellitaires. Le système doit décider, dès qu'une nouvelle tâche arrive, s'il faut la traiter localement sur le drone, l'envoyer à un serveur terrestre proche ou la transmettre via le satellite. Le piège est que la voie satellite fonctionne selon une règle stricte du « premier arrivé, premier servi » qui ne peut être interrompue une fois commencée. Si une tâche de routine est admise sur la voie satellite, elle réserve l'intégralité de la connexion pour son voyage, bloquant toute autre tâche, quelle que soit son urgence, jusqu'à ce que l'aller-retour soit terminé. Les chercheurs avaient besoin d'un moyen de prédire quand dire « non » à une tâche de routine pour réserver la voie satellite pour une urgence future, tout en ne sachant pas quelles tâches arriveraient ensuite.

Pour résoudre cela, l'équipe a développé une nouvelle méthode appelée ER-Curriculum-DDQN. Il s'agit d'un type d'intelligence artificielle qui apprend par essais et erreurs, mais avec un ensemble spécifique de règles pour la maintenir ancrée dans la réalité. Le système utilise un « masque de faisabilité », qui agit comme un filtre éliminant instantanément les choix impossibles. Par exemple, si la fenêtre satellite est fermée ou si la mémoire locale du drone est pleine, le système ne peut tout simplement pas envisager ces options. Cela empêche l'IA de perdre du temps à réfléchir à des actions qui échoueraient en raison de contraintes physiques. Au-delà de savoir ce qui est possible, le système suit une caractéristique de « pression ». Il s'agit d'une mesure de la demande qui a été exercée sur la voie satellite par des tâches critiques dans un passé récent. Si le système détecte que des tâches critiques arrivent fréquemment, il devient plus prudent quant à l'utilisation de la voie satellite pour les tâches de routine, économisant ainsi le pont pour les urgences qui pourraient survenir ensuite.

Le processus d'apprentissage lui-même était guidé par un « curriculum », une stratégie d'enseignement qui commence de manière simple et devient de plus en plus difficile. Dans les premières étapes de l'entraînement, l'IA se voyait explicitement infliger une pénalité chaque fois qu'elle laissait une tâche de routine utiliser le satellite si cette action augmentait la pression sur le système. Cela a appris à l'IA la valeur de la rétention de ressources. À mesure que l'entraînement progressait, cette pénalité explicite s'estompait progressivement, forçant l'IA à intérioriser la leçon et à prendre les bonnes décisions en fonction des modèles appris, plutôt qu'en suivant une règle simple. L'objectif n'était pas seulement d'accomplir les tâches, mais de garantir que les plus critiques soient terminées à temps.

Les chercheurs ont testé leur système via des simulations informatiques approfondies, opposant leur méthode à d'autres méthodes connues et à des approches simples basées sur des règles. Ils ont varié les conditions, modifiant le nombre de tâches arrivant par seconde, la durée des fenêtres satellites et la proportion de tâches critiques. Dans chaque scénario, particulièrement lorsque le système était sous une charge lourde ou que les fenêtres satellites étaient très courtes, la nouvelle méthode les a surpassées. Elle a obtenu le taux le plus élevé de complétion à temps pour les tâches critiques. Par exemple, lorsque le nombre de tâches entrantes était élevé et que les fenêtres satellites étaient étroites, le nouveau système réussissait à compléter les tâches critiques environ 69 % du temps, alors que les autres méthodes affichaient des résultats nettement inférieurs. Les résultats ont montré qu'en combinant un filtre strict pour les mouvements impossibles avec un sens appris de la demande future, le système pouvait protéger les données les plus importantes sans avoir besoin de connaître l'avenir.

L'étude confirme que dans ces environnements à enjeux élevés et sensibles au facteur temps, la meilleure stratégie n'est pas seulement de réagir à ce qui se passe actuellement, mais de comprendre la rareté de la connexion elle-même. Les chercheurs ont constaté que le simple fait de prioriser les tâches critiques en leur donnant des poids plus élevés ne suffisait pas ; le système devait comprendre le coût de l'occupation de la voie satellite par une tâche de routine. En utilisant une approche d'apprentissage qui respecte les limites physiques du réseau et apprend de l'historique de la demande, les drones peuvent faire des choix plus intelligents. Ce travail ne prétend pas avoir résolu tous les problèmes des communications spatiales, ni promettre de fonctionner dans tous les scénarios futurs possibles, mais il démontre une manière claire et efficace de gérer l'équilibre délicat entre le travail de routine et les besoins urgents dans un réseau où le temps est la ressource la plus précieuse.

Résumé Technique : ER-Curriculum-DDQN pour le déchargement de tâches critiques dans les systèmes UAV-MEC via des relais LEO transparents

Énoncé du problème
Cette recherche traite du défi du déchargement de tâches en ligne dans les systèmes de calcul en périphérie mobile assistés par des drones (UAV-MEC) et des relais LEO (orbite terrestre basse) transparents. Dans les scénarios où la couverture de l'edge terrestre est limitée, les relais LEO transparents connectent les UAV à des ressources cloud distantes. Cependant, ces connexions sont contraintes par des fenêtres de service conjointes courtes et variables dans le temps entre le relais et la passerelle.

La difficulté centrale réside dans la nature atomique et non préemptive de ces fenêtres de service. Une tâche admise sur un chemin de satellite (SAT) doit achever une transaction complète requête-réponse (transmission, transfert, traitement distant, retour du résultat et intervalles de garde) au sein d'une seule fenêtre contiguë. Une fois qu'une tâche non critique est admise, elle verrouille le chemin et réserve la capacité contiguë nécessaire selon une sémantique FIFO (premier entré, premier sorti). Cela crée un arbitrage critique : l'admission d'une tâche non critique peut consommer la capacité de service limitée requise par une tâche Critique future et sensible au facteur temps, laquelle ne peut pas préempter la réservation existante. Le système fonctionne sous incertitude, sans connaissance préalable des arrivées de tâches futures ou de la disponibilité des fenêtres, nécessitant une politique de décision en ligne qui priorise l'achèvement opportun des tâches Critiques sans dépendre de prédictions futures.

Méthodologie : ER-Curriculum-DDQN
Les auteurs proposent ER-Curriculum-DDQN, un cadre d'apprentissage par renforcement conçu pour résoudre ce processus de décision de Markov masqué (MDP). La méthodologie intègre quatre composantes clés :

Modèle de réservation FIFO à verrouillage de chemin : Le système modélise les services SAT avec des conditions de faisabilité strictes. Une tâche n'est admise sur un chemin SAT que si la transaction complète peut être garantie comme terminée avant la fermeture de la fenêtre conjointe actuelle, en tenant compte de la « queue » des réservations existantes.
Représentation de l'état et masquage de faisabilité : Le vecteur d'état comprend les attributs de la tâche, les états locaux de l'UAV, les états de la file d'attente MEC partagée, les états de la fenêtre/réservation SAT, et une nouvelle caractéristique de pression de la demande SAT Critique. Un masque de faisabilité atomique est appliqué à l'espace d'action (LOCAL, deux options MEC, deux chemins SAT, DROP). Ce masque élimine structurellement les actions infaisables (par exemple, sélectionner un chemin SAT si la fenêtre est trop courte pour la transaction) en se basant uniquement sur l'état causal actuel, garantissant que l'agent ne sélectionne jamais d'actions physiquement impossibles.
Caractéristique de pression de la demande Critique : Pour anticiper la rareté des ressources sans prédire l'avenir, l'agent utilise une caractéristique de pression ( $q_s$ ). Cette métrique estime le ratio de la demande attendue des tâches Critiques (basée sur l'intensité historique des arrivées et la durée de la transaction) par rapport à la capacité contiguë actuellement disponible sur un chemin SAT. Cela permet à l'agent d'apprendre le « coût d'opportunité » de l'admission des tâches non critiques.
Curriculum guidé par la réservation : Le processus d'entraînement utilise une stratégie d'apprentissage par curriculum. Au début de l'entraînement, un terme de pénalité est ajouté à la fonction de récompense pour les tâches non critiques qui augmentent la pression sur les chemins SAT. Ce coefficient est amorti (réduit progressivement) au fil des épisodes d'entraînement. Cela guide le Double DQN pour qu'il apprenne initialement l'arbitrage entre l'admission des tâches non critiques et la protection de la capacité pour les tâches Critiques futures, pour finalement s'appuyer sur les valeurs Q apprises et les caractéristiques de l'état causal.

L'algorithme utilise une structure Double DQN pour atténuer la surestimation de la valeur, où le réseau en ligne sélectionne les actions et le réseau cible les évalue, le tout étant contraint par le masque de faisabilité.

Principales contributions
L'article expose trois contributions principales :

Modélisation du système : Développement d'un modèle de réservation FIFO à verrouillage de chemin pour le déchargement via relais LEO transparent, traitant la couverture, la capacité de la file d'attente et l'exécution de la transaction complète comme des contraintes de faisabilité strictes.
Conception de l'algorithme : Proposition de l'algorithme ER-Curriculum-DDQN, qui combine de manière unique un masque de faisabilité atomique, une caractéristique de pression de la demande critique causale et un curriculum de réservation amorti pour protéger les futurs services Critiques.
Validation des performances : Démonstration, via des simulations approfondies, que la méthode proposée atteint une performance supérieure ou égale à la meilleure performance en termes de taux d'achèvement opportun des tâches Critiques (Critical-TCR) par rapport aux modèles de référence, particulièrement dans les scénarios de charge élevée, de fenêtres courtes et de haute criticité.

Résultats expérimentaux
L'étude évalue la méthode par rapport à plusieurs modèles de référence, incluant ER-Curriculum-PPO, Masked DDQN-Base, ainsi que des approches basées sur des règles (WRAO, EFT-Greedy) à travers diverses variations de taux d'arrivée de tâches (8–24 tâches/s), de durées de fenêtre de service conjointe (2,5–6,0 s) et de ratios de tâches Critiques (0,05–0,35).

Performance du Critical-TCR : ER-Curriculum-DDQN a systématiquement obtenu le Critical-TCR le plus élevé ou égal au meilleur, dans toutes les conditions testées. Par exemple, sous un taux d'arrivée élevé de 24 tâches/s, il a maintenu un Critical-TCR d'environ 0,69, surpassant les autres méthodes.
Robustesse : La méthode a démontré une meilleure protection des tâches Critiques dans les scénarios de charge élevée et de fenêtres courtes par rapport aux méthodes basées sur PPO et les approches par règles.
Insights d'ablation : Les résultats indiquent que la structure Double DQN combinée au masque de faisabilité fournit les principaux gains de performance, tandis que la conception sensible à la pression et le curriculum ajoutent de la robustesse.
Compromis : Bien que la méthode excelle dans la satisfaction des tâches Critiques, l'article note un compromis où l'Overall-TCR (achèvement de toutes les classes de tâches) peut être inférieur à celui de certaines méthodes basées sur des règles qui privilégient le débit total plutôt que la protection des priorités.

Signification et Portée
L'article revendique une importance particulière en abordant les contraintes spécifiques des relais transparents assistés par UAV, où l'atomicité des transactions requête-réponse au sein des fenêtres conjointes crée un problème de contention de ressources unique, distinct des scénarios standards de calcul en périphérie ou de calcul embarqué.

Les auteurs maintiennent une portée modeste, précisant que :

L'amélioration est spécifique à la satisfaction des délais des tâches Critiques, et non nécessairement au débit global, à la latence ou à l'efficacité énergétique pour toutes les classes de tâches.
La solution repose sur des informations causales et en ligne et ne prédit pas les arrivées de tâches futures ou la disponibilité des fenêtres.
L'évaluation actuelle est limitée à des fenêtres conjointes contrôlées et à un espace d'action discret fixe.
Des travaux futurs sont nécessaires pour traiter les traces de visibilité réalistes, les systèmes multi-relais/multi-cloud, l'allocation de ressources continue et le partitionnement des tâches.

L'étude conclut qu'intégrer un masquage de faisabilité structurelle avec un curriculum sensible à la pression dans un cadre Double DQN permet d'apprendre efficacement l'arbitrage à long terme entre l'admission des tâches non critiques et la réservation de capacité pour les services critiques dans les réseaux aériens-terrestres dynamiques.

Articles similaires