💻 computer science

ER-Curriculum-DDQN for Critical Task Offloading in UAV-MEC via Transparent LEO Relays

Este artículo propone ER-Curriculum-DDQN, un marco de aprendizaje por refuerzo profundo que integra el enmascaramiento de factibilidad, características de presión de tareas críticas y aprendizaje de currículo guiado por reserva para optimizar la descarga de tareas en línea en sistemas UAV-MEC a través de relés LEO transparentes, maximizando así la tasa de finalización oportuna de las tareas críticas bajo estrictas restricciones de ventana de servicio.

Autores originales: Ziang Zhang, Zhenjiang Zhang, Jiaxing Du, Zhaoyuan Liu, Yujie Wang

Publicado 2026-09-23

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ziang Zhang, Zhenjiang Zhang, Jiaxing Du, Zhaoyuan Liu, Yujie Wang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En las vastas y silenciosas extensiones del cielo, donde la infraestructura terrestre se desvanece, un nuevo tipo de red está tomando forma. Imagine una flota de drones, o vehículos aéreos no tripulados, sobrevolando una zona de desastre o una remota cordillera, cargando con el peso de datos urgentes provenientes de sensores y cámaras. Estos drones actúan como computadoras voladoras, pero tienen límites. Para resolver problemas complejos, necesitan enviar sus pesados datos a potentes servidores en tierra o en la nube. Cuando el suelo está demasiado lejos o los caminos están bloqueados, estos drones miran hacia las estrellas en busca de ayuda. Se conectan a satélites de órbita baja que actúan como espejos transparentes, simplemente rebotando señales entre el dron y una puerta de enlace distante sin detenerse a procesar la información por sí mismos. Esto crea un puente fugaz, una estrecha ventana de tiempo donde el dron, el satélite y la estación terrestre están alineados. El desafío es que esta ventana es corta e implacable. Si un dron intenta enviar un archivo masivo y no urgente a través de este puente, podría bloquear toda la conexión durante la duración de la transacción. Si llega un mensaje de emergencia crítico mientras ese puente está ocupado, no podrá enviarse hasta que la primera tarea haya terminado, lo que podría hacer que se pierda un plazo vital para salvar vidas. La pregunta central para los científicos es cómo gestionar esta conexión escasa y de tiempo limitado para que los trabajos más importantes siempre logren pasar, incluso cuando el sistema está congestionado.

Investigadores de la Universidad Jiaotong de Beijing y de la Universidad de Armas del Ejército de la PLA han abordado este problema diseñando un sistema inteligente de toma de decisiones para estas redes voladoras. Se centraron en un escenario donde veinte drones trabajan juntos, compartiendo dos centros de computación basados en tierra y dos rutas satelitales. El sistema debe decidir, en el momento en que llega una nueva tarea, si procesarla localmente en el dron, enviarla a un servidor terrestre cercano o transmitirla a través del satélite. El detalle es que la ruta satelital opera bajo una estricta regla de "primero en llegar, primero en ser atendido" que no puede interrumpirse una vez iniciada. Si una tarea rutinaria es admitida en la ruta satelital, reserva toda la conexión para su viaje, bloqueando cualquier otra tarea, sin importar cuán crítica sea, hasta que el viaje de ida y vuelta se complete. Los investigadores necesitaban una forma de decir "no" a una tarea rutinaria para reservar la ruta satelital para una futura emergencia, todo ello sin saber qué tareas llegarían después.

Para resolver esto, el equipo desarrolló un nuevo método llamado ER-Curriculum-DDQN. Este es un tipo de inteligencia artificial que aprende mediante ensayo y error, pero con un conjunto específico de reglas para mantenerla anclada en la realidad. El sistema utiliza una "máscara de factibilidad", que actúa como un filtro que elimina instantáneamente cualquier elección imposible. Por ejemplo, si la ventana satelital está cerrada o la memoria local del dron está llena, el sistema simplemente no puede considerar esas opciones. Esto evita que la IA pierda tiempo pensando en acciones que fallarían debido a restricciones físicas. Más allá de saber qué es posible, el sistema rastrea una característica de "presión". Esta es una medida de cuánta demanda ha habido para la ruta satelital por parte de tareas críticas en el pasado reciente. Si el sistema detecta que las tareas críticas están llegando con frecuencia, se vuelve más cauteloso al permitir que las tareas rutinarias usen el satélite, efectivamente guardando el puente para las emergencias que podrían venir a continuación.

El proceso de aprendizaje en sí mismo fue guiado por un "currículo", una estrategia de enseñanza que comienza de forma simple y se vuelve más difícil. En las etapas iniciales del entrenamiento, se le dijo explícitamente a la IA que sintiera una penalización cada vez que permitía que una tarea rutinaria usara el satélite si esa acción aumentaba la presión en el sistema. Esto enseñó a la IA el valor de retener recursos. A medida que el entrenamiento progresaba, esta penalización explícita se iba desvaneciendo gradualmente, obligando a la IA a interiorizar la lección y a tomar las decisiones correctas basadas en los patrones aprendidos, en lugar de seguir una regla simple. El objetivo no era solo completar las tareas, sino asegurar que las más críticas se terminaran a tiempo.

Los investigadores probaron su sistema mediante extensas simulaciones por computadora, enfrentándolo a otros métodos conocidos y a enfoques basados en reglas simples. Variaron las condiciones, cambiando cuántas tareas llegaban por segundo, cuánto duraban las ventanas satelitales y qué proporción de las tareas eran emergencias críticas. En cada escenario, especialmente cuando el sistema estaba bajo una carga pesada o las ventanas satelitales eran muy cortas, el nuevo método superó a los demás. Logró la tasa más alta de finalización a tiempo para tareas críticas. Por ejemplo, cuando el número de tareas entrantes era alto y las ventanas satelitales eran estrechas, el nuevo sistema logró completar tareas críticas aproximadamente el 69% de las veces, mientras que otros métodos mostraban resultados significativamente inferiores. Los resultados demostraron que, al combinar un filtro estricto para movimientos imposibles con un sentido aprendido de la demanda futura, el sistema podía proteger los datos más importantes sin necesidad de conocer el futuro.

El estudio confirma que en estos entornos de alto riesgo y sensibles al tiempo, la mejor estrategia no es solo reaccionar a lo que está sucediendo en este momento, sino comprender la escasez de la conexión misma. Los investigadores encontraron que simplemente priorizar las tareas críticas dándoles pesos más altos no era suficiente; el sistema tenía que entender el costo de ocupar la ruta satelital con una tarea rutinaria. Al utilizar un enfoque de aprendizaje que respeta los límites físicos de la red y aprende de la historia de la demanda, los drones pueden tomar decisiones más inteligentes. Este trabajo no pretende haber resuelto todos los problemas de las comunicaciones espaciales, ni promete funcionar en todos los escenarios futuros posibles, pero demuestra una forma clara y efectiva de gestionar el delicado equilibrio entre el trabajo rutinario y las necesidades urgentes en una red donde el tiempo es el recurso más valioso.

Resumen Técnico: ER-Curriculum-DDQN para la descarga de tareas críticas en UAV-MEC mediante relés LEO transparentes

Planteamiento del problema
Esta investigación aborda el desafío de la descarga de tareas en línea en sistemas de Computación de Borde Móvil habilitados por Vehículos Aéreos No Tripulados (UAV-MEC) asistidos por relés de Órbita Terrestre Baja (LEO) transparentes. En escenarios donde la cobertura de borde terrestre es limitada, los relés LEO transparentes conectan a los UAV con recursos de la nube remotos. Sin embargo, estas conexiones están restringidas por ventanas de servicio conjuntas cortas y variables en el tiempo entre el relé y la puerta de enlace (gateway).

La dificultad central reside en la naturía atómica y no preventiva de estas ventanas de servicio. Una tarea admitida en una ruta de satélite (SAT) debe completar una transacción completa de solicitud-respuesta (transmisión, reenvío, procesamiento remoto, retorno de resultados e intervalos de guardia) dentro de una única ventana contigua. Una vez que una tarea no crítica es admitida, esta bloquea la ruta y reserva la capacidad contigua necesaria bajo semántica de Primero en Entrar, Primero en Salir (FIFO). Esto crea un compromiso crítico: admitir una tarea no crítica puede consumir la capacidad de servicio limitada requerida por una futura tarea Crítica y sensible al tiempo, la cual no puede prevenir la reserva existente. El sistema opera bajo incertidumbre, sin conocimiento previo de las llegadas de tareas futuras o de la disponibilidad de las ventanas, lo que requiere una política de decisión en línea que priorice la finalización oportuna de las tareas Críticas sin depender de predicciones futuras.

Metodología: ER-Curriculum-DDQN
Los autores proponen ER-Curriculum-DDQN, un marco de aprendizaje por refuerzo diseñado para resolver este Proceso de Decisión de Markov (MDP) enmascarado. La metodología integra cuatro componentes clave:

Modelo de Reserva FIFO con Bloqueo de Ruta: El sistema modela los servicios SAT con condiciones de factibilidad estrictas. Una tarea solo se admite en una ruta SAT si se puede garantizar que la transacción completa finalizará antes de que la ventana conjunta actual se cierre, considerando la "cola" de las reservas existentes.
Representación de Estado y Enmascaramiento de Factibilidad: El vector de estado incluye atributos de la tarea, estados locales del UAV, estados de la cola MEC compartida, estados de la ventana/reserva SAT y una novedosa característica de presión de demanda de SAT Crítica. Se aplica una máscara de factibilidad atómica al espacio de acciones (LOCAL, dos opciones de MEC, dos rutas SAT, DESCARTAR/DROP), la cual elimina estructuralmente las acciones inviables (por ejemplo, seleccionar una ruta SAT si la ventana es demasiado corta para la transacción) basándose únicamente en el estado causal actual, asegurando que el agente nunca seleccione acciones físicamente imposibles.
Característica de Presión de Demanda Crítica: Para anticipar la escasez de recursos sin predecir el futuro, el agente utiliza una característica de presión ( $q_s$ ). Esta métrica estima la relación entre la demanda esperada de tareas Críticas (basada en la intensidad de llegada histórica y la duración de la transacción) y la capacidad contigua actualmente disponible en una ruta SAT. Esto permite al agente aprender el "costo de oportunidad" de admitir tareas no críticas.
Currículo Guiado por Reservas: El proceso de entrenamiento emplea una estrategia de aprendizaje por currículo. Al principio del entrenamiento, se añade un término de penalización a la función de recompensa para las tareas no críticas que aumentan la presión en las rutas SAT. Este coeficiente se amortigua (se reduce gradualmente) a lo largo de los episodios de entrenamiento. Esto guía al Double DQN para que aprenda inicialmente el compromiso entre admitir tareas no críticas y proteger la capacidad para futuras tareas Críticas, dependiendo eventualmente de los valores Q aprendidos y las características del estado causal.

El algoritmo utiliza un núcleo de Double DQN para mitigar la sobreestimación de valores, donde la red en línea selecciona las acciones y la red objetivo las evalúa, todo ello restringido por la máscara de factibilidad.

Contribuciones Clave
El artículo detalla tres contribuciones principales:

Modelado del Sistema: Desarrollo de un modelo de reserva FIFO con bloqueo de ruta para la descarga mediante relé LEO transparente, tratando la cobertura, la capacidad de la cola y el cumplimiento de la transacción completa como restricciones de factibilidad estrictas.
Diseño del Algoritmo: Propuesta del algoritmo ER-Curriculum-DDQN, que combina de forma única una máscara de factibilidad atómica, una característica de presión de demanda crítica causal y un currículo de amortiguación de reservas para proteger los servicios Críticos futuros.
Validación del Desempeño: Demostración mediante simulaciones extensas de que el método propuesto logra un desempeño superior o igual al mejor de los referentes en la Tasa de Finalización Oportuna de Tareas Críticas (Critical-TCR) en comparación con otros métodos, particularmente en escenarios de alta carga, ventanas cortas y alta criticidad.

Resultados Experimentales
El estudio evalúa el método frente a varios modelos de referencia, incluyendo ER-Curriculum-PPO, Masked DDQN-Base y enfoques basados en reglas (WRAO, EFT-Greedy) a través de diversas tasas de llegada de tareas (8–24 tareas/s), duraciones de ventana de servicio conjunta (2.5–6.0 s) y proporciones de tareas Críticas (0.05–0.35).

Desempeño de Critical-TCR: ER-Curriculum-DDQN alcanzó consistentemente el mejor desempeño o empató en el mejor desempeño de Critical-TCR en todas las condiciones probadas. Por ejemplo, bajo una alta tasa de llegada de 24 tareas/s, mantuvo un Critical-TCR de aproximadamente 0.69, superando a otros métodos.
Robustez: El método demostró una mayor protección para las tareas Críticas en escenarios de alta carga y ventanas cortas en comparación con los métodos basados en PPO y en reglas.
Perspectivas de Ablación: Los resultados indicaron que el núcleo de Double DQN combinado con la máscara de factibilidad proporcionó las principales ganancias de desempeño, mientras que el diseño sensible a la presión y el currículo añadieron robustez.
Compromisos (Trade-offs): Aunque el método sobresalió en la satisfacción de tareas Críticas, el artículo señala un compromiso donde la Tasa de Finalización General (Overall-TCR, finalización de todas las clases de tareas) podría ser menor que la de algunos métodos basados en reglas que priorizan el rendimiento total sobre la protección de prioridad.

Significancia y Alcance
El artículo reclama su relevancia al abordar las restricciones específicas de la descarga asistida por relés transparentes en UAV-MEC, donde la atomicidad de las transacciones de solicitud-respuesta dentro de las ventanas conjuntas crea un problema de contención de recursos único, distinto de los escenarios estándar de computación de borde o computación integrada (onboard).

Los autores mantienen un alcance modesto, aclarando que:

La mejora es específica para la satisfacción de plazos de tareas Críticas, no necesariamente para el rendimiento general, la latencia o la eficiencia energética de todas las clases de tareas.
La solución se basa en información causal y en línea y no predice las llegadas de tareas futuras ni la disponibilidad de las ventanas.
La evaluación actual está limitada a ventanas conjuntas controladas y un espacio de acciones discretas fijo.
Se identifica como trabajo futuro la necesidad de abordar trazas de visibilidad realistas, sistemas de múltiples relés/múltiples nubes, asignación continua de recursos y particionamiento de tareas.

El estudio concluye que la integración de un enmascaramiento de factibilidad estructural con un currículo sensible a la presión en un marco de Double DQN permite aprender eficazmente el compromiso a largo plazo entre admitir tareas no críticas y reservar capacidad para los servicios críticos en redes aéreas-terrestres dinámicas.

Más como este