💻 computer science

ER-Curriculum-DDQN for Critical Task Offloading in UAV-MEC via Transparent LEO Relays

Este artigo propõe o ER-Curriculum-DDQN, um framework de aprendizado por reforço profundo que integra mascaramento de viabilidade, recursos de pressão de tarefas críticas e aprendizado de currículo guiado por reserva para otimizar o descarregamento de tarefas online em sistemas UAV-MEC via relés LEO transparentes, maximizando, assim, a razão de conclusão oportuna de tarefas críticas sob restrições rigorosas de janela de serviço.

Autores originais: Ziang Zhang, Zhenjiang Zhang, Jiaxing Du, Zhaoyuan Liu, Yujie Wang

Publicado 2026-09-23

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ziang Zhang, Zhenjiang Zhang, Jiaxing Du, Zhaoyuan Liu, Yujie Wang

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nas vastas e silenciosas extensões do céu, onde a infraestrutura terrestre desaparece, um novo tipo de rede está tomando forma. Imagine uma frota de drones, ou veículos aéreos não tripulados, pairando sobre uma zona de desastre ou uma cordilheira remota, carregando o peso de dados urgentes de sensores e câmeras. Esses drones atuam como computadores voadores, mas possuem limites. Para resolver problemas complexos, eles precisam enviar seus dados pesados para servidores poderosos no solo ou na nuvem. Quando o solo está muito longe ou as estradas estão bloqueadas, esses drones olham para as estrelas em busca de ajuda. Eles se conectam a satélites de órbita baixa que atuam como espelhos transparentes, simplesmente refletindo sinais entre o drone e um gateway distante sem interromper o processamento da informação em si. Isso cria uma ponte fugaz, uma janela estreita de tempo onde o drone, o satélite e a estação terrestre estão todos alinhados. O desafio é que essa janela é curta e implacável. Se um drone tentar enviar um arquivo massivo e não urgente através desta ponte, ele pode travar toda a conexão durante a transação. Se uma mensagem de emergência crítica chegar enquanto essa ponte estiver ocupada, ela não poderá ser enviada até que a primeira tarefa seja concluída, podendo perder um prazo vital para salvar vidas. A questão central para os cientistas é como gerenciar essa conexão escassa e de tempo limitado para que os trabalhos mais importantes sempre consigam passar, mesmo quando o sistema está congestionado.

Pesquisadores da Universidade Jiaotong de Pequim e da Universidade de Armas do Exército da PLA abordaram este problema projetando um sistema inteligente de tomada de decisão para essas redes voadoras. Eles focaram em um cenário onde vinte drones trabalham juntos, compartilhando dois centros de computação baseados no solo e dois caminhos de satélite. O sistema deve decidir, no momento em que uma nova tarefa chega, se deve processá-la localmente no drone, enviá-la para um servidor de solo próximo ou encaminhá-la através do satélite. A armadilha é que o caminho do satélite opera sob uma regra estrita de "primeiro a chegar, primeiro a ser servido" que não pode ser interrompida uma vez iniciada. Se uma tarefa de rotina for admitida no caminho do satélite, ela reserva toda a conexão para sua jornada, bloqueando qualquer outra tarefa, não importa quão crítica seja, até que a viagem de ida e volta seja concluída. Os pesquisadores precisavam de uma maneira de prever quando dizer "não" a uma tarefa de rotina para salvar o caminho do satélite para uma futura emergência, tudo isso sem saber quais tarefas chegariam a seguir.

Para resolver isso, a equipe desenvolveu um novo método chamado ER-Curriculum-DDQN. Este é um tipo de inteligência artificial que aprende por tentativa e erro, mas com um conjunto específico de regras para mantê-la fundamentada na realidade. O sistema utiliza uma "máscara de viabilidade", que atua como um filtro que remove instantaneamente quaisquer escolhas impossíveis. Por exemplo, se a janela do satélite estiver fechada ou a memória local do drone estiver cheia, o sistema simplesmente não pode considerar essas opções. Isso evita que a IA perca tempo pensando em ações que falhariam devido a restrições físicas. Além de saber o que é possível, o sistema monitora um recurso de "pressão". Esta é uma medida de quanta demanda houve pelo caminho do satélite por parte de tarefas críticas no passado recente. Se o sistema sente que as tarefas críticas estão chegando com frequência, ele se torna mais cauteloso ao permitir que tarefas de rotina usem o satélite, efetivamente guardando a ponte para as emergências que podem vir a seguir.

O próprio processo de aprendizado foi guiado por um "currículo", uma estratégia de ensino que começa simples e se torna mais difícil. Nos estágios iniciais do treinamento, a IA era explicitamente instruída a sentir uma penalidade sempre que permitia que uma tarefa de rotina usasse o satélite se essa ação aumentasse a pressão no sistema. Isso ensinou à IA o valor de reter recursos. À medida que o treinamento progredia, essa penalidade explícita era gradualmente removida, forçando a IA a internalizar a lição e tomar as decisões corretas com base nos padrões que aprendeu, em vez de apenas seguir uma regra simples. O objetivo não era apenas concluir as tarefas, mas garantir que as mais críticas fossem finalizadas a tempo.

Os pesquisadores testaram seu sistema através de extensas simulações de computador, colocando-o contra outros métodos conhecidos e abordagens baseadas em regras simples. Eles variaram as condições, alterando quantos tarefas chegavam por segundo, quanto tempo as janelas de satélite duravam e qual era a proporção de tarefas críticas de emergência. Em todos os cenários, especialmente quando o sistema estava sob carga pesada ou as janelas de satélite eram muito curtas, o novo método superou os outros. Ele alcançou a maior taxa de conclusão no prazo para tarefas críticas. Por exemplo, quando o número de tarefas recebidas era alto e as janelas de satélite eram apertadas, o novo sistema conseguiu concluir tarefas críticas cerca de 69% das vezes, enquanto outros métodos apresentaram resultados significativamente inferiores. Os resultados mostraram que, ao combinar um filtro rigoroso para movimentos impossíveis com um senso aprendido de demanda futura, o sistema poderia proteger os dados mais importantes sem precisar conhecer o futuro.

O estudo confirma que, nesses ambientes de alto risco e sensíveis ao tempo, a melhor estratégia não é apenas reagir ao que está acontecendo agora, mas entender a escassez da própria conexão. Os pesquisadores descobriram que simplesmente priorizar tarefas críticas dando a elas pesos maiores não era suficiente; o sistema precisava entender o custo de ocupar o caminho do satélite com uma tarefa de rotina. Ao usar uma abordagem de aprendizado que respeita os limites físicos da rede e aprende com o histórico de demanda, os drones podem fazer escolhas mais inteligentes. Este trabalho não afirma ter resolvido todos os problemas de comunicações espaciais, nem promete funcionar em todos os possíveis cenários futuros, mas demonstra uma maneira clara e eficaz de gerenciar o delicado equilíbrio entre o trabalho de rotina e as necessidades urgentes em uma rede onde o tempo é o recurso mais valioso.

Resumo Técnico: ER-Curriculum-DDQN para Descarregamento de Tarefas Críticas em UAV-MEC via Relés LEO Transparentes

Definição do Problema
Esta pesquisa aborda o desafio do descarregamento de tarefas online em sistemas de Computação de Borda Móvel auxiliados por Veículos Aéreos Não Tripulados (UAV-MEC) com o auxílio de relés de Órbita Terrestre Baixa (LEO) transparentes. Em cenários onde a cobertura de borda terrestre é limitada, os relés LEO transparentes conectam os UAVs a recursos de nuvem remotos. No entanto, essas conexões são limitadas por janelas de serviço conjuntas curtas e variáveis no tempo entre o relé e o gateway.

A dificuldade central reside na atomicidade e natureza não preemptiva dessas janelas de serviço. Uma tarefa admitida em um caminho de satélite (SAT) deve completar uma transação completa de requisição-resposta (transmissão, encaminhamento, processamento remoto, retorno do resultado e intervalos de guarda) dentro de uma única janela contígua. Uma vez que uma tarefa não crítica é admitida, ela bloqueia o caminho e reserva a capacidade contígua necessária sob semântica FIFO (Primeiro a Entrar, Primeiro a Sair). Isso cria um compromisso crítico: admitir uma tarefa não crítica pode consumir a capacidade de serviço limitada necessária para uma futura tarefa Crítica e sensível ao tempo, que não pode preempter a reserva existente. O sistema opera sob incerteza, sem conhecimento prévio de chegadas futuras de tarefas ou disponibilidade de janelas, necessitando de uma política de decisão online que priorize a conclusão oportuna de tarefas Críticas sem depender de previsões futuras.

Metodologia: ER-Curriculum-DDQN
Os autores propõem o ER-Curriculum-DDQN, um framework de aprendizado por reforço projetado para resolver este Processo de Decisão de Markov (MDP) mascarado. A metodologia integra quatro componentes principais:

Modelo de Reserva FIFO com Bloqueio de Caminho: O sistema modela serviços SAT com condições de viabilidade rígidas. Uma tarefa só é admitida em um caminho SAT se a transação completa puder ser garantida como finalizada antes do fechamento da janela conjunta atual, considerando a "cauda" das reservas existentes.
Representação de Estado e Mascaramento de Viabilidade: O vetor de estado inclui atributos da tarefa, estados locais do UAV, estados de fila MEC compartilhados, estados de janela/reserva SAT e um novo recurso de pressão de demanda de SAT Crítica. Um máscara de viabilidade atômica é aplicada ao espaço de ação (LOCAL, duas opções de MEC, dois caminhos SAT, DROP). Esta máscara elimina estruturalmente ações inviáveis (ex: selecionar um caminho SAT se a janela for muito curta para a transação) baseando-se exclusivamente no estado causal atual, garantindo que o agente nunca selecione ações fisicamente impossíveis.
Recurso de Pressão de Demanda Crítica: Para antecipar a escassez de recursos sem prever o futuro, o agente utiliza um recurso de pressão ( $q_s$ ). Esta métrica estima a razão entre a demanda esperada de tarefas Críticas (baseada na intensidade de chegada histórica e duração da transação) e a capacidade contígua atualmente disponível em um caminho SAT. Isso permite que o agente aprenda o "custo de oportunidade" de admitir tarefas não críticas.
Currículo Guiado por Reserva: O processo de treinamento emprega uma estratégia de aprendizado por currículo. No início do treinamento, um termo de penalidade é adicionado à função de recompensa para tarefas não críticas que aumentam a pressão nos caminhos SAT. Este coeficiente é suavizado (reduzido gradualmente) ao longo dos episódios de treinamento. Isso guia o Double DQN para aprender inicialmente o compromisso entre admitir tarefas não críticas e proteger a capacidade para futuras tarefas Críticas, eventualmente dependendo dos valores Q aprendidos e dos recursos de estado causal.

O algoritmo utiliza um backbone Double DQN para mitigar a superestimação de valor, com a rede online selecionando ações e a rede alvo avaliando-as, todas restringidas pela máscara de viabilidade.

Principais Contribuições
O artigo descreve três contribuições primárias:

Modelagem do Sistema: Desenvolvimento de um modelo de reserva FIFO com bloqueio de caminho para descarregamento via relé LEO transparente, tratando cobertura, capacidade de fila e cumprimento de transação completa como restrições de viabilidade rígidas.
Design do Algoritmo: Proposta do algoritmo ER-Curriculum-DDQN, que combina unicamente uma máscara de viabilidade atômica, um recurso de pressão de demanda crítica causal e um currículo de reserva suavizado para proteger serviços Críticos futuros.
Validação de Desempenho: Demonstração através de simulações extensas de que o método proposto alcança desempenho superior ou igual ao melhor entre os baselines na Razão de Conclusão Oportuna de Tarefas Críticas (Critical-TCR), particularmente em cenários de alta carga, janelas curtas e alta criticidade.

Resultos Experimentais
O estudo avalia o método contra vários baselines, incluindo ER-Curriculum-PPO, Masked DDQN-Base e abordagens baseadas em regras (WRAO, EFT-Greedy) através de várias taxas de chegada de tarefas (8–24 tarefas/s), durações de janela de serviço conjunta (2.5–6.0 s) e razões de tarefas Críticas (0.05–0.35).

Desempenho de Critical-TCR: O ER-Curriculum-DDQN consistentemente alcançou o maior ou o melhor desempenho empatado em Critical-TCR em todas as condições testadas. Por exemplo, sob uma alta taxa de chegada de 24 tarefas/s, manteve um Critical-TCR de aproximadamente 0.69, superando outros métodos.
Robustez: O método demonstrou maior proteção para tarefas Críticas em cenários de alta carga e janelas curtas em comparação com métodos baseados em PPO e baseados em regras.
Insights de Ablação: Os resultados indicaram que o backbone Double DQN combinado com a máscara de viabilidade forneceu os principais ganhos de desempenho, enquanto o design sensível à pressão e o currículo adicionaram robustez.
Compromissos (Trade-offs): Embora o método tenha se destacado na satisfação de tarefas Críticas, o artigo observa um compromisso onde o Overall-TCR (conclusão de todas as classes de tarefas) pode ser inferior ao de alguns métodos baseados em regras que priorizam o throughput total sobre a proteção de prioridade.

Significância e Escopo
O artigo reivindica significância ao abordar as restrições específicas de descarregamento em UAV-MEC assistido por relé transparente, onde a atomicidade das transações de requisição-resposta dentro de janelas conjuntas cria um problema de contenção de recursos único, distinto de cenários padrão de computação de borda ou computação embarcada.

Os autores mantêm um escopo modesto, esclarecendo que:

A melhoria é específica para a satisfação de prazos de tarefas Críticas, não necessariamente para o throughput geral, latência ou eficiência energética para todas as classes de tarefas.
A solução baseia-se em informações causais e online e não prevê chegadas futuras de tarefas ou disponibilidade de janelas.
A avaliação atual é limitada a janelas conjuntas controladas e um espaço de ação discreto fixo.
Trabalhos futuros são identificados como necessários para abordar traços de visibilidade realistas, sistemas de múltiplos relés/múltiplas nuvens, alocação de recursos contínua e particionamento de tarefas.

O estudo conclui que a integração de mascaramento de viabilidade estrutural com um currículo sensível à pressão em um framework Double DQN aprende efetivamente o compromisso de longo prazo entre admitir tarefas não críticas e reservar capacidade para serviços críticos em redes aéreas-terrestres dinâmicas.

Mais como este