Resumo Técnico: Descarregamento Dinâmico de Tarefas em Redes de Computação de Borda Veicular

Declaração do Problema

O artigo aborda o desafio crítico do descarregamento dinâmico de tarefas (dynamic task offloading) em redes de Computação de Borda Veicular (VEC). À medida que a Internet de Veículos (IoV) se expande, aplicações como condução autónoma, jogos imersivos e comunicação holográfica exigem uma Qualidade de Serviço (QoS) rigorosa, especificamente latências de ponta a ponta entre 10–100 ms, alta largura de banda e fiabilidade.

A dificuldade central reside na alta mobilidade dos veículos e na natureza dinâmica dos recursos de rede. Quando um veículo se desloca entre as áreas de cobertura das Unidades de Borda Rodoviária (RSU), as tarefas em curso podem falhar ou exigir retransmissão se o tempo de permanência (sojourn time) dentro do alcance de uma RSU não for previsto com precisão. As estratégias de escalonamento existentes baseiam-se frequentemente em pressupostos simplificados, como velocidades constantes ou mobilidade de caminho único, falhando ao não considerar os padrões de movimento complexos, bidirecionais e de múltiplos caminhos do tráfego real. Além disso, os veículos possuem recursos computacionais de bordo limitados, necessitando de decisões de descarregamento eficientes que equilibrem os prazos das tarefas (deadlines) com o consumo de energia e a latência.

Metodologia

1. Modelagem de Sistema e Mobilidade

Os autores modelam o ambiente VEC como uma rede de $V$ veículos móveis e $R$ RSUs conectadas a uma nuvem central.

• Modelo de Mobilidade: O movimento do veículo é modelado usando um Processo de Renovação de Markov (MRP). Isto permite a previsão de trajetórias de veículos e, crucialmente, o tempo de permanência ($\Delta^r_v$) que um veículo passa dentro da cobertura de uma RSU específica. A duração esperada da permanência é calculada com base em probabilidades de transição e distribuições de tempo entre RSUs.
• Modelo de Tarefa: As tarefas são definidas por tamanho de dados de entrada ($d_{r,t}$), carga computacional ($c_{r,t}$) e prazos ($\delta_{r,t}$). Uma tarefa pode ser executada localmente na RSU ou descarregada para um veículo específico.
• Função de Utilidade: Uma função de utilidade por tarefa é desenhada para recompensar o cumprimento de prazos e penalizar o consumo de energia:
  $$U_{r,t} = w_d \max\left(0, 1 - \frac{D_{r,t}}{\delta_{r,t} + \epsilon}\right) - w_e \frac{E_{r,t}}{E_{max}}$$
  onde $D_{r,t}$ é o atraso total (transmissão + execução) e $E_{r,t}$ é o custo de energia.

2. Formulação do Problema

O problema de descarregamento de tarefas é inicialmente formulado como um problema de Programação Linear Inteira (ILP) visando maximizar a utilidade geral do sistema enquanto satisfaz restrições de:

• Atribuição (cada tarefa deve ser processada exatamente uma vez).
• Conformidade com o prazo (deadline).
• Tempo de permanência (as tarefas descarregadas devem completar antes que o veículo saia do alcance da RSU).
• Capacidade computacional tanto das RSUs quanto dos veículos.

Os autores observam que este ILP é NP-difícil (NP-hard), e resolvê-lo diretamente via otimização convencional é computacionalmente proibitivo para redes dinâmicas de grande escala devido ao crescimento exponencial das variáveis de decisão e à necessidade de adaptação em tempo real.

3. Estrutura Proposta: A3C-Based DRL

Para superar as limitações da otimização estática, o artigo propõe um framework de Aprendizagem por Reforço Profundo (DRL) utilizando o algoritmo Asynchronous Advantage Actor-Critic (A3C).

• Processo de Decisão de Markov (MDP): O problema é mapeado para uma tupla MDP $(S, A, P, R, \gamma)$.
  • Espaço de Estados ($S$): Inclui localizações de veículos, velocidades, recursos computacionais/de armazenamento disponíveis nas RSUs e veículos, tarefas em fila e tempos de permanência previstos.
  • Espaço de Ações ($A$): Decisões para descarregar uma tarefa para um veículo específico ou processá-la localmente.
  • Função de Recompensa ($R$): Derivada da função de utilidade, equilibrando a redução de atraso e a eficiência energética.
• Arquitetura A3C: O framework utiliza múltiplos agentes de trabalho (workers) paralelos (representando veículos/RSUs) que interagem com o ambiente de forma assíncrona. Cada worker mantém redes de política e de valor locais, acumulando gradientes baseados em vantagens computadas antes de atualizar uma rede global partilhada. Esta abordagem assíncrona acelera a aprendizagem e melhora a estabilidade em ambientes dinâmicos comparativamente aos métodos síncronos.

Principais Contribuições

1. Modelagem Consciente da Mobilidade: A integração de um Processo de Renovação de Markov para prever com precisão os tempos de permanência e caminhos de viagem dos veículos, indo além dos pressupostos simplificados de velocidade constante.
2. Formulação ILP: Desenvolvimento de uma formulação matemática ILP para o problema de descarregamento de tarefas que incorpora explicitamente prazos de tarefas, tempos de permanência de veículos e restrições de recursos.
3. Escalonamento Baseado em A3C: Design de um framework de aprendizagem por reforço profundo usando A3C para resolver o problema de escalonamento NP-difícil. A abordagem aproveita a aprendizagem paralela para se adaptar às condições dinâmicas de rede e otimizar o compromisso entre latência e energia.
4. Avaliação Abrangente: Simulações extensas comparando a abordagem A3CRL proposta contra quatro algoritmos de base: DDPG, DDQN, SA-PSO (Simulated Annealing Particle Swarm Optimization) e GA (Genetic Algorithm).

Resultados de Desempenho

As simulações foram conduzidas num ambiente Python com números variados de veículos (10–50), tarefas (50–250) e velocidades de veículos (30–70 km/h). O framework A3CRL demonstrou um desempenho superior em todas as métricas:

• Atraso de Serviço: O A3CRL alcançou uma redução de até 19% no atraso de serviço em comparação com o segundo melhor método (DDQN) ao variar a densidade de veículos, e até 29% de redução ao variar a carga de tarefas.
• Consumo de Energia: O framework melhorou a eficiência energética em até 35% (vs. mudanças na densidade de veículos) e 40% (vs. mudanças na carga de tarefas) em comparação com as bases, atribuído à sua função de objetivo consciente da energia e ao descarregamento eficiente de tarefas.
• Taxa de Descarregamento Bem-sucedido: O A3CRL manteve a maior percentagem de tarefas completadas com sucesso, mostrando melhorias de até 13% sobre a segunda melhor estratégia. Isto é atribuído à capacidade do algoritmo de selecionar veículos com ligações estáveis e recursos suficientes com base nos tempos de permanência previstos.
• Convergência: Em termos de convergência de treino, o A3CRL alcançou uma recompensa média mais alta (11.64 vs. 11.21 para o DDQN) com menor variância (0.39 vs. 0.46), indicando uma aprendizagem mais estável e eficaz.

Significância e Alegações

O artigo alega que o framework baseado em A3C oferece uma solução escalável, adaptável e eficiente para o escalonamento de tarefas em tempo real em redes VEC. Ao integrar a previsão de mobilidade (tempo de permanência) diretamente no processo de decisão de descarregamento, o framework aborda as limitações dos métodos existentes que frequentemente ignoram a natureza dinâmica do movimento dos veículos ou dependem de estratégias gananciosas (greedy) que falham em escalar.

Os autores enfatizam que, embora as técnicas de otimização tradicionais (como ILP) sejam teoricamente sólidas, são impraticáveis para ambientes IoV de grande escala e dinâmicos devido ao overhead computacional. A abordagem DRL proposta preenche eficazmente esta lacça, permitindo que agentes inteligentes aprendam políticas de descarregamento ótimas através da interação com o ambiente. Os resultados sugerem que a aprendizagem por reforço profundo, especificamente o A3C, possui um potencial significativo para gerir as complexidades do descarregamento de tarefas em larga escala em redes de computação de borda veicular.

O artigo conclui modestamente, observando que trabalhos futuros investigarão a otimização multiobjetivo, estratégias de descarregamento cooperativo e validação experimental para aumentar ainda mais a robustez em ambientes dinâmicos práticos.