Multi-Timescale Latent-Action DRL for Joint Optimization in Edge-Cloud Networks

Resumo Técnico: DRL de Ação Latente em Múltiplos Escalas de Tempo para Otimização Conjunta em Redes Edge-Cloud

Declaração do Problema
Sistemas de Computação Hierárquica Edge–Cloud (HECC) enfrentam uma degradação significativa de desempenho devido ao desequilíbrio de carga entre os servidores de borda (ESs) e o servidor em nuvem (CS), particularmente sob chegadas dinâmicas de tarefas e restrições de recursos heterogêneas. Este desequilíbrio leva a atrasos severos de enfileiramento, utilização ineficiente de recursos e aumento da latência de ponta a ponta (e2e). As abordagens existentes frequentemente abordam partes do problema — como o descarregamento de tarefas (offloading) ou o posicionamento de serviços de forma isolada — ou dependem de configurações fixas que não conseguem se adaptar a ambientes de Internet das Coisas (IoT) dinâmicos e de larga escala.

Os autores formulam um problema de Posicionamento de Serviço, Delegação Computacional e Controle de Potência Conjuntos (JSCP) para minimizar a latência média de e2e. Este problema é caracterizado como um desafio de otimização não convexo de números inteiros mistos e NP-difícil. A dificuldade surge do forte acoplamento entre variáveis discretas (posicionamento de serviço, associação de usuário, decisões de delegação computacional) e variáveis contínuas (potência de transmissão do usuário), bem como o crescimento exponencial do espaço de ações em redes de larga escala.

Metodologia
Para abordar a intratabilidade do problema JSCP, o artigo propõe um framework de Aprendizado por Reforço Profundo de Camadas Múltiplas com Duas Escalas de Tempo e Espaço de Ação Latente (2T-MDRL-LA). A metodologia é construída sobre os seguintes pilares:

1. Decomposição do Problema: Os autores exploram a diferença inerente nas dinâmicas de decisão para decompor o problema JSCP em:

   • Subproblema de Longo Prazo (L-SP): Otimiza a configuração do sistema, incluindo posicionamento de serviço, associação de usuário e delegação computacional (cooperação ES–ES e ES–CS). Essas decisões mudam lentamente para manter a estabilidade do sistema.
   • Subproblema de Curto Prazo (S-SP): Otimiza as decisões de descarregamento de tarefas (offloading) e a potência de transmissão do usuário para se adaptar às condições de canal sem fio variantes no tempo e às chegadas imediatas de tarefas.

2. Reformulação Estrutural: Para tornar o problema tratável, os autores introduzem lemas estruturais (Lemas 1–3) que caracterizam as relações entre as variáveis de decisão binárias. Esses lemas permitem a decomposição de acoplamentos fortes, simplificando as expressões de latência e reduzindo a redundância da região factível.

3. Representação de Ação Latente: Para o subproblema de longo prazo, o espaço de ação é combinatório e de alta dimensão. Para gerenciar isso, o framework utiliza um Autoencoder Variacional (VAE) para comprimir o espaço de ação discreto de alta dimensão em um espaço latente de baixa dimensão.

   • Um agente Latent Action PPO (LA-PPO) opera neste espaço latente.
   • O agente gera um vetor latente contínuo, que é decodificado em um vetor de ação binário e mapeado para uma configuração específica do sistema por meio de uma tabela de mapeamento de ações pré-construída.
   • Esta abordagem permite uma exploração eficiente e um aprendizado escalável em redes de larga escala.

4. Otimização de Curto Prazo: O subproblema de curto prazo, envolvendo variáveis binárias mistas (offloading) e contínuas (potência), é resolvido usando um agente Proximal Policy Optimization (PPO) padrão, escolhido por sua estabilidade e eficácia no controle contínuo.

Principais Contribuições

• Framework Unificado: O artigo desenvolve um modelo de delegação computacional para redes IoT habilitadas para HECC que captura conjuntamente o posicionamento de serviço, a associação de usuário e a cooperação entre as camadas de usuário, borda e nuvem, abordando explicitamente o desequilíbrio de carga sob restrições de recursos, custo e QoS.
• DRL de Duas Escalas de Tempo com Ações Latentes: Os autores propõem o framework 2T-MDRL-LA. Ao integrar o PPO com uma representação de ação latente baseada em VAE, o framework lida efetivamente com o forte acoplamento entre decisões discretas e contínuas, permitindo o aprendizado escalável em redes de larga escala onde os métodos convencionais de DRL enfrentam dificuldades com a complexidade do espaço de ação.
• Decomposição Estrutural: A derivação de lemas estruturais permite a reformulação do problema JSCP NP-difícil em subproblemas decomponíveis, facilitando a aplicação de técnicas de DRL a um problema de inteiros mistos não convexo anteriormente intratável.

Resultados Numéricos
Simulações extensas foram conduzidas para avaliar o framework proposto contra esquemas de referência, incluindo Branch-and-Bound (BnB) para comparação de otimalidade, várias combinações de DRL (DDQN, PPO sem ações latentes) e esquemas sem otimização de posicionamento de serviço ou delegação computacional.

• Desempenho vs. Otimalidade: O Algoritmo 1 proposto (LA-PPO-PPO) atinge um desempenho próximo ao ótimo, com um gap de otimalidade observado de aproximadamente 4% em relação à solução BnB, oferecendo simultaneamente uma complexidade computacional significativamente menor.
• Redução de Latência: O framework alcança uma redução de até 20,8% na latência média de e2e em comparação com um esquema sem delegação computacional (w/o CDO).
• Utilização de Recursos: O método proposto melhora a utilização de recursos em aproximadamente 13% em relação ao esquema w/o CDO.
• Velocidade de Convergência: O framework converge aproximadamente 50% mais rápido do que o PPO convencional (sem espaço de ação latente), demonstrando a eficácia do design de ação latente na redução da dimensionalidade do espaço de ação.
• Escalabilidade: O método supera consistentemente os esquemas de linha de base conforme o número de usuários aumenta e sob taxas de chegada de tarefas variadas e capacidades de computação de borda heterogêneas.

Significância
O artigo afirma que o framework 2T-MDRL-LA proposto aborda efetivamente os desafios críticos de desequilíbrio de carga e acoplamento de decisão em sistemas HECC dinâmicos. Ao desacoplar a configuração de longo prazo da alocação de recursos de curto prazo e utilizar espaços de ação latentes para gerenciar a complexidade combinatória, o framework fornece uma solução escalável e adaptável para otimização conjunta. Os resultados sugerem que combinar a otimização de múltiplas escalas de tempo com o aprendizado de ação latente é uma estratégia viável para alcançar um desempenho próximo ao ótimo em redes edge-cloud dinâmicas e de larga escala sem o custo computacional proibitivo dos métodos de otimização exata.