RL-Based Delay Minimization for Computation Offloading in IRS- and RHS-Enhanced MEC Systems

Resumo Técnico: Minimização de Atraso Baseada em RL para Descarregamento de Computação em Sistemas MEC Aprimorados por IRS e RHS

Enunciado do Problema
O artigo aborda o desafio de minimizar o atraso total de execução de tarefas em sistemas de Computação de Borda Móvel (MEC) que operam sob condições desfavoráveis de canais sem fio. Embora a MEC traga recursos computacionais para mais perto dos usuários, o desempenho é frequentemente limitado pela transmissão de uplink não confiável. Para superar isso, os autores propõem um sistema aprimorado por duas tecnologias emergentes: Superfícies Reflexivas Inteligentes (IRS) e Superfícies Holográficas Reconfiguráveis (RHS).

No framework proposto, uma Estação Base (BS) equipada com uma RHS atende a múltiplos usuários de antena única. Uma IRS é implantada para auxiliar a comunicação de uplink. Os usuários utilizam uma estratégia de descarregamento parcial (partial offloading), onde as tarefas são divididas entre o processamento local e o descarregamento para o servidor MEC. O desafio central é um problema de otimização conjunta envolvendo três variáveis de decisão contínuas e acopladas:

1. Deslocamentos de Fase da IRS: Para otimizar o caminho do sinal refletido.
2. Amplitudes de Antena da RHS: Para controlar o beamforming ativo na BS.
3. Razões de Descarregamento de Tarefas: Determinar a fração de cada tarefa processada localmente versus a descarregada.

O problema é caracterizado como altamente não convexo e de alta dimensão, tornando os métodos de otimização convencionais intratáveis para ambientes de rede dinâmicos.

Metodologia
Para resolver o problema de otimização formulado, os autores desenvolvem um framework de Aprendizado por Reforço (RL) baseado em Gradiente de Política Determinística Profunda (DDPG). O sistema é modelado como um Processo de Decisão de Markov (MDP) com os seguintes componentes:

• Espaço de Estados ($S$): Inclui a Informação de Estado do Canal (CSI) instantânea para os links usuário-BS direta, usuário-IRS e IRS-BS.
• Espaço de Ações ($A$): Consiste em variáveis de controle contínuas: a matriz de deslocamento de fase da IRS, a matriz de controle de amplitude da RHS e o vetor de razões de descarregamento de tarefas para todos os usuários.
• Função de Recompensa ($r$): Definida como o negativo da soma do atraso total do sistema (atraso de computação local + atraso de computação de borda). Para garantir a viabilidade, um termo de penalidade é adicionado à função de recompensa para violações da restrição de recurso computacional total do servidor MEC.
• Algoritmo: O algoritmo DDPG utiliza uma arquitetura ator-crítico. A rede ator gera ações contínuas, enquanto a rede crítico as avalia. O treinamento é estabilizado usando buffers de replay de experiência e redes alvo com atualizações suaves.

Principais Contribuições
O artigo descreve quatro contribuições primárias:

1. Novo Framework: Proposta de um framework MEC assistido conjuntamente por IRS–RHS especificamente projetado para a minimização de atraso.
2. Formulação do Problema: Formulação matemática de um problema de otimização conjunta cobrindo deslocamentos de fase da IRS, amplitudes da RHS e decisões de descarregamento de tarefas sob restrições físicas e de recursos.
3. Solução Algorítmica: Desenvolvimento de uma solução baseada em DDPG capaz de lidar com o espaço de ação contínuo de alta dimensão inerente ao problema.
4. Validação de Desempenho: Demonstração através de simulações de que o design integrado proposto supera significativamente as abordagens convencionais na redução do atraso de execução de tarefas.

Resultos de Simulação
Simulações numéricas foram conduzidas usando Python e PyTorch com um sistema composto por uma BS com 16 elementos RHS, uma IRS com 20 elementos reflexivos e múltiplos usuários. As principais descobertas incluem:

• Convergência: O algoritmo proposto baseado em DDPG demonstra uma clara tendência de convergência, com o atraso do sistema diminuindo ao longo das iterações e estabilizando em um valor inferior comparado a uma linha de base sem descarregamento.
• Impacto da IRS: Comparando cenários com e sem assistência de IRS, mostra-se que a IRS reduz significamente o atraso do sistema ao melhorar as condições do canal e a propagação do sinal.
• Escalabilidade: Aumentar o número de elementos da IRS de 8 para 80 resultou em uma redução de aproximadamente 10% no atraso, destacando a eficácia da escala da superfície reflexiva.

Significância e Alegações
Os autores afirmam que a abordagem proposta aborda efetivamente as limitações dos frameworks de otimização estática em condições de rede dinâmicas e variantes no tempo. Ao integrar IRS (para o aprimoramento do uplink) e RHS (para downlink eficiente/beamforming) com DDPG, o sistema alcança uma redução sinérgica de latência. O artigo conclui que este design integrado é uma solução promissora para os sistemas MEC de próxima geração, oferecendo reduções significativas de latência em comparação com esquemas convencionais.

O trabalho futuro, conforme observado pelos autores, pretende estender este framework para cenários mais dinâmicos, incluindo mobilidade de usuários, ambientes de múltiplas células e estratégias avançadas de alocação de recursos.