🔢 mathematics

Active Beyond-Diagonal RIS Empowered Heterogeneous Edge Computing: A Distributional Reinforcement Learning Approach

Este artigo propõe o DSAC-T, um framework de aprendizado por reforço distributivo que otimiza o descarregamento consciente de energia e a alocação de recursos em sistemas heterogêneos de computação de borda móvel assistidos por RISs recíprocos ativos além da diagonal, abordando eficazmente os desafios de vazamento de energia entre setores e de otimização não convexa de alta dimensão para alcançar um desempenho de energia-latência e viabilidade superiores.

Autores originais: Tianyu Pang, Hongyu Li

Publicado 2026-07-16

📖 4 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tianyu Pang, Hongyu Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma cidade movimentada onde o seu smartphone é um motorista de entregas tentando entregar pacotes pesados (dados) em um armazém central (a nuvem). Às vezes, as estradas estão livres e o motorista voa direto para o armazém. Mas, frequentemente, um arranha-céu gigante (um edifício ou uma parede) bloqueia o caminho, fazendo com que o motorista fique preso ou faça um desvio longo e lento. Este é o mundo da computação de borda móvel (mobile edge computing), onde tentamos processar dados rapidamente em servidores próximos, em vez de esperar por uma nuvem distante. Para consertar as estradas bloqueadas, cientistas inventaram "espelhos inteligentes" chamados Superfícies Inteligentes Reconfiguráveis (RIS). Pense neles como paredes mágicas que podem capturar um sinal e refleti-lo ao redor de uma esquina para alcançar o receptor.

No entanto, há um porém. Os espelhos inteligentes tradicionais são passivos; eles apenas refletem os sinais sem torná-los mais fortes, como um espelho comum refletindo uma luz fraca. Se o sinal já estiver fraco devido a uma longa distância ou uma parede espessa, o reflexo será muito tênue para ser útil. Para resolver isso, engenheiros desenvolveram espelhos "ativos" que podem amplificar o sinal, como um megafone acoplado ao espelho. Mas aqui está a parte complicada: esses espelhos ativos são construídos com eletrônicos reais que possuem uma regra física chamada "reciprocidade". É como uma rua de mão dupla onde, se você gritar de um lado, o som vaza de volta para a rua, desperdiçando energia e criando ruído. Este artigo aborda a realidade caótica de usar esses espelhos ativos e amplificadores em uma cidade cheia de diferentes tipos de tráfego (algumas tarefas precisam de CPUs rápidas, outras de GPUs potentes) e de descobrir como manter a conta de energia baixa enquanto garante que nenhum pacote chegue atrasado.

Os pesquisadores, Tianyu Pang e Hongyu Li, propuseram-se a resolver um quebra-cabeça massivo: como decidir quais tarefas enviar para a borda, quanta potência usar e exatamente como inclinar o espelho ativo, tudo isso lidando com os vazamentos de energia causados pelo próprio hardware do espelho. Eles descobriram que a maneira antiga de resolver isso — tentar calcular a resposta perfeita para cada situação individualmente — é muito lenta e trava facilmente. Em vez disso, eles construíram um novo tipo de agente de inteligência artificial chamado DSAC-T.

Pense no DSAC-T não como uma calculadora que encontra uma única resposta "melhor", mas como um adolescente curioso aprendendo a jogar um videogame complexo. Em vez de apenas adivinhar a pontuação média, esta IA aprende toda a amplitude de resultados possíveis. Ela entende que, às vezes, um movimento pode levar a uma grande vitória, mas outras vezes pode levar a um colapão total, especialmente perto da "borda" do que é possível (como ficar sem bateria ou perder um prazo). Ao aprender essas distribuições, a IA torna-se muito mais estável e cautelosa quando as coisas ficam arriscadas.

Em suas simulações, a equipe testou esta IA contra outros métodos em uma cidade virtual com 10 usuários, dos quais 4 estavam "profundamente bloqueados" atrás de obstáculos. Eles deram à IA uma mistura de tarefas pesadas de CPU (como processamento de números) e tarefas de GPU (como renderização de gráficos). Os resultados foram impressionantes. A IA DSAC-T conseguiu encontrar uma solução que funcionou para 81,67% dos cenários, o que foi a maior taxa de sucesso entre todos os métodos testados. Em contraste, outros métodos populares de IA tiveram sucesso apenas cerca de 64% a 71% das vezes. Além disso, a IA DSAC-T foi incrivelmente rápida, tomando uma decisão em apenas 0,0267 segundos por cenário. Compare isso com a abordagem matemática tradicional, que levou mais de 41 segundos para resolver o mesmo problema — tornando a IA aproximadamente 1.500 vezes mais rápida.

O artigo argumenta explicitamente contra a ideia de que simplesmente adicionar mais potência "ativa" ou usar modelos de IA mais antigos e simples é suficiente. Eles mostram que ignorar o "vazamento de energia entre setores" (o sinal que vaza de volta para o sistema devido ao hardware do espelho) leva a uma baixa eficiência energética. Suas simulações sugerem que você deve levar em conta esse vazamento e a mistura específica de tarefas de CPU e GPU para obter um bom resultado. Embora esses achados sejam baseados em simulações de computador e não em um teste físico no mundo real, os resultados sugerem fortemente que o uso desta abordagem de aprendizado "distribucional" é uma maneira promissora de gerenciar as redes complexas e famintas por energia do futuro, garantindo que nossos pacotes digitais sejam entregues rapidamente sem esgotar o sistema.

Resumo Técnico: Computação de Borda Heterogênea Potencializada por RIS Além-da-Diagonal Ativa

Definição do Problema
Este artigo aborda o desafio do descarregamento de tarefas (offloading) consciente da energia e da alocação de recursos em sistemas de Computação de Borda Móvel (MEC) heterogêneos assistidos por Superfícies Inteligentes Reconfiguráveis (RIS) Ativas Além-da-Diagonal (BD-RIS). O sistema envolve uma mistura de tarefas orientadas a CPU e orientadas a GPU, usuários com diferentes graus de bloqueio (alguns profundamente bloqueados exigindo assistência de RIS, outros com links diretos residuais) e uma BD-RIS ativa operando em um modo híbrido de transmissão e reflexão.

Uma restrição física crítica identificada é que os dispositivos práticos de BD-RIS ativa são realizados via circuitos recíprocos. Essa reciprocidade gera inerentemente vazamento de energia entre setores quando a RIS auxilia usuários em diferentes setores (por exemplo, refletindo sinais para um lado enquanto transmite para o outro). Esse vazamento remodela o tradeoff entre energia e latência do sistema, comprimindo o orçamento de energia disponível para a transmissão uplink e a execução na borda. Além disso, o problema de otimização é um problema não convexo de números inteiros mistos e alta dimensão, envolvendo variáveis fortemente acopladas: decisões de offloading, alocação de computação CPU/GPU, potências de transmissão uplink, processamento de recepção e configuração da BD-RIS ativa. Métodos convencionais de otimização por instância individual lutam contra a complexidade computacional e a forte dependência de cenário deste problema.

Metodologia
Para resolver este complexo problema de otimização de forma eficiente, os autores propõem um framework de otimização conjunta end-to-end baseado em Distributional Soft Actor-Critic (DSAC-T), uma versão refinada do algoritmo de aprendizado por reforço distributivo.

Modelagem do Sistema:
- Modelo de Canal: O sistema modela o bloqueio assimétrico onde usuários bloqueados dependem da BD-RIS ativa, enquanto usuários não bloqueados possuem links diretos severamente atenuados (mas não nulos). A BD-RIS ativa é modelada com uma matriz de espalhamento recíproca, capturando explicitamente o acoplamento entre setores ( $\Theta_{1,2} = \Theta_{2,1}$ ) e o resultante vazamento de energia.
- Computação Heterogênea: O servidor de borda mantém pools de recursos CPU e GPU desacoplados para lidar com tipos distintos de tarefas.
- Modelo de Energia: O modelo considera a potência estática do circuito, a eficiência do amplificador e o consumo de energia dinâmico da RIS ativa, incluindo o custo de amplificação de ruído e o vazamento entre setores.
Reformulação do MDP:
O problema é reformulado como um Processo de Decisão de Markov (MDP) por slot.
- Estado: Inclui características da tarefa, informações de canal e condições de recursos.
- Ação: Gerada por uma rede de ator, cobrindo decisões de offloading, alocação de computação de borda, potências de transmissão e vetores de controle da RIS. Estas são projetadas em restrições binárias e contínuas viáveis (por exemplo, garantindo que a matriz da RIS seja diagonal e recíproca).
- Recompensa: Um substituto baseado em penalidade do objetivo original. Maximiza a soma negativa ponderada do consumo de energia local, de offloading e da RIS, penalizando explicitamente as violações de latência.
Seleção de Algoritmo (DSAC-T):
Os autores argumentam que métodos de actor-critic baseados em expectativa padrão (como SAC ou DDPG) são insuficientes devido à heterogeneidade de recompensa (causada por variados padrões de bloqueio e tipos de tarefas) e à sensibilidade à fronteira de viabilidade (onde pequenas mudanças nas decisões alteram drasticamente a viabilidade).
- Abordagem Distributiva: O DSAC-T modela a distribuição do retorno usando distribuições Gaussianas gêmeas em vez de apenas valores esperados. Isso permite que o crítico aprenda tanto a média do retorno quanto a incerteza (variância).
- Robustez: Ao usar a menor das duas médias alvo para as atualizações, o algoritmo reduz o viés de superestimação, levando a atualizações de política mais estáveis em ambientes com fronteiras de viabilidade acentuadas.

Principais Contribuições

Modelo de Sistema Consistente com a Física: O artigo estabelece um modelo rigoroso para o suporte de BD-RIS ativa recíproca em MEC heterogêneo. Ele captura explicitamente o acoplamento entre os setores de transmissão e reflexão devido à reciprocidade do circuito, a atenuação do link direto residual para usuários bloqueados e os recursos de borda CPU/GPU desacoplados.
Framework de Otimização Conjunta: Os autores formulam e resolvem um problema não convexo de inteiros mistos fortemente acoplado. Eles desenvolvem um framework baseado em DSAC-T que lida com a alta dimensionalidade e a não convexidade ao aprender uma política que otimiza conjuntamente o offloading, a computação, a potência e a configuração da RIS.
Adaptação Algorítmica: O estudo demonstra a adequação do RL distributivo (especificamente o DSAC-T) para problemas com recompensas heterogêneas e restrições de viabilidade estritas, mostrando que a modelagem de distribuições de retorno melhora a estabilidade em comparação com baselines baseados em expectativa.

Resultados de Desempenho
Simulações foram conduzidas em 300 cenários de avaliação com 10 usuários (4 profundamente bloqueados), uma estação base de 8 antenas e uma BD-RIS ativa de 128 células.

Recompensa e Viabilidade: O DSAC-T alcançou a melhor recompensa de energia-latência (-2,828) e a maior razão de viabilidade de 81,67%. Superou os baselines, incluindo SAC (71,33%), TD3 (70,67%), DDPG (64,33%) e um método de Otimização Alternada (AO) matemático baseado em Aproximação Convexa Sucessiva (SCA) (66,67%).
Eficiência: O tempo de decisão online para o DSAC-T foi de 0,0267 segundos por cenário. Em contraste, o método AO-SCA exigiu 41,865 segundos, destacando que a abordagem baseada em aprendizado é ordens de magnitude mais rápida para tomada de decisão em tempo real.
Convergência: O DSAC-T convergiu rapidamente e manteve a recompensa mais alta, enquanto outros métodos de DRL ou estabilizaram em níveis inferiores ou convergiram mais lentamente.
Impacto da RIS: O aumento do número de células da BD-RIS ativa melhorou tanto a recompensa quanto a viabilidade, confirmando que o controle aprendido da RIS proporciona ganhos além do simples aumento do tamanho da abertura.

Significância e Alegações
O artigo alega que sua principal significância reside no tratamento das limitações físicas específicas de BD-RIS ativa recíproca em MEC heterogêneo, um cenário frequentemente idealizado em trabalhos anteriores. Ao modelar rigorosamente o vazamento de energia entre setores e os links diretos residuais, o framework proposto captura restrições do mundo real que degradam a eficiência energética se ignoradas.

Os autores afirmam que o framework DSAC-T proposto oferece um tradeoff desempenho-complexidade superior. Ele não apenas alcança maior viabilidade e melhor desempenho de energia-latência do que a otimização convencional e outros baselines de DRL, mas também permite operação em tempo real, o que é crítico para aplicações de MEC sensíveis à latência. O trabalho valida que o aprendizado de valor distributivo é uma ferramenta eficaz para otimizar sistemas onde a heterogeneidade de recompensa e as fronteiras de viabilidade tornam o aprendizado tradicional baseado em expectativa instável.

Mais como este