💻 computer science

A Linear Mapping-Enhanced PPO Framework for Dynamic Load Balancing in Smart City Edge Systems

Este artigo propõe um framework de Otimização de Política Próxima com Mapeamento Linear Melhorado (LME-PPO) que utiliza aprendizado por reforço profundo para otimizar o balanceamento dinâmico de carga e reduzir a latência do sistema em ambientes de computação de borda de cidades inteligentes, mapeando efetivamente espaços de tarefas complexos e garantindo o equilíbrio computacional entre servidores de borda.

Autores originais: Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

Publicado 2026-07-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: O Engarrafamento de uma Cidade Inteligente

Imagine uma Cidade Inteligente como uma metrópole enorme e agitada. Nesta cidade, milhares de dispositivos (como câmeras de trânsito, medidores inteligentes e sensores) estão constantemente gerando dados. Esses dados são como uma inundação de carros tentando chegar a um destino.

No passado, todos esses "carros" tinham que dirigir todo o caminho até uma gigante e central "Cidade da Nuvem" (o centro de dados principal) para serem processados. Isso causava engarrafamentos massivos e longos atrasos.

Para resolver isso, a cidade construiu Servidores de Borda (Edge Servers). Pense neles como estações de serviço de bairros locais espalhadas por toda a cidade. Eles estão muito mais próximos dos dispositivos, portanto, podem resolver os problemas mais rápido.

O Problema: A Carga de Trabalho Desigual

Aqui está o detalhe: os "carros" (tarefas de dados) não chegam de forma uniforme.

Às vezes, um acidente repentino no trânsito envia uma enorme onda de dados para o Servidor de Borda A.
Ao mesmo tempo, o Servidor de Borda B, em um bairro tranquilo, quase não tem o que fazer.

Se a cidade não gerenciar isso, o Servidor A fica sobrecarregado e lento (causando atrasos), enquanto o Servidor B fica ocioso, desperdiçando dinheiro. Isso é chamado de Desequilíbrio de Carga (Load Imbalance).

A cidade precisa de um Despachante Central (um escalonador inteligente) para olhar para todos os servidores e dizer: "O Servidor A está muito ocupado; vamos enviar alguns desses carros para o Servidor B".

Os Métodos Antigos vs. O Novo Caminho

O artigo analisa como construir este Despachante:

Regras Estáticas (O Jeito Antigo): Como um semáforo que fica vermelho e verde em um tempo fixo. É simples, mas não consegue lidar com um acidente repentino ou um desfile. Frequentamente deixa alguns servidores sobrecarregados.
Algoritmos de Otimização (O Caminho do Meio): Como um GPS que calcula a rota perfeita todas as vezes. É inteligente, mas leva muito tempo para calcular a rota. Quando termina de calcular, a situação do trânsito já mudou.
Aprendizado por Reforço Profundo (O Novo Caminho): Isso é como treinar um policial de trânsito superinteligente que aprende com a experiência. Em vez de seguir um livro de regras, o policial observa o tráfego, tenta diferentes estratégias e aprende quais movimentos fazem os carros fluírem mais rápido ao longo do tempo.

A Solução do Artigo: O Framework "LME-PPO"

Os autores propõem um tipo específico de "policial superinteligente" chamado LME-PPO. Veja como ele funciona, dividido em três partes simples:

1. O "Mapeamento Linear" (O Tradutor)

O maior problema ao treinar uma IA inteligente para este trabalho é que o número de carros (tarefas) muda a cada segundo.

O Problema: Imagine que você está ensinando um robô a distribuir biscoitos. Se você disser ao robô: "Distribua 5 biscoitos", mas de repente surgirem 500 biscoitos, o robô ficará confuso. Se você disser: "Distribua 500", mas houver apenas 5, ele quebrará. O cérebro do robô (o modelo de IA) geralmente espera um número fixo, mas o mundo real é bagunçado e mutável.
A Solução: Os autores adicionaram uma Camada de Mapeamento Linear. Pense nisso como um tradutor ou uma escala.
- O cérebro da IA diz: "Eu acho que o Servidor A deve receber 30% do trabalho e o Servidor B deve receber 70%". (Estas são apenas proporções).
- O Tradutor olha para quantas tarefas reais chegaram agora. Se 100 tarefas chegaram, o tradutor diz: "Ok, 30% de 100 é 30 tarefas para o Servidor A".
- Isso permite que a IA aprenda a estratégia (as porcentagens) sem se confundir com o volume (o número total de tarefas).

2. O "PPO" (O Treinador Inteligente)

PPO (Otimização de Política Próxima) é o método de treinamento.

Imagine que você está ensinando um cachorro a buscar um objeto. Se você gritar muito forte quando ele comete um erro, o cachorro ficará assustado e parará de aprender. Se você for muito suave, ele não aprenderá o truque.
O PPO é um treinador "Goldilocks" (no ponto certo). Ele garante que a IA aprenda passo a passo, sem cometer erros enormes e assustadores que estraguem seu progresso. Ele mantém o aprendizado estável e constante.

3. O "Balanceador Interno" (O Gerente Local)

Uma vez que o Despachante Central envia as tarefas para um Servidor de Borda específico, esse servidor ainda tem que realizar o trabalho.

Dentro de cada Servidor de Borda, existem trabalhadores menores chamados Máquinas Virtuais (VMs).
O artigo inclui uma regra especial para garantir que as tarefas sejam divididas uniformemente entre esses trabalhadores internos. É como um mestre de obras garantindo que, se um trabalhador for rápido (alta velocidade de CPU), ele receba o trabalho pesado, enquanto os trabalhadores mais lentos recebam tarefas mais leves, para que todos terminem ao mesmo tempo.

Os Resultados: O Que Aconteceu?

Os autores testaram seu novo sistema contra os métodos antigos (como algoritmos "Greedy", que apenas pegam o primeiro servidor disponível, e "PSO", um tipo de otimização).

Velocidade Maior: O sistema deles reduziu o tempo médio necessário para processar as tarefas.
Melhor Equilíbrio: O trabalho foi distribuído de forma muito mais uniforme. Nenhum servidor sozinho ficou afundando em trabalho enquanto outros ficavam ociosos.
Estabilidade: Mesmo quando a cidade ficava caótica (tráfego alto, picos repentinos de dados), o sistema deles continuava funcionando suavemente, sem travar ou ficar confuso.

Resumo

Em resumo, este artigo apresenta uma nova forma de gerenciar dados em Cidades Inteligentes. Ele utiliza uma IA inteligente que aprende a equilibrar cargas de trabalho de forma dinâmica. O ingrediente secreto é uma camada de tradução que ajuda a IA a lidar com quantidades variáveis de dados, e um método de treinamento estável que garante que a IA aprenda corretamente sem "enlouquecer". O resultado é uma cidade onde os dados fluem mais rápido e os serviços (como controle de tráfego ou resposta de emergência) funcionam melhor.

Resumo Técnico: Um Framework PPO Aprimorado por Mapeamento Linear para Balanceamento de Carga Dinâmico em Sistemas de Borda de Cidades Inteligentes

Definição do Problema
A integração da Computação de Borda Móvel (MEC) nas infraestruturas de cidades inteligentes visa reduzir a latência e melhorar a eficiência da largura de banda ao processar dados mais próximos das fontes de IoT. No entanto, a natureza estocástica e heterogênea do descarregamento (offloading) de tarefas de dispositivos IoT urbanos (ex: câmeras de tráfego, redes elétricas inteligentes) cria desequilíbrios de carga significativos entre os Servidores de Borda (ESs). Em um cenário de implantação típico, onde cada ES hospeda múltiplas Máquinas Virtuais (VMs), a chegada aleatória de tarefas pode fazer com que alguns servidores fiquem sobrecarregados enquanto outros permanecem subutilizados. Esse desequilíbrio degrada a qualidade do serviço e aumenta a latência do sistema. As soluções existentes enfrentam limitações: algoritmos de escalonamento estáticos carecem de adaptabilidade a cargas de trabalho dinâmicas; métodos de otimização tradicionais (ex: Otimização por Enxame de Partículas - PSO) sofrem com atrasos iterativos inadequados para restrições de tempo real; e abordagens padrão de Aprendizado por Reforço Profundo (DRL) lutam contra o descompasso entre variações contínuas de estado e espaços de ação fixos, particularmente quando as contagens de tarefas flutuam significativamente.

Metodologia
Os autores propõem um framework de Otimização de Política Próxima Aprimorado por Mapeamento Linear (LME-PPO) para enfrentar esses desafios. A abordagem é estruturada da seguinte forma:

Modelagem do Sistema: O sistema de gerenciamento de recursos de cidade inteligente é modelado como um Processo de Decisão de Markov (MDP).
- Espaço de Estados ( $S$ ): Definido pelo número de tarefas pendentes nas filas de $M$ servidores de borda.
- Espaço de Ações ( $A$ ): Representa a matriz de escalonamento de tarefas entre todos os ESs.
- Função de Recompensa: Projetada para minimizar a variância entre os tempos de execução individuais dos ESs e o tempo de execução médio de todo o sistema, promovendo o balanceamento de carga.
- Restrições: O modelo considera limites de capacidade de fila, variações de frequência de CPU entre as VMs e tempos de execução máximos permitidos.
Framework LME-PPO:
- Arquitetura Actor-Critic: O sistema utiliza um algoritmo PPO padrão com redes Actor e Critic (redes totalmente conectadas de duas camadas).
- Camada de Mapeamento Linear: Uma inovação central deste trabalho. Como o PPO normalmente produz valores contínuos, mas a alocação de tarefas requer inteiros discretos, os autores introduzem uma camada de mapeamento linear. A rede Actor produz um vetor de proporções de alocação relativa ( $m_t$ ). Este vetor é mapeado para contagens de tarefas inteiras reais ( $N_t$ ) com base no número total de tarefas que chegam no slot de tempo atual ( $n$ ) usando a fórmula: $N_i = n \times \frac{m_i}{\sum m_i}$ . Este mecanismo garante que o espaço de ação se adapte dinamicamente à carga de trabalho atual, evitando a instabilidade de treinamento causada por espaços de ação fixos.
- Escalonamento Interno de Tarefas: Dentro de cada ES, é empregado um Algoritmo de Alocação de Tarefas com Balanceamento de Carga para distribuir tarefas entre múltiplas VMs. Com base no Teorema 1 e Teorema 2, o algoritmo prioriza a atribuição de tarefas às VMs com frequências de CPU menores primeiro para equalizar os tempos de execução, garantindo o menor tempo de conclusão possível para a fila.
Utilidade de Longo Prazo: O framework otimiza para a utilidade descontada de longo prazo em vez do desempenho de um único slot, utilizando a Estimativa de Vantagem Generalizada (GAE) para equilibrar recompensas imediatas com estados futuros do sistema.

Principais Contribuições

Modelagem de Sistema Estocástico: O artigo modela o processo de alocação de tarefas como um sistema estocástico com um framework DRL que incorpora o escalonamento no nível da VM dentro de cada ES, capturando características computacionais essosas para um balanceamento de carga preciso.
Aprimoramento por Mapeamento Linear: Os autores introduzem uma camada de mapeamento linear dentro do framework PPO para resolver o conflito entre a saída contínua da rede de política e a natureza discreta e variável no tempo das contagens de chegada de tarefas. Isso garante um aprendizado estável e atribuições de tarefas inteiras viáveis.
Algoritmo de Alocação com Balanceamento de Carga: Um algoritmo específico é desenvolvido para o escalonamento interno do ES que minimiza o tempo de conclusão ao atribuir tarefas de forma inteligente às VMs com base em suas frequências de CPU e no estado atual da fila.
Avaliação Abrangente: O estudo fornece uma comparação rigorosa contra a Otimização por Enxame de Partículas (PSO) e baselines gananciosos (greedy), demonstrando a eficácia do framework em ambientes dinâmicos.

Resultos Experimentais
O framework LME-PPO proposto foi avaliado usando um simulador Python/PyTorch com 20 servidores de borda. As principais descobertas incluem:

Convergência: O algoritmo converge mais rapidamente com menos ESs (200 episódios para 20 ESs) e demonstra superior estabilidade em comparação com os algoritmos SAC e TD3.
Redução de Latência: A abordagem LME-PPO alcançou um tempo de execução médio do sistema significativamente menor (aprox. 3,7 ms) em comparação com os algoritmos PSO (4,5 ms) e Greedy (5,7 ms) ao longo de 100 episódios.
Balanceamento de Carga: Sob variadas condições de carga de trabalho (baixa, normal, alta), o LME-PPO manteve consistentemente o menor tempo de computação médio e a distribuição de tempo de execução mais equilibrada entre os ESs. Em contraste, os algoritmos Greedy e PSO exibiram tempos de execução mais altos e maiores flutuações devido ao acúmulo de tarefas.
Escalabilidade: O framework manteve o desempenho estável através de diferentes configurações de rede (300, 400, 500 neurônios) e fatores de desconto, com um fator de desconto de 0,99 proporcionando o melhor desempenho de longo prazo.

Significância e Alegações
O artigo afirma que o framework LME-PPO fornece uma solução robusta e escalável para os ambientes de cidades inteligentes de próxima geração. Ao preencher a lacuna entre políticas de controle contínuas e requisitos de execução discretos através do mapeamento linear, a abordagem lida efetivamente com a alta variabilidade do descarregamento de tarefas de IoT. Os autores asseguram que seu método não apenas alcança um balanceamento de carga superior, mas também reduz significativamente a latência média do sistema, oferecendo uma alternativa prática aos métodos heurísticos e de otimização tradicionais em cenários de computação de borda dinâmica. O trabalho destaca a necessidade de abordar tanto o balanceamento de carga entre servidores quanto o escalonamento de tarefas no nível da VM (intra-servidor) para maximizar a utilização de recursos. Sugere-se que trabalhos futuros explorem arquiteturas descentralizadas e padrões de carga de trabalho mais heterogêneos.