💻 ciência da computação

Research on Cloud Task Scheduling Problem Based on Pareto Optimization Strategy for Deep Reinforcement Learning

Este artigo propõe o ITS-D3QN, um escalonador de aprendizado por reforço profundo que utiliza uma arquitetura de dois estágios e uma estratégia de otimização de Pareto para equilibrar efetivamente o tempo de resposta das tarefas, o consumo de energia e a utilização de recursos em ambientes de nuvem dinâmicos, alcançando melhorias de desempenho significativas em relação aos métodos existentes.

Autores originais: Zhou Wenqin, Dai Lu, Wu Zhoulong, Hua Na

Publicado 2026-11-06

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhou Wenqin, Dai Lu, Wu Zhoulong, Hua Na

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na vasta e invisível infraestrutura que alimenta a internet moderna, os centros de dados atuam como os corações pulsantes de nossas vidas digitais. Essas instalações abrigam milhares de computadores, ou servidores, que trabalham ininterruptamente para processar tudo, desde a transmissão de filmes até cálculos científicos complexos. No entanto, esses centros enfrentam um desafio constante e caótico: milhões de tarefas digitais chegam em momentos aleatórios, cada uma exigindo diferentes quantidades de poder de computação e memória. O sistema deve decidir instantaneamente qual tarefa vai para qual máquina. Se a decisão for ruim, algumas máquinas ficam ociosas enquanto outras ficam sobrecarregadas, levando a tempos de resposta lentos, desperdício de eletricidade e usuários frustrados. Por décadas, engenheiros tentaram resolver isso criando regras que equilibram essas necessidades conflitantes, mas a velocidade e a imprevisibilidade do tráfego moderno tornaram as regras simples insuficientes.

Pesquisadores da Universidade Normal de Tianshui, na China, propuseram recentemente uma nova maneira de gerenciar esse caos, indo além de regras estáticas para um sistema que aprende e se adapta como um organismo vivo. O trabalho deles foca em um método chamado aprendizado por reforço profundo (deep reinforcement learning), um tipo de inteligência artificial onde um programa de computador aprende a tomar decisões por tentativa e erro, de forma muito semelhante a uma criança aprendendo a andar de bicicleta. Em vez de seguir um manual fixo, o programa interage com o ambiente do centro de dados, tentando diferentes escolhas de agendamento e recebendo feedback sobre o desempenho dessas escolhas. O objetivo é encontrar um "ponto ideal" onde o sistema conclua as tarefas rapidamente, use o mínimo de energia possível e mantenha todas as suas máquinas ocupadas ao mesmo tempo. Esses objetivos frequentemente conflitam; por exemplo, executar uma máquina na velocidade máxima pode concluir uma tarefa mais rápido, mas consome mais eletricidade. O desafio dos pesquisadores era ensinar o computador a navegar por essas compensações sem ficar preso em um ótimo local, um estado onde ele se contenta com uma solução "boa o suficiente" em vez da melhor possível.

Para enfrentar isso, a equipe desenvolveu um novo sistema de agendamento que chamam de ITS-D3QN. Imagine o centro de dados como um aeroporto movimentado com milhares de voos e portões limitados. Um agendador tradicional poderia atribuir aviões aos portões com base em uma lista simples, mas um agendador inteligente olharia para o clima, os níveis de combustível e os horários de chegada de voos de conexão para tomar uma decisão dinâmica. O sistema dos pesquisadores trabalha em dois níveis. O nível inferior atua como um agente de portão imediato, decidindo qual tarefa específica vai para qual máquina virtual agora. O nível superior atua como um controlador de tráfego aéreo, observando o panorama geral de todo o cluster. Esta camada superior não olha apenas para tarefas individuais; ela monitora a saúde geral do sistema, medindo quão bem o conjunto atual de decisões cobre toda a gama de possíveis resultados positivos. Ela utiliza um conceito matemático conhecido como hipervolume, que essencialmente mede o tamanho do "espaço de soluções boas" que o sistema descobriu até agora. Se o sistema estiver encontrando apenas soluções medíocres, a camada superior ajusta as prioridades, dizendo à camada inferior para tentar um equilíbrio diferente entre velocidade e energia.

Essa abordagem de dois níveis permite que o sistema escape das armadilças que atormentaram métodos anteriores. Antigos agendadores de inteligência artificial frequentemente dependiam de pesos fixos, o que significa que eram programados para se importar uma certa porcentagem com a velocidade e uma certa porcentagem com a energia, independentemente da situação. Se a carga mudasse, essas regras fixas não conseguiam se adaptar. O novo sistema, porém, reavalia constantemente essas prioridades. Ele utiliza uma técnica chamada amostragem incremental para garantir que suas medições de desempenho do sistema sejam precisas e não apenas ruído aleatório. Ao executar muitas pequenas simulações em segundo plano, ele constrói um quadro confiável de quão bem sua estratégia atual está funcionando antes de fazer uma mudança. Isso evita que o sistema reaja descontroladamente a flutuações temporárias no tráfego, garantindo que seu aprendizado seja estável e fundamentado na realidade.

Os pesquisadores testaram seu sistema usando dados do mundo real do Alibaba Cluster Trace, um conjunto de dados massivo que registra a atividade real de milhares de servidores ao longo de vários dias. Eles simularam a chegada de dezenas de milhares de tarefas para ver como seu sistema se comparava a métodos mais antigos, incluindo o agendamento round-robin padrão e outros tipos de inteligência artificial. Os resultados foram claros: o novo sistema superou consistentemente os demais. Em relação aos algoritmos comparados, ele reduziu o tempo médio de resposta das tarefas em aproximadamente 4,75% e cortou o consumo médio de energia por tarefa em cerca de 4,32%. No entanto, ao examinar detalhadamente as condições de carga específicas, as melhorias variaram; por exemplo, a redução no tempo de resposta variou de 6,3% a 43,8%, dependendo do volume de tarefas. Talvez o mais impressionante seja que ele aumentou a utilização média dos recursos disponíveis em cerca de 5,62%, o que significa que menos máquinas ficaram ociosas enquanto outras lutavam para processar dados. Essas melhorias mantiveram-se verdadeiras mesmo conforme o número de tarefas aumentava, mostrando que o sistema permaneceu robusto sob forte pressão.

O estudo sugere que, ao combinar uma visão de alto nível do desempenho geral do sistema com uma capacidade de baixo nível para tomar decisões rápidas e específicas, os centros de dados em nuvem podem se tornar significativamente mais eficientes. Os pesquisadores descobriram que a chave para esse sucesso não foi apenas a velocidade das decisões, mas a capacidade de enxergar as compensações claramente. Ao usar a métrica de hipervolume para guiar o processo de aprendizado, o sistema aprendeu a encontrar um caminho equilibrado através do complexo cenário de objetivos conflitantes. Embora os resultados tenham sido alcançados por meio de simulações computacionais, e não por uma implementação ao vivo em um centro de dados comercial, a consistência das melhorias em diferentes cenários indica um forte potencial para aplicação no mundo real. O trabalho aponta para um futuro onde a infraestrutura de nuvem pode se ajustar automaticamente ao fluxo e refluxo da demanda digital, economizando energia e acelerando serviços sem intervenção humana. À medida que o volume de dados continua a crescer, tal inteligência adaptativa pode se tornar essencial para manter o mundo digital funcionando de forma suave e sustentável.

Resumo Técnico: Pesquisa sobre o Problema de Escalonamento de Tarefas em Nuvem Baseada em Estratégia de Otimização de Pareto para Aprendizado por Reforço Profundo

Definição do Problema
Os centros de dados em nuvem enfrentam uma pressão crescente devido às cargas de cluster altamente dinâmicas e às demandas de tarefas fortemente heterogêneas. Os mecanismos de escalonamento existentes frequentemente dependem de características de estado locais, levando a uma baixa adaptabilidade às flutuações de carga e à incapacidade de equilibrar efetivamente objetivos conflitantes, como tempo de conclusão de tarefas, consumo de energia e utilização de recursos. As abordagens multiobjetivo tradicionais frequentemente decompõem os objetivos em subproblemas escalares usando pesos fixos ou combinações lineares, o que pode resultar em retenção de recursos, sobrecarga de nós ou capacidade ociosa. Além disso, os escalonadores de Aprendizado por Reforço Profundo (DRL) existentes frequentemente sofrem com representações de estado limitadas que não conseguem capturar informações de nível de cluster, fazendo com que os agentes percebam o ambiente de forma incompleta e tenham um desempenho insatisfatório sob padrões de carga complexos e não estacionários.

Metodologia: ITS-D3QN
O artigo propõe o ITS-D3QN (D3QN Interativo de Dois Estágios), um escalonador de aprendizado por reforço profundo construído sobre a arquitetura Dueling Double Deep Q-Network (D3QN) e impulsionado por uma estratégia de otimização de Pareto. O método emprega uma arquitetura interativa de duas camadas:

Modelo de Escalonamento de Duas Camadas:
- Camada Inferior (Camada de Execução): Opera em uma escala de tarefa em tempo real. Ela lida com o posicionamento de tarefas passo a passo, mapeando tarefas para máquinas virtuais (VMs) com base em características de estado imediato (CPU, memória, status da fila) e instruções de peso da camada superior. Ela otimiza o tempo de conclusão da tarefa, o consumo de energia do sistema e a utilização de recursos.
- Camada Superior (Camada de Gerenciamento): Opera em uma escala de tempo macro. Ela captura a carga e as condições de recursos de todo o cluster usando o Hipervolume de Pareto (HV) como um sinal de recompensa central. Em vez de pesos fixos, ela produz um vetor de pesos de preferência multiobjetivo que reparametriza a função de recompensa da camada inferior, guiando o sistema em direção à fronteira de Pareto global.
Arquitetura de Rede (D3QN):
- Rede Dueling: Decompõe a função Q em uma função de valor de estado $V(s)$ e uma função de vantagem $A(s, a)$ para aumentar a utilização de amostras e a convergência.
- Double Q-Network: Mitiga a superestimação do valor Q ao desacoplar a seleção de ação (usando a rede online) da avaliação da ação (usando a rede alvo).
- Mascaramento de Ação (Action Masking): Uma máscara de ação é aplicada ao conjunto viável de VMs para reduzir a exploração ineficaz.
Otimização de Pareto e Mecanismo de Recompensa:
- O problema de escalonamento é formulado como um Processo de Decisão de Markov (MDP).
- A camada superior utiliza o indicador de Hipervolume (HV) para quantificar a qualidade do conjunto de soluções não dominadas. O incremento do Hipervolume ( $\Delta HV$ ) serve como um sinal de recompensa macro, direcionando a política para expandir a região dominada no espaço de objetivos.
- Troca Dinâmica de Preferência: Para lidar com cargas dinâmicas, o sistema emprega um mecanismo que atualiza os pesos multiobjetivo a cada 200 passos de tarefa com base no feedback do HV e nas recompensas de média de janela. Isso permite que o escalonador altere os pontos de operação ao longo da fronteira de Pareto (por exemplo, priorizando a utilização versus a conservação de energia) em vez de ficar preso em um compromisso (trade-off) fixo.
Estratégia de Amostragem Incremental:
- Para lidar com o ruído na estimativa de Monte Carlo do HV e a instabilidade da troca de preferência, uma estratégia de amostragem incremental é introduzida. O número de amostras repetidas independentes ( $n^*$ ) é aumentado sequencialmente até que o erro padrão da média caia abaixo de um limiar de precisão específico. Isso equilibra a estabilidade da estimativa com o custo computacional.

Principais Contribuições

Arquitetura Interativa de Dois Estágios: O artigo introduz um framework desacoplado onde uma camada de gerenciamento macro ajusta dinamicamente os pesos dos objetivos para uma camada de execução micro, permitindo que o sistema se adapte a cargas não estacionárias sem ajuste manual de pesos.
Otimização de Pareto Impulsionada por HV: Diferente de métodos que dependem de recompensas escalares, esta abordagem utiliza o incremento do Hipervolume como um sinal de recompensa direto para guiar a evolução da fronteira de Pareto, superando a tendência de métodos convencionais de estagnar em ótimos locais.
Robustez a Cargas Dinâmicas: A combinação de troca dinâmica de preferência e amostragem incremental permite que o escalonador mantenha a estabilidade e a adaptabilidade em ambientes altamente dinâmicos, onde agentes DRL tradicionais frequentemente oscilam ou falham.

Resultados Experimentais
O método proposto foi avaliado utilizando o conjunto de dados Alibaba Cluster Trace v2018 através de volumes variáveis de tarefas (5.000 a 20.000 tarefas). Foi comparado contra baselines não-DRL (Round Robin, REINFORCE) e baselines de DRL (DQN, D3QN).

Métricas de Desempenho:
- Tempo de Resposta da Tarefa: O resumo relata que, em relação aos algoritmos comparados, o ITS-D3QN reduz o tempo médio de resposta em aproximadamente 4,75%. Experimentos controlados detalhados na Seção 3.2.2 mostram ainda que o ITS-D3QN reduz o tempo de resposta em 6,3% a 43,8% em relação aos baselines de DRL e em 29,1% a 59,7% em relação aos baselines não-DRL, com a vantagem aumentando conforme a carga aumenta.
- Consumo de Energia: O resumo relata que o consumo de energia médio por tarefa é reduzido em aproximadamente 4,32% em relação aos algoritmos comparados. Resultados detalhados indicam reduções de 9,0% a 15,1% em relação aos baselines não-DRL e de 3,1% a 9,0% em relação aos baselines de DRL.
- Utilização de Recursos: O resumo relata que a utilização média de recursos aumenta em aproximadamente 5,62% em relação aos algoritmos comparados. Resultados detalhados mostram aumentos de 6,9% a 36,4% sobre os baselines não-DRL e de 3,2% a 15,4% sobre os baselines de DRL.
Convergência e Estabilidade: Enquanto o D3QN padrão convergiu rapidamente, mas estagnou devido aos pesos fixos, o ITS-D3QN demonstrou capacidades de busca global superiores, escapando de ótimos locais e alcançando recompensas cumulativas mais altas.
Estudos de Ablação: Experimentos confirmaram que tanto a ponderação dinâmica de duas camadas quanto a estratégia de amostragem incremental contribuíram significativamente para os ganhos de desempenho, sendo que a ponderação dinâmica proporcionou o aumento mais substancial.

Significância e Alegações
O artigo afirma que o ITS-D3QN alcança o escalonamento equilibrado em ambientes de nuvem complexos ao abordar efetivamente o "gargalo de Pareto" e a "oscilação de política" comuns no DRL multiobjetivo. Ao utilizar o indicador de Hipervolume para impulsionar a adaptação de pesos, o método equilibra com sucesso o rendimento (throughput) contra os custos de energia em cenários de alta concorrência. Os autores afirmam que a estratégia de amostragem incremental suprime com sucesso o ruído sob cargas altamente dinâmicas, estabilizando a política sob restrições complexas.

O trabalho é apresentado como um passo em direção a um escalonamento de nuvem mais adaptável, com os autores observando que extensões futuras poderiam aplicar esta estratégia de Pareto a ambientes nativos de nuvem envolvendo jitter de atraso e falhas de link, bem como incorporar prioridades de tarefas e garantias de Acordo de Nível de Serviço (SLA).

Mais como este