Adaptive constrained reinforcement learning for energy-aware scheduling under changing load

Resumo Técnico: Aprendizado por Reforço Adaptativo e Restrito para Escalonamento Consciente de Energia

Declaração do Problema
Escalonadores conscientes de energia devem equilibrar dois objetivos conflitantes: minimizar o consumo de energia e manter a responsividade (cumprir metas de latência ou SLOs — Objetivos de Nível de Serviço). A abordagem dominante na literatura recente utiliza o Aprendizado por Reforço (RL) para aprender esse equilíbrio ao escalar os objetivos em uma única recompensa ponderada (por exemplo, uma soma ponderada de energia e penalidade de latência).

Os autores identificam uma falha estrutural crítica nessa abordagem de escalonamento: o desvio do ponto de operação (operating-point drift). Um peso de recompensa fixo corresponde a um equilíbrio específico, mas o ponto de operação resultante (o equilíbrio real entre energia vs. latência) não é estável; ele se desloca conforme a carga de trabalho muda.

• Sob carga leve: Um peso fixo frequentemente deixa o processador rodando mais rápido do que o necessário, desperdiçando energia porque o orçamento de latência está subutilizado.
• Sob carga pesada: O mesmo peso falha em fornecer velocidade suficiente, causando um desvio silencioso além da meta de latência, acumulando violações.
  Consequentemente, nenhum peso fixo único pode manter uma meta de violação específica através de uma gama de cargas variáveis.

Metodologia: CLASP
O artigo introduz o CLASP (Constrained Lagrangian Adaptive Scheduling Policy), um escalonador que trata a taxa de violação de latência como uma restrição explícita, em vez de um componente da recompensa. O método aborda dois desafios principais na aplicação de RL restrito ao escalonamento: a sensibilidade das atualizações das variáveis duais e a não-estacionariedade das cargas de trabalho.

1. Formulação Restrita: O problema é modelado como um Processo de Decisão de Markov com Restrições (CMDP). O objetivo é minimizar a potência esperada sujeito a uma restrição de que a taxa de violação de longo prazo permaneça abaixo de um alvo $\epsilon$ (por exemplo, 5%).
2. Controle Dual Adaptativo (PID): Em vez de usar a ascensão de gradiente padrão para atualizar o multiplicador de Lagrange (o "preço" sobre as violações), o CLASP emprega um controlador Proporcional-Integral-Derivativo (PID). Este controlador ajusta o preço $\lambda$ com base no erro entre a taxa de violação observada e o alvo. Isso estabiliza a variável dual, evitando as oscilações comuns em atualizações ingênuas e permitindo que o preço se estabilize no valor necessário para a carga atual.
3. Condicionamento de Preço: Para lidar com cargas de trabalho não-estacionárias, a política aprendida é condicionada à pressão da restrição atual (o preço $\lambda$) e a uma estimativa de carga. O espaço de estados é aumentado com um compartimento (bin) discretizado do preço atual. Isso permite que uma única política adapte seu comportamento (tornando-se mais conservadora ou agressiva) com base no sinal de preço, abrangendo efetivamente toda a gama de pontos de operação exigidos por diferentes cargas.

Principais Contribções

• Identificação do Desvio: Os autores quantificam o desvio do ponto de operação de escalonadores escalonados, demonstrando que nenhum peso de recompensa fixo em um teste de varredura pode manter uma meta de 5% de violação em cargas que variam de leves a quase saturação.
• Atualizações Duais Estabilizadas: A integração de um controlador PID para o multiplicador de Lagrange consegue amortecer as oscilações e permite que o preço converja para o nível necessário para a carga atual.
• Condicionamento da Política: O artigo demonstra que condicionar a política no elemento de variável dual é essencial para que uma única política funcione corretamente através de diferentes cargas, resolvendo o problema da não-estacionariedade sem necessidade de retreinamento.

Resultados
Experimentos foram conduzidos em um ambiente simulado de servidor único com velocidade ajustável (modelando DVFS) e chegadas de tarefas distribuídas via Poisson.

• Rastreamento de Alvo: O CLASP rastreou com sucesso um alvo de 5% de violação em cargas de chegada de 1,5 a 3,0 tarefas/passo. Mesmo próximo da saturação (carga 3,5), onde o alvo torna-se difícil de satisfazer, o CLASP degradou-se graciosamente para ~6,9%, enquanto políticas de peso fixo desviaram significativamente (por exemplo, um peso equilibrado derivou de 3% para 31% de violações).
• Eficiência Energética: Comparado a uma linha de base "rodar o mais rápido possível" (que é sempre complacente, mas energeticamente ineficiente), o CLASP utilizou aproximadamente 50% menos potência modelada em média. Em cargas leves, as economias chegaram a 70%; em cargas pesadas, as economias foram de cerca de 20%.
• Adaptação Não-Estacionária: Em experimentos com mudanças abruptas de carga de trabalho, o controlador PID ajustou o preço online, trazendo a taxa de violação de volta ao alvo após breves transientes.
• Estudos de Ablação: Remover o controlador PID (fixando o preço) resultou em um comportamento excessivamente conservador em cargas baixas e violações de restrição em cargas altas. Remover o condicionamento de preço fez com que a política falhasse em se adaptar a diferentes níveis de preço, levando a um desvio significativo. Ambos os componentes foram confirmados como necessários.

Significância e Alegações
O artigo argumenta que a dificuldade central em aprender escalonadores conscientes de energia não é encontrar um bom equilíbrio, mas manter esse equilíbrio estável conforme as condições mudam.

• Mudança de Enquadramento: O trabalho propõe uma mudança de "ajustar um peso" (que codifica um equilíbrio frágil) para "rastrear um resultado" (uma taxa de violação limitada).
• Controlabilidade: Ao tornar o objetivo de serviço uma restrição explícita e controlar seu preço via feedback, o ponto de operação torna-se uma quantidade controlada em vez de uma quantidade emergente e errante.
• Generalização: Os autores sugerem que este padrão — substituir recompensas escalonadas por formulações baseadas em restrições usando preços controlados por feedback — é aplicável onde quer que uma política aprendida deva honrar um objetivo de serviço sob condições mutáveis, como controle de admissão de rede ou gerenciamento de energia de dispositivos de borda (edge).

Limitações
Os autores observam que os resultados baseiam-se em uma simulação de servidor único em tempo discreto com um agente Q-learning tabular. Os valores de potência são modelados, não medidos em hardware. O estudo isola o mecanismo de restrição, e trabalhos futuros são necessários para validar esses achados em plataformas de hardware e para estender a abordagem para RL profundo, tarefas heterogêneas e ambientes de múltiplos servidores.