Resumo Técnico: Quando o RL Profundo Supera as Linhas de Base Calibradas?

Declaração do Problema

O controle adaptativo de recursos — alocar recursos de computação para cargas de trabalho dinâmicas enquanto se adere a custos e objetivos de nível de serviço (SLOs) — é um problema crítico de tomada de decisão na computação em nuvem. Embora o Aprendizado por Reforço Profundo (DRL) tenha sido cada vez mais aplicado a este domínio, a literatura existente apresenta conclusões conflitantes sobre sua eficácia em comparação com controladores baseados em regras tradicionais. Alguns estudos afirmam reduções significativas de custos, enquanto outros descobrem que os métodos baseados em regras permanecem competitivos.

Os autores atribuem essa inconsistência a três lacunas sistêmicas nas práticas de pesquisa atuais:

1. Linhas de Base Não Calibradas: As comparações frequentemente utilizam controladores baseados em regras mal ajustados (por exemplo, autoescaladores de limiar simples), onde os ganhos aparentes do RL refletem a fraqueza da linha de base e não a superioridade algorítmica.
2. Relatório de Semente Única: O treinamento de DRL exibe alta variância entre sementes aleatórias. Avaliações baseadas em execuções únicas frequentemente caem dentro da margem de ruído, tornando as classificações de benchmarks não confiáveis.
3. Cobertura de Carga de Trabalho Estreita: A maioria dos estudos avalia apenas um ou dois padrões de tráfego (por exemplo, diurno ou explosivo), gerando conclusões que não se generalizam para ambientes de produção diversos ou para mudanças de distribuição.

Metodologia: RLSCALE-BENCH

Para abordar essas lacunas, os autores introduzem o RLSCALE-BENCH, um protocolo de benchmark e avaliação reproduzível instanciado no Horizontal Pod Autoscaling (HPA) do Kubernetes. O benchmark avalia seis algoritmos de DRL principais contra uma linha de base baseada em regras rigorosamente calibrada, abrangendo seis padrões distintos de carga de trabalho e cinco sementes aleatórias (totalizando 240 execuções de avaliação).

Ambiente e Configuração

• Tarefa: O agente gerencia a contagem de réplicas de pods para um serviço que lida com fluxos de requisições dinâmicos.
• Espaço de Estados: Um vetor de 6 dimensões incluindo utilização de CPU, uso de memória, taxa de requisições, latência p95, taxa de erro e contagem atual de réplicas.
• Espaço de Ações: Mudanças discretas nas contagens de réplicas $\{-2, -1, 0, +1, +2\}$. Algoritmos de ação contínua (SAC, TD3, DDPG) são encapsulados para mapear saídas contínuas para esses bins discretos.
• Função de Recompensa: Uma composição de custo de infraestrutura (USD por réplica) e uma penalidade por violações de SLO (limiar de latência ou taxa de erro > 5%).
• Cargas de Trabalho: Seis padrões abrangendo a diversidade de produção: Constante, Periódica, Variável (passeio aleatório), Explosiva (picos de Poisson), Rampada (aumento linear) e Flash (pico súbito de 3x).

Algoritmos e Linhas de Base

• Agentes DRL: PPO, DQN, A2C (ação discreta); SAC, TD3, DDPG (ação contínua). Todos compartilham arquiteturas MLP idênticas ($[256, 256]$) e um orçamento de treinamento correspondente de 50.000 passos de tempo.
• Linha de Base Calibrada: Um HPA do Kubernetes fiel à produção, ajustado para um alvo de utilização de CPU de 70% com limites de contenção realistas e intervalos de decisão.
• Linha de Base Aleatória: Uma política aleatória uniforme estabelecendo um limite inferior de desempenho.

Protocolo de Avaliação

Os modelos são avaliados em todos os seis tipos de carga de trabalho ao longo de 240 passos de decisão. As métricas incluem custo total de infraestrutura, total de violações de SLO e contagem média de réplicas, relatadas com média $\pm$ desvio padrão entre cinco sementes. Um estudo de mudança de distribuição treina agentes na carga de trabalho "Variável" e os implanta nas outras cinco sem retreinamento.

Resultados Principais

1. Linhas de Base Calibradas Superam o RL em Custo

Contrariando a suposição de que o DRL reduz inerentemente custos, a linha de base HPA calibrada alcançou o menor custo de infraestrutura em todas as seis cargas de trabalho. Ela manteve menos réplicas em média (2,0–3,0) em comparação com os agentes de RL (2,7–3,8), enquanto alcançava conformidade razoável com SLOs.

2. Descompasso entre Ações Discretas e Contínuas

Existe uma lacuna dramática de desempenho entre famílias de algoritmos devido ao descompasso no espaço de ações:

• Algoritmos discretos (PPO, DQN, A2C) superaram significativamente os algoritmos contínuos (SAC, TD3, DDPG) em termos de violações de SLO, frequentemente por uma a duas ordens de grandeza.
• Algoritmos contínuos sofreram com "aliasing de recompensa" causado pelo encapsulamento de discretização: platôs de recompensa planos dentro dos bins levaram a gradientes próximos de zero, enquanto as bordas dos bins causaram saltos de alta variância.
• O DDPG especificamente convergiu para uma política degenerada de réplica única, minimizando custos, mas incorrendo em violações catastróficas de SLO (300–989 por carga de trabalho).

3. Nenhum Algoritmo Único Domina

As classificações de algoritmos são altamente dependentes da carga de trabalho. Nenhum algoritmo DRL único manteve uma classificação consistente em todos os padrões. Por exemplo, o SAC se destacou em cargas de trabalho variáveis, mas performou mal no tráfego rampado, enquanto o PPO mostrou a classificação mais estável (2º–3º).

4. Mudança de Distribuição e o "Imposto de Transferência"

Quando treinados na carga de trabalho "Variável" e implantados em distribuições deslocadas:

• O PPO generalizou bem para padrões de estado estacionário (Constante, Periódica, Rampada) com zero violações, mas lutou com tráfego de cauda pesada (Explosiva, Flash), mostrando uma redução de 54% nas violações em comparação com o HPA no tráfego explosivo, mas a um custo 24% maior.
• O SAC demonstrou robustez em cargas de trabalho dinâmicas, mas ao custo de um uso de recursos sistematicamente maior.
• O HPA calibrado incorreu em nenhum imposto de transferência porque sua política é uma função fixa da utilização atual, evitando o sobreajuste a uma distribuição de treinamento específica.

Significado e Contribuições

O artigo desafia a narrativa predominante de que o RL profundo supera diretamente o controle baseado em regras na gestão de recursos. Os autores argumentam que o gargalo no controle de recursos baseado em RL não é a seleção de algoritmos, mas sim:

1. Calibração da Linha de Base: Controladores baseados em regras devidamente ajustados são competidores surpreendentemente fortes e não devem ser tratados como espantalhos.
2. Engenharia de Recompensa: A escolha do espaço de ações (discreto vs. contínuo) e o design de recompensa são críticos; espaços de ações incompatíveis podem levar a falhas catastróficas.
3. Protocolos de Avaliação: Benchmarks devem incluir avaliação de mudança de distribuição e relatório de múltiplas sementes para refletir os desafios de implantação no mundo real.

Contribuições Principais:

• C1: Um protocolo de benchmark multi-algoritmo com orçamento correspondido, eliminando confusões de implementação.
• C2: Uma linha de base HPA calibrada servindo como um comparador forte e realista.
• C3: Uma avaliação estatisticamente rigorosa (240 execuções, 5 sementes, 6 cargas de trabalho) com barras de erro.
• C4: Um estudo de generalização de mudança de distribuição revelando instabilidade algorítmica sob deslocamentos de implantação.
• C5: Três achados contra-intuitivos demonstrando que linhas de base calibradas frequentemente vencem em custo, ações discretas são superiores para recursos indivisíveis e nenhum algoritmo de RL único domina todas as cargas de trabalho.

Os autores concluem que o progresso neste campo exige ir além da novidade algorítmica em direção a uma melhor engenharia de recompensas, calibração de ambiente e protocolos de avaliação que reflitam restrições do mundo real. Eles disponibilizam a suíte completa de benchmarks, modelos treinados e dados de avaliação para apoiar esses objetivos.