🤖 AI

CloudCons: A Comprehensive End-to-End Benchmark for Cloud Resource Consolidation

Este artigo apresenta o CloudCons, um benchmark abrangente de ponta a ponta utilizando diversos conjuntos de dados reais de nuvem para demonstrar que, embora os modelos de fundação se destaquem na precisão de previsão zero-shot, seu desempenho superior não se traduz automaticamente em uma melhor utilidade de decisão na consolidação de recursos, destacando o papel crítico da seleção de quantis preditivos no equilíbrio entre eficiência e confiabilidade.

Autores originais: Xiaobin Zhang, Lefei Shen, Mouxiang Chen, Zhuo Li, Hongkai Li, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

Publicado 2026-06-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaobin Zhang, Lefei Shen, Mouxiang Chen, Zhuo Li, Hongkai Li, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o gerente de um hotel enorme e movimentado (o Centro de Dados na Nuvem). Seu objetivo é acomodar o maior número possível de hóspedes (programas de computador, ou VMs) no menor número de quartos de hotel (servidores físicos) possível para economizar dinheiro, mas você nunca deve fazer uma reserva excessiva a ponto de os hóspedes não conseguirem dormir (violar a Confiabilidade do Serviço).

Atualmente, a maioria dos gerentes de hotéis é muito cautelosa. Eles deixam muitos quartos vazios para o caso de um hóspede aparecer inesperadamente. Isso é chamado de "superprovisionamento" (over-provisioning), e significa que o hotel está operando com apenas 15–20% de capacidade, o que é um enorme desperdício de dinheiro.

Para corrigir isso, os gerentes tentam prever quando os hóspedes chegarão e sairão para que possam movimentar as pessoas de forma eficiente. Esta é a estratégia "Prever-então-Otimizar" (Forecast-then-Optimize): primeiro adivinhe o futuro, depois faça o movimento.

O Problema: A Armadilha da "Bola de Cristal"

Recentemente, uma nova geração de bolas de cristal de IA superinteligentes (chamadas de Modelos de Fundação) chegou. Esses modelos são treinados com quantidades massivas de dados de todo o mundo. Eles são incríveis em prever o futuro de uma forma "zero-shot", o que significa que podem adivinhar o clima em uma cidade que nunca visitaram sem precisar estudar aquela cidade específica primeiro.

No entanto, os pesquisadores por trás deste artigo fizeram uma pergunta crítica: "Só porque a bola de cristal é precisa ao prever o clima, isso significa que ela ajuda o gerente do hotel a tomar melhores decisões?"

Eles descobriram que os testes existentes apenas verificavam o quão precisa a bola de cristal era ao adivinhar números. Eles não verificaram se esses palpites realmente ajudavam o gerente a economizar dinheiro ou manter os hóspedes felizes.

A Solução: CloudCons (O Simulador de Hotel)

Os autores construíram um novo campo de testes chamado CloudCons. Pense nele como um simulador de voo de alta tecnologia para gerentes de hotéis. Em vez de apenas verificar se a IA acertou o número, ele simula o processo inteiro:

Os Dados: Eles alimentaram o simulador com dados do mundo real de três "hotéis" gigantes: Huawei Cloud, Microsoft Azure e Google Borg. Esses hotéis têm tipos de hóspedes muito diferentes:
- Alguns são previsíveis (como um passageiro diário).
- Alguns são caóticos e explosivos (como uma venda relâmpago repentina).
- Alguns são barulhentos e instáveis (como uma festa com música aleatória).
O Teste: Eles colocaram três tipos de "previsores" para competir entre si:
- A Velha Guarda: Regras estatísticas simples (como "se choveu ontem, choverá hoje").
- Os Aprendizes Profundos (Deep Learners): IAs complexas que precisam ser treinadas especificamente para este hotel.
- Os Modelos de Fundação: As novas super-IAs que conhecem tudo sobre todos os hotéis.
O Resultado: Eles não olharam apenas para os erros de previsão. Eles olharam para o resultado no mundo real: Economizamos dinheiro? Causamos uma falha no sistema?

A Grande Surpresa

O artigo revela uma descoberta contraintuitiva: Ser o melhor em prever o futuro não significa automaticamente ser o melhor em gerenciar o hotel.

O Paradoxo da "Super-IA": Os sofisticados Modelos de Fundação foram, de fato, os mais precisos ao prever os números. No entanto, quando o gerente do hotel usou essas previsões para lotar os quartos, eles não economizaram mais dinheiro ou evitaram mais falhas do que os modelos mais simples e baratos.
O Risco da "Excesso de Confiança": Em alguns ambientes caóticos, as super-IAs estavam tão confiantes em sua previsão "média" que lotaram os quartos de forma muito apertada. Quando ocorreu um pico repentino (um "pulso"), o sistema falhou.
O Vencedor "Simples": Para cargas de trabalho muito previsíveis e regulares, os modelos estatísticos da velha guarda foram, na verdade, tão bons quanto as super-IAs, mas muito mais baratos de operar.

A Alavanca Secreta: A "Margem de Segurança"

O artigo descobriu que a chave para o sucesso não é apenas qual IA você usa, mas como você a escuta.

A maioria das IAs modernas não fornece apenas um número (ex: "50 hóspedes amanhã"). Elas fornecem uma faixa de possibilidades (ex: "Pode ser 40, 50 ou 60"). Os pesquisadores descobriram que o gerente pode escolher em qual número confiar:

A Abordagem do "Apostador" (Quantil Baixo): Confiar na extremidade inferior da previsão (ex: "Serão 40"). Isso lota o hotel de forma apertada para economizar dinheiro, mas se 60 pessoas aparecerem, você terá um desastre.
A Abordagem do "Paranoico" (Quantil Alto): Confiar na extremidade superior da previsão (ex: "Pode ser 60"). Isso deixa quartos vazios (desperdiçando dinheiro), mas garante que ninguém seja deixado de fora.

A Regra de Ouro:

Se você estiver operando um serviço sensível ao custo (onde economizar dinheiro é o objetivo nº 1), você deve escolher uma previsão de "meio termo".
Se você estiver operando um serviço crítico para a missão (onde uma falha é inaceitável, como um sistema hospitalar), você deve escolher a previsão "paranoica" de nível alto, mesmo que isso signifique deixar alguns quartos vazios.

Resumo

O artigo argumenta que não devemos apenas perseguir a bola de cristal de IA mais precisa. Em vez disso, precisamos entender como as previsões dessa bola de cristal se traduzem em decisões do mundo real. Às vezes, uma previsão "boa o suficiente" combinada com uma margem de segurança inteligente é melhor do que uma previsão "perfeita" que leva a uma decisão arriscada. Os autores fornecem um guia sobre como ajustar essa margem de segurança para equilibrar a economia de dinheiro com a manutenção das operações funcionando.

Resumo Técnico: CloudCons

Definição do Problema

Os centros de dados em nuvem sofrem atualmente com a baixa utilização de recursos (média global de uso de CPU de 15%-20%) devido ao excesso de provisionamento conservador necessário para garantir os Acordos de Nível de Serviço (SLAs). Embora o paradigma "prever-então-otimizar" tenha emergido para abordar isso, antecipando demandas futuras para consolidação proativa de recursos, os métodos de avaliação existentes são insuficientes. Os benchmarks atuais focam exclusivamente em métricas de erro de previsão (ex: MAE, MSE), falhando em verificar se uma precisão de previsão superior se traduz em melhor utilidade de decisão para tarefas de consolidação subsequentes. Além disso, a emergência de modelos de fundação de séries temporais (ex: Moirai, Chronos, TimesFM) promete generalização zero-shot, mas sua eficácia prática no contexto específico de consolidação de recursos em nuvem permanece não verificada. Os benchmarks existentes também carecem de diversidade de múltiplas fontes, cobertura abrangente de modelos (frequentemente omitindo modelos de fundação ou baselines de deep learning) e um framework de avaliação holístico que preencha a lacuna entre o erro de previsão e a qualidade da decisão.

Metodologia

Os autores propõem o CloudCons, um benchmark abrangente de ponta a ponta projetado para avaliar modelos de previsão dentro do contexto específico de consolidação de recursos em nuvem. O framework consiste em três módulos principais:

Datasets Multi-Cloud: Os autores construíram datasets de alta qualidade processando traços de carga de trabalho reais de três grandes provedores: Huawei Cloud (Huawei2025), Microsoft Azure (Azure2019) e Google Borg (Borg2019-d e Borg2019-e). Esses datasets foram limpos, interpolados e agregados em múltiplas granularidades (5 min, 30 min, 1 hora). As cargas de trabalho exibem características diversas, incluindo ritmos diários sincronizados, surtos estocásticos do tipo pulso e ruído de alta frequência.
Fluxo de Trabalho de Previsão-então-Otimização: O benchmark simula um processo de dois estágios:
- Estágio I (Previsão de Demanda): Modelos geram sequências de demanda futura ( $H$ $H$ passos à frente) baseadas no uso histórico. A avaliação cobre um espectro de modelos:
  - Estatísticos: AutoARIMA, AutoETS, AutoTheta.
  - Deep Learning: DeepAR, TFT, DLinear, PatchTST (treinados do zero em cada dataset).
  - Modelos de Fundação: Moirai 2, Chronos 2, TimesFM 2.5, Sundial, TOTO, FlowState-9.1M, Kairos 50M (avaliados em um cenário zero-shot).
- Estágio II (Otimização de Recursos): As demandas previstas servem como entradas para algoritmos de otimização para gerar decisões de consolidação (alocação de VMs em Máquinas Físicas). O problema é formulado como um problema de empacotamento de caixas dinâmico (dynamic bin-packing). Os métodos de otimização incluem Heurísticas (First Fit Decreasing, Best Fit Decreasing), Meta-heurísticas (Ant Colony Optimization) e Solvers Exatos (Gurobi/MILP).
Suíte de Avaliação Abrangente: Indo além de métricas de erro únicas, o benchmark avalia o desempenho através de cinco dimensões:
- Erro de Previsão: MASE e CRPS.
- Eficiência de Recursos: Razão de utilização (Util).
- Equilíbrio de Carga: Razão Pico-a-Média (PAR).
- Confiabilidade do Serviço: Taxa de Violação (VR) e Severidade da Violação (VS).
- Quantificação de Incerteza: Probabilidade de Cobertura do Intervalo de Previsão (PICP), Largura Média do Intervalo de Previsão (MPIW) e Score de Winkler, avaliados via simulação de Monte Carlo no nível de PM.

Principais Contribuições

Framework Ponta a Ponta: O CloudCons integra cargas de trabalho heterogêneas do mundo real em um pipeline unificado que une previsão e otimização, quebrando a limitação de avaliar modelos de previsão apenas em tarefas de previsão.
Benchmarking Centrado na Decisão: Estabelece uma nova linha de base para avaliar a utilidade prática de modelos de fundação de séries temporais na condução de decisões de consolidação, em vez de apenas sua precisão preditiva.
Análise Sistemática de Seleção de Quantis: O trabalho fornece diretrizes acionáveis sobre como a seleção de quantis preditivos atua como uma alavanca crítica para equilibrar o trade-off entre eficiência de recursos e confiabilidade do serviço.

Resultados Experimentais

Os experimentos abordam três questões de pesquisa:

Precisão de Previsão (RQ1): Modelos de fundação (ex: Chronos 2, TimesFM 2.5) demonstram superioridade na precisão de previsão zero-shot em ambientes de nuvem diversos e complexos (Huawei2025, Azure2019), superando baselines estatísticos e modelos de deep learning treinados do zero. No entanto, em ambientes altamente regularizados (Borg2019-e), modelos tradicionais de deep learning como o PatchTST alcançam precisão comparável aos modelos de fundação.
Utilidade da Decisão (RQ2): Uma descoberta fundamental é o desalinhamento entre precisão de previsão e utilidade de decisão. Apesar de métricas de previsão superiores, os modelos de fundação não se traduzem inerentemente em melhores resultados de consolidação. Em alguns casos (ex: Azure2019), modelos de deep learning como PatchTST e DeepAR superam os modelos de fundação em métricas de confiabilidade (VR, VS) por capturarem melhor os picos de carga, mesmo que seu erro de previsão geral seja maior. Em cargas de trabalho altamente regularizadas, modelos tradicionais de baixo custo costem oferecer soluções mais pragmáticas do que os modelos de fundação.
Sensibilidade ao Quantil (RQ3): A seleção de quantis preditivos ( $\alpha$ $α$ ) impacta significativamente o trade-off entre eficiência e confiabilidade.
- $\alpha \in [0.4, 0.6]$ (Baseado na mediana): Adequado para aplicações sensíveis ao custo, maximizando a utilização de recursos, mas correndo o risco de maiores taxas de violação em ambientes voláteis.
- $\alpha \geq 0.8$ (Alto quantil): Crítico para serviços de missão crítica. Mudar para quantis mais altos mitiga significativamente os riscos de contenção de recursos com impacto limitado na utilização em cenários imprevisíveis.
- Incerteza: Modelos de fundação como o Chronos 2 mostram uma calibração probabilística excepcional, enquanto outros (ex: FlowState) podem exibir desalinhamento de distribuição, levando a margens de segurança enganosas.

Significância e Alegações

O artigo afirma que o CloudCons preenche uma lacuna crítica na literatura ao deslocar o foco da avaliação do erro de previsão puro para a utilidade da decisão. Os autores asseguram que uma alta precisão de previsão não é uma condição suficiente para uma consolidação de recursos ideal. Consequentemente, o benchmark oferece insights vitais para implantação no mundo real:

Seleção de Modelo: Modelos de fundação são atraentes para ambientes complexos e voláteis devido à generalização zero-shot, mas modelos tradicionais permanecem viáveis e potencialmente mais eficientes para cargas de trabalho estáveis e periódicas.
Diretrizes Operacionais: O estudo fornece recomendações concretas para calibrar quantis preditivos. Os operadores não devem confiar apenas em previsões de mediana; em vez disso, devem selecionar estrategicamente os quantis com base em seus requisitos específicos de confiabilidade (ex: usando $\alpha \geq 0.8$ para serviços de alta confiabilidade) para equilibrar o trade-off entre eficiência de recursos e confiabilidade do serviço.

O trabalho conclui que a ponte entre previsão e tomada de decisão requer métricas de avaliação que reflitam o desempenho do sistema downstream, em vez de apenas o erro estatístico.