🤖 machine learning

WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

O WattGPU introduz um novo framework que prevê com precisão o consumo de energia e a latência de inferência de Grandes Modelos de Linguagem em GPUs e LLMs não vistos utilizando apenas metadados públicos, superando significativamente os baselines físicos tradicionais sem exigir perfilamento de hardware.

Autores originais: Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

Publicado 2026-07-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando alugar um carro para uma viagem de carro, mas não sabe qual carro é o mais econômico para a sua bagagem e rota específicas. Normalmente, para descobrir, você teria que dirigir fisicamente cada um dos carros do mercado com a sua bagagem exata, medir o combustível e cronometrar a viagem. Isso levaria uma eternidade e custaria uma fortuna.

Este artigo apresenta o WattGPU, um "bola de cristal" para chips de computador (GPUs) e modelos de IA (LLMs). Em vez de dirigir cada carro, o WattGPU prevê exatamente quanta energia um modelo de IA específico usará e quão rápido ele rodará em um chip de computador específico, apenas olhando para suas fichas técnicas.

Aqui está a explicação de como funciona, usando analogias simples:

O Problema: O "Jogo de Adivinhação"

Grandes empresas e pequenas empresas estão usando chatbots de IA cada vez mais. Esses chatbots precisam de chips de computador potentes (GPUs) para rodar.

O Proble algo: Nem todos os chips são iguais. Rodar um modelo de IA pequeno em um chip massivo e poderoso é como colocar um pneu de bicicleta em um caminhão — isso desperdiça uma quantidade enorme de combustível (eletricidade).
O Jeito Antigo: Para encontrar a melhor combinação, os operadores tinham que testar fisicamente cada combinação de modelo de IA e chip de computador. Isso é caro, lento e exige possuir todo o hardware.
A Lacuna: As ferramentas existentes podiam supor, mas falhavam quando encontravam um novo chip ou um novo modelo de IA que nunca haviam visto antes.

A Solução: WattGPU (O "Oráculo da Ficha Técnica")

Os autores construíram dois modelos de previsão inteligentes (como uma calculadora muito avançada) que precisam apenas de informações públicas:

O "Currículo" da IA: Qual o seu tamanho? Quantas camadas ela possui? (Metadados do Hugging Face).
A "Ficha Técnica" do Chip: Quão rápido ele é? Quanta memória ele tem? Qual é o seu limite de potência máxima? (Especificações do fabricante).

O Truque Mágico:
O sistema aprende a "personalidade" de diferentes chips e modelos de IA. Uma vez treinado, ele pode olhar para um chip inédito que nunca viu e um modelo de IA inédito que nunca conheceu, e adivinhar com precisão:

Consumo de Energia: Quantos watts de eletricidade ele vai sugar?
Latência (ITL): Quanto tempo levará para gerar uma palavra (token) de texto?

A Analogia: A Cozinha de um Restaurante

Pense no modelo de IA como uma receita e na GPU como uma cozinha.

Algumas receitas são simples (fazer uma torrada); outras são complexas (um banquete de 10 pratos).
Algumas cozinhas têm fogões pequenos; outras têm fornos industriais.

Método Antigo: Você tem que cozinhar a receita em cada cozinha para ver quanto gás ela usa e quanto tempo leva.
Método WattGPU: Você olha para a lista de ingredientes da receita e para o tamanho do fogão da cozinha. O sistema prevê: "Se você cozinhar esta receita específica naquela cozinha específica, ela usará 13% menos gás do que você imagina, e levará 5 segundos por prato."

O Que Eles Provaram?

Os pesquisadores testaram o WattGPU em um conjunto massivo de dados de 42 modelos de IA diferentes e 8 chips de nível de servidor diferentes. Eles usaram um método de teste rigoroso chamado "Leave-One-Out" (Deixar Um de Fora), que é como fazer uma prova onde você é proibido de estudar a questão específica que está prestes a responder.

Os Resultados:
- Previsão de Energia: Foi incrivelmente precisa. Para tarefas offline (processamento em lote), o erro foi inferior a 3,4%. Para tarefas de servidor (chat em tempo real), o erro foi inferior a 13,5%.
- Previsão de Velocidade: Para chat em tempo real, o erro foi inferior a 8,5%.
- Classificação: Foi excelente em dizer qual chip é melhor que outro, mesmo que os números exatos não fossem perfeitos.

Por Que Isso Importa (O Momento "Aha!")

O artigo destaca uma descoberta surpreendente usando um exemplo específico: o Llama 3.1 8B.

Se você olhar apenas para a "classificação de eficiência de combustível" (TDP) de um chip, pode pensar que um chip pequeno e de baixa potência (L4) é a melhor escolha.
No entanto, o WattGPU previu que esse chip pequeno seria lento demais para atender aos requisitos de velocidade.
O chip "óbvio" de alta potência (H100) era rápido, mas desperdiçava 43% mais energia do que um chip de tamanho médio (A30) que era tão rápido quanto.
A Lição: O WattGPU encontrou o chip "Goldilocks" (o ideal) — aquele que é rápido o suficiente, mas não desperdiça energia. Sem essa ferramenta, as pessoas teriam escolhido o chip errado e desperdiçado uma quantidade enorme de eletricidade e dinheiro.

O Que Ele Não Faz (Os Limites)

O artigo é honesto sobre o que o WattGPU ainda não consegue fazer:

Ele funciona melhor em modelos de IA padrão, "densos". Ele ainda não lida bem com modelos complexos de "Mistura de Especialistas" (Mixture of Experts) — que são como uma equipe de especialistas trabalhando juntos — ou modelos que foram fortemente comprimidos (quantizados).
Ele tem um pouco mais de dificuldade com as velocidades de processamento "offline" em comparação com as velocidades de chat em tempo real, porque o software se comporta de forma diferente ao processar grandes lotes de uma só vez.

Conclusão

O WattGPU é uma ferramenta que permite pular os testes físicos. Ao usar apenas especificações públicas, ele ajuda os operadores a escolherem o chip de computador certo para sua IA, economizando dinheiro e eletricidade sem a necessidade de construir um laboratório cheio de hardware para testar todas as possibilidades. Ele transforma o "jogo de adivinhação" da implantação de IA em uma previsão calculada.

Resumo Técnico: WattGPU

Declaração do Problema
A rápida proliferação de cargas de trabalho de inferência de Grandes Modelos de Linguagem (LLMs), particularmente em implementações de pequenas e médias empresas, criou uma pegada energética significativa e crescente. Otimizar essas implementações requer o pareamento de LLMs específicos com as GPUs mais eficientes energeticamente. No entanto, os operadores carecem atualmente de ferramentas para realizar esse pareamento sem perfilar exaustivamente cada combinação de LLM-GPU em hardware físico. Esse processo de perfilamento é proibitivamente caro, exigindo acesso físico a diversos hardwares, especialização técnica e recursos significativos. Os modelos preditivos existentes dependem de dados de perfilamento ou falham ao generalizar para hardwares não vistos durante o treinamento, deixando uma lacuna na capacidade de estimar o consumo de energia e a latência para configurações inéditas usando apenas metadados públicos.

Metodologia
Para abordar isso, os autores apresentam o WattGPU, um framework que conta com dois modelos preditivos para o Consumo Médio de Energia da GPU ( $\bar{P}$ ) e a Latência Inter-Token (ITL). A inovação central é que esses modelos exigem zero acesso ao hardware ou perfilamento após treinados; eles dependem exclusivamente de metadados públicos de LLMs (ex: contagem de parâmetros, camadas, cabeças de atenção do Hugging Face) e especificações de fabricantes de GPU (ex: TDP, largura de banda de memória, velocidades de clock).

Engenharia de Atributos (Feature Engineering): Os autores derivaram atributos para capturar a dinâmica do hardware, incluindo uma razão de Boosting (escalonamento de frequência), Latência de Largura de Banda (tempo para ler pesos) e Latência de Computação (limite inferior teórico para computação de tokens).
Arquitetura do Modelo: Os autores avaliaram vários algoritmos e selecionaram o XGBoost (Gradient-Boosted Regression Trees) como o modelo ideal.
- Para a predição de potência, a variável alvo é normalizada pelo TDP (Thermal Design Power) da GPU para aprender um comportamento invariante de escala, facilitando a generalização para GPUs não vistas.
- Hiperparâmetros foram ajustados via busca em grade (grid search), com configurações específicas para potência (max_depth=6, n_estimators=100) e latência (max_depth=5, n_estimators=200).
Estratégia de Avaliação: Os modelos foram avaliados em um conjunto de dados composto por 42 LLMs de código aberto (0,1B–27B parâmetros) e 8 GPUs de nível de servidor NVIDIA (variando de V100 a H200). A avaliação utilizou estratégias rigorosas de validação cruzada:
1. Validação Cruzada de 5 dobras (5-fold CV): Generalização para combinações inéditas de (GPU, LLM) de hardware/modelos conhecidos.
2. Leave-One-GPU-Out (LOGO): Generalização para GPUs completamente inéditas.
3. Leave-One-LLM-Out (LOLO): Generalização para LLMs completamente inéditos.
  Os cenários incluíram Offline (throughput máximo) e Server (requisições distribuídas via Poisson com restrições de latência).

Principais Resultados
Os modelos WattGPU demonstram melhorias significativas sobre as bases analíticas (Load-Scaled TDP para potência e Roofline para latência), particularmente em cenários de generalização.

Consumo Médio de Energia ( $\bar{P}$ ):
- GPUs Inéditas (LOGO): Alcançou um Erro Absoluto Percentual Mediano (MdAPE) de ≤3,4% para cenários offline e ≤13,5% para cenários de servidor.
- Ranking: Manteve fortes correlações de ranking de GPU para cenários de servidor (Kendall $\tau \ge 0,76$ ).
- Comparação com Baseline: Reduziu o MdAPE em aproximadamente 2× para GPUs completamente inéditas e 4× para combinações LLM-GPU inéditas em cenários de servidor em comparação com os baselines mais fortes.
Latência Inter-Token (ITL):
- Cenários de Servidor: Alcançou um MdAPE de ≤8,5% em GPUs inéditas (LOGO).
- Cenários Offline: O desempenho foi mais desafiador, com um MdAPE de 24,9% em GPUs inéditas, embora o modelo ainda tenha superado o baseline Roofline em erro absoluto (24,9% vs. 80,2% para LOGO).
- Ranking: Os modelos atingiram alta qualidade de ranking, com Kendall $\tau \ge 0,76$ para cenários de servidor.

Significância e Alegações
O artigo afirma apresentar os primeiros modelos preditivos para potência e latência de inferência de LLM avaliados especificamente em GPUs inéditas. Sua principal significância reside em permitir decisões de implementação conscientes de energia sem a necessidade de benchmarking físico.

Impacto Prático: Os autores ilustram que heurísticas padrão (como TDP ou TFLOPS/Watt) podem ser enganosas. Por exemplo, selecionar uma H100 em vez de uma A30 para uma implementação de baixo carregamento do Llama 3.1 8B pode parecer eficiente com base em TFLOPS/Watt, mas o WattGPU prevê que ela consumirá 43% mais energia enquanto atende ao mesmo SLA de latência.
Sustentabilidade: Ao permitir que os operadores selecionem a GPU mais eficiente para um LLM e cenário de carga específicos, a ferramenta contribui diretamente para a redução de custos operacionais e emissões de carbono, alinhando-se com objetivos de sustentabilidade e regulamentações emergentes, como o EU AI Act.
Limitações e Trabalho Futuro: Os autores reconhecem que a predição de ITL em cenários offline permanece difícil (MdAPE 24,9%) porque atributos estáticos não conseguem capturar totalmente comportamentos de batching dinâmico (ex: continuous batching do vLLM). O trabalho futuro visa incorporar atributos sensíveis à carga de trabalho e estender a abordagem para modelos Mixture-of-Experts (MoE) e modelos quantizados. A avaliação atual é limitada a modelos densos em configurações de GPU única.