🤖 AI

The Illusion of Power Capping in LLM Decode: A Phase-Aware Energy Characterisation Across Attention Architectures

Este artigo revela que o limite de potência é ineficaz para a decodificação autoregressiva de LLMs devido a gargalos limitados pela memória que deixam a margem de potência da GPU subutilizada, e demonstra que o bloqueio do clock dos SMs é uma estratégia superior que recupera até 32% da energia de decodificação enquanto minimiza a perda de throughput em diversas arquiteturas de atenção.

Autores originais: Bole Ma, Ayesha Afzal, Jan Eitzinger, Gerhard Wellein

Publicado 2026-05-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bole Ma, Ayesha Afzal, Jan Eitzinger, Gerhard Wellein

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: O Interruptor de Energia "Falso"

Imagine que você administra uma biblioteca massiva (um centro de dados) onde robôs (GPUs) estão lendo livros e escrevendo novas páginas (gerando texto para IA).

Os gerentes da biblioteca têm uma regra padrão para economizar eletricidade: "Se um robô começar a usar energia demais, reduza sua velocidade até que ele permaneça abaixo de um limite específico." Isso é chamado de Limitação de Potência (Power Capping). Funciona muito bem para trabalhos pesados, como mover caixas pesadas (treinar modelos ou processar grandes lotes de dados de uma só vez).

No entanto, este artigo descobriu um truque. Quando os robôs estão apenas lendo uma frase de cada vez e escrevendo a próxima palavra (um processo chamado "decodificação"), a regra de energia não funciona de forma alguma. Os robôs estão tão focados em buscar a próxima página na estante de livros que nem sequer estão trabalhando o suficiente para acionar o limite de energia. O "teto de potência" é como um sinal de limite de velocidade em uma estrada onde ninguém está dirigindo rápido o suficiente para receber uma multa. É uma ilusão.

O Problema Real: O Gargalo da "Estante de Livros"

Por que o robô não está trabalhando duro?

O Robô (GPU): Ele tem um cérebro super-rápido (Computação) e uma memória super-rápida (HBM).
A Tarefa: Para escrever a próxima palavra, o robô precisa correr até a estante de livros, pegar um livro pesado, ler um pouquinho e correr de volta.
O Gargalo: O robô não é limitado pela velocidade com que seu cérebro pode pensar; é limitado pela velocidade com que ele pode correr até a estante de livros.

Como o robô está constantemente correndo de ida e volta para a estante de livros, seu cérebro fica ocioso na maior parte do tempo. Mesmo que você diga ao robô para "desacelerar" para economizar energia, ele não pode ir muito mais devagar porque já está esperando na estante de livros. Se você tentar limitar seu total de consumo de energia, o robô simplesmente ignora você porque já está usando muito pouca energia (apenas cerca de 200–300 Watts em uma máquina classificada para 700 Watts).

A Solução: A "Troca de Marcha Manual"

Como o interruptor automático de energia (Limitação de Potência) é inútil, os autores encontraram uma maneira melhor: Bloqueio do Clock da SM (SM Clock Locking).

Pense nisso como trocar manualmente a marcha do robô.

O Jeito Antigo (Limitação de Potência): "Não use mais de 280 Watts!" (O robô diz: "Já estou usando apenas 200 Watts, então faço o que quero.")
O Jeito Novo (Bloqueio de Clock): "Ei robô, já que você está apenas esperando na estante de livros, vamos colocá-lo em Marcha Baixa."

Ao dizer manualmente ao robô para fazer seu cérebro funcionar em uma velocidade mais lenta e constante (bloqueando o clock), o robô economiza uma quantidade massiva de energia (até 32%) sem realmente diminuir a velocidade de escrita. Por quê? Porque o robô já estava esperando na estante de livros, então desacelerar o cérebro não o fez esperar mais tempo. Ele apenas desperdiçou menos eletricidade enquanto esperava.

Os "Novos Robôs" (Arquiteturas Diferentes)

O artigo testou quatro tipos diferentes de designs de robôs (GQA, MLA, GDN, Mamba2). Todos eles se comportam de maneira semelhante durante a fase de "escrita": todos ficam presos esperando na estante de livros.

No entanto, eles têm diferentes "custos de inicialização":

Os Iniciadores Pesados (GDN, Mamba2): Esses robôs levam muito tempo e usam muita energia para se preparar (fase de "preenchimento" ou prefill). Mas, uma vez que começam a escrever, são incrivelmente eficientes. Se você pedir para eles escreverem uma história longa, eventualmente tornam-se a opção mais barata porque são tão rápidos na parte de "escrita".
Os Iniciadores Comprimidos (MLA): Esses robôs carregam uma mochila menor (memória comprimida). Levam um pouco mais de tempo para desempacotar sua mochila no início, mas, uma vez que estão escrevendo, são muito eficientes.
O Iniciador Padrão (GQA): O robô confiável e padrão. Não tem um custo de inicialização pesado, mas não é tão eficiente ao escrever histórias longas quanto os novos modelos.

A Lição: Se você estiver escrevendo uma nota curta, o robô padrão é suficiente. Se você estiver escrevendo um romance inteiro, os "Iniciadores Pesados" ou "Iniciadores Comprimidos" economizam mais dinheiro a longo prazo, mesmo que custem mais para inicializar.

O Limite de Velocidade "Falso"

Havia mais uma coisa confusa que os autores descobriram. Quando tentaram definir manualmente a velocidade do robô para o máximo (1980 MHz), o software interno do robô (firmware) secretamente o limitou a uma velocidade menor (1830 MHz).

É como pedir a um carro para dirigir a 120 mph, mas o computador do carro o limita secretamente a 110 mph.
Pior ainda, os autores descobriram que dirigir a 110 mph versus 95 mph fazia zero diferença na velocidade com que o robô escrevia a história. O robô ainda estava esperando na estante de livros. Então, a velocidade extra estava apenas queimando eletricidade extra sem motivo.

Resumo

Limitação de Potência é um Mito para Escrita de IA: Não economiza energia quando a IA está gerando texto porque a IA não está usando energia suficiente para acionar o limite.
Controle Manual de Velocidade Vence: Em vez de definir um limite de energia, você deve desacelerar manualmente a velocidade do cérebro do robô. Isso economiza até 32% de energia com quase nenhuma perda de velocidade.
Robôs Diferentes para Trabalhos Diferentes: Novos designs de IA são ótimos para conversas longas porque são super eficientes na escrita, mesmo que sejam um pouco lentos para iniciar.
A Estante de Livros é o Rei: A velocidade da IA é limitada pela rapidez com que ela pode buscar dados da memória, não pela rapidez com que seu cérebro pode pensar.

A Conclusão: Os centros de dados estão usando a ferramenta errada para economizar dinheiro. Devem parar de depender de limites automáticos de energia e começar a ajustar manualmente a velocidade de seus robôs de IA para corresponder à realidade da tarefa.

Resumo Técnico: A Ilusão do Limitamento de Potência no Decodificação de LLM

Declaração do Problema

Os data centers dependem cada vez mais do limitamento de potência de GPU como o mecanismo primário para gerenciar a pegada energética da inferência de Modelos de Linguagem Grandes (LLM). O modelo operacional predominante assume que definir um limite de watt no nível da placa força o driver da GPU a reduzir os clocks, trocando o rendimento por economias de potência garantidas. Embora esse modelo se mantenha para cargas de trabalho limitadas por computação (por exemplo, treinamento ou kernels densos de HPC) que levam as GPUs perto de sua Potência de Projeto Térmico (TDP), este artigo argumenta que o modelo é estruturalmente falho para a fase que domina o serviço de LLM em produção: decodificação autoregressiva.

O problema central é que o limitamento de potência é inerte durante a decodificação porque a carga de trabalho é limitada por memória, não por computação. Consequentemente, a GPU nunca consome energia suficiente para ativar o limite, tornando a alavanca de energia ineficaz. Além disso, comportamentos no nível de firmware, como a redução silenciosa de clocks ao usar nvidia-smi --lock-gpu-clocks, criam um "duplo disfarce" que obscurece a verdadeira relação entre frequência, potência e rendimento.

Metodologia

Os autores realizaram uma caracterização energética sistemática em quatro paradigmas distintos de atenção em uma única GPU NVIDIA H200 SXM (700 W TDP, 4,8 TB/s de largura de banda HBM3e):

GQA (Atenção de Consulta Agrupada, por exemplo, Qwen3-4B)
MLA (Atenção Latente Multi-Cabeça, por exemplo, Minitron-4B via TransMLA)
Gated DeltaNet (Recorrência linear, por exemplo, Qwen3.5-4B)
Mamba2 (Modelos de Espaço de Estado, por exemplo, Nemotron-Nano)

Configuração Experimental:

Hardware/Software: Os modelos foram servidos via vLLM em precisão BF16 sem kernels personalizados para refletir implantações padrão de praticantes.
Controles: Uma ablação controlada foi realizada usando TransMLA para converter GQA-ctrl (Minitron-4B) em MLA, garantindo que as diferenças de energia fossem atribuídas exclusivamente ao mecanismo de atenção, e não a pesos do modelo ou vocabulário.
Métricas: Energia por token (mJ/tok) foi medida para as fases de pré-preenchimento e decodificação.
Variáveis: O estudo variou cinco níveis de clock SM (390–1980 MHz), cinco níveis de limite de potência (280–700 W), tamanhos de lote (1–32) e comprimentos de sequência (1K–64K tokens).
Análise: Modelagem de telhado foi usada para determinar a intensidade aritmética, e fronteiras de Pareto foram construídas para comparar rendimento versus eficiência energética sob diferentes mecanismos de controle.

Principais Descobertas

1. A Ilusão do Limitamento de Potência

Contrariando a suposição de que limites de potência reduzem ativamente as GPUs durante o serviço de LLM, o estudo descobriu que, durante a decodificação, a GPU consome apenas 137–300 W em uma placa de 700 W TDP.

Limites Inertes: Como a carga de trabalho é limitada por memória (saturando a largura de banda HBM em vez da computação), a GPU nunca atinge nem mesmo o limite configurado mais baixo (280 W). O driver ignora o limite e mantém um clock padrão de ≈1830 MHz.
Artefatos de Firmware: O comando nvidia-smi --lock-gpu-clocks limita silenciosamente qualquer travamento solicitado ≥1830 MHz para 1830 MHz, distinto do boost livre de 1980 MHz. Isso cria uma lacuna de 240 MHz onde clocks mais altos resultam em ganho zero de rendimento, mas aumentam a potência em 7–13%, confundindo ainda mais as medições de energia.

2. Travamento de Clock SM como Alavanca Correta

Como a decodificação é limitada por memória, o caminho crítico é o subsistema de memória, não a frequência de computação.

Dominação de Pareto: O travamento estático de clock SM supera o limitamento de potência em todos os pontos de operação correspondentes. Ao reduzir o clock SM (por exemplo, para 780 MHz), o sistema recupera até 32% da energia de decodificação com menos de 1% de perda de rendimento.
Classes de Arquitetura: Os autores identificaram três classes comportamentais relacionadas à Escalonamento Dinâmico de Tensão e Frequência (DVFS):
- Invariante ao Lote (GQA, GQA-ctrl): Permanecem limitados por memória mesmo em grandes tamanhos de lote (BS=32); um único clock baixo é ótimo.
- Sensível ao Lote (MLA, Mamba2): Contêm computação suficiente por etapa (descompressão KV ou varreduras SSM) para que lotes grandes as empurrem para regimes limitados por computação, exigindo clocks mais altos à medida que o tamanho do lote aumenta.
- Leve em Computação (GDN): Dominado por operações elemento a elemento; tolera o sub-relógio mais agressivo incondicionalmente.

3. Paisagem Energética Trans-Arquitetural

Arquiteturas novas (MLA, GDN, Mamba2) compartilham um padrão energético comum: um pesado custo de pré-preenchimento que é eventualmente recuperado por uma decodificação eficiente.

Penalidade de Pré-preenchimento: GDN e Mamba2 exibem uma energia de pré-preenchimento por token uma ordem de magnitude maior devido à recorrência de estado sequencial e execução não fundida no vLLM. MLA sofre uma penalidade menor, mas persistente, devido à sobrecarga de descompressão KV e utilização não potência de 2 dos núcleos tensor.
Retorno de Decodificação: Na fase de decodificação, essas arquiteturas tornam-se altamente eficientes.
- Mamba2: Alcança latência constante por etapa ( $O(1)$ ), cruzando abaixo do GQA em energia total de solicitação após aproximadamente 1.000 tokens de saída em tamanhos de lote de produção.
- MLA: Cruza abaixo do GQA em um limiar de contexto dependente do tamanho do lote (por exemplo, 4K tokens em BS=32). Em BS=32 e contexto de 65K, o MLA usa menos da metade da energia de decodificação do GQA.
Energia Total de Solicitação: Em tamanhos de lote de produção (BS=32), a eficiência da fase de decodificação permite que arquiteturas novas reduzam pela metade a energia total de solicitação em relação ao GQA padrão, apesar de suas penalidades de pré-preenchimento.

Significado e Alegações

O artigo afirma que a dependência da indústria do limitamento de potência para inferência de LLM é estruturalmente ineficaz para a fase dominante de decodificação. Os autores afirmam que:

O limitamento de potência é um "duplo disfarce": Falha em ativar porque a GPU está subutilizada em termos de potência (devido a gargalos de memória), e o travamento de clock de firmware introduz desvios não relacionados que corrompem as medições de rendimento.
O travamento de clock SM é a solução universal: Ataca diretamente o recurso de caminho crítico (frequência) para cargas de trabalho limitadas por memória, oferecendo um trade-off Pareto-dominante entre energia e rendimento que o limitamento de potência não pode alcançar.
Implicações arquitetônicas: Os benefícios energéticos de mecanismos de atenção novos (MLA, Mamba2) são estritamente específicos de decodificação. Isso apoia a adoção de arquiteturas de serviço desagregado, onde pré-preenchimento e decodificação são roteados para diferentes pools de GPU otimizados para suas respectivas fases.

Os autores concluem que, para data centers gerenciando inferência de LLM, substituir o limitamento de potência pelo travamento estático de clock SM para pools de decodificação é uma intervenção direta e de alto impacto que pode gerar megawatts de economia contínua de energia em escala, um resultado inatingível através das estratégias atuais de limitamento de potência.