Resumo Técnico: EnergyLens

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) evoluem para incluir arquiteturas densas, mistura de especialistas (MoE) e espaços de estado, e são implantados em aceleradores heterogêneos (NVIDIA, Intel, AMD) para cargas de trabalho multimodais diversas (texto, imagem, vídeo), a otimização da energia de inferência tornou-se tão crítica quanto a otimização da latência e da vazão. No entanto, as abordagens existentes para previsão de energia sofrem com três limitações primárias:

1. Proxies de Latência: Muitos modelos analíticos tratam a latência como um proxy para energia. Os autores demonstram que os ótimos de latência e energia divergem em mais de 20% das configurações testadas, levando a penalidades de energia de até 79,8% quando estratégias baseadas em latência são utilizadas.
2. Surrogados de Caixa-Preta: Modelos de aprendizado de máquina orientados a dados (por exemplo, Florestas Aleatórias, Redes Neurais) alcançam precisão razoável, mas são "famintos por dados", exigindo centenas de amostras de perfil para generalizar. Eles carecem de interpretabilidade, não oferecendo nenhuma percepção física sobre por que uma configuração é eficiente, e falham em extrapolar de forma confiável para tamanhos de lote ou hardware não vistos.
3. Falta de Generalizabilidade: Modelos analíticos existentes frequentemente falham em desacoplar os efeitos físicos distintos do Paralelismo de Tensores (TP) e do Paralelismo de Pipeline (PP), ou falham em contabilizar a escala não linear da energia com o tamanho do lote e o comprimento da sequência em diferentes modalidades.

Metodologia: O Framework EnergyLens

Os autores propõem o EnergyLens, um framework que utiliza regressão simbólica para descobrir expressões matemáticas compactas e de forma fechada para o consumo de energia de GPUs. Diferentemente de modelos de caixa-preta, o EnergyLens deriva fórmulas onde os termos correspondem diretamente a propriedades mensuráveis do sistema.

1. Modelo de Energia Unificado

O núcleo do EnergyLens é uma equação de forma fechada com doze parâmetros que decompõe a energia ($E$) em três componentes fisicamente fundamentados:
$$E = E_{prefill} + E_{decode} + E_{overhead}$$

• Decomposição de Fase: O modelo separa explicitamente a fase limitada por computação prefill (processamento de tokens de entrada) da fase limitada por memória decode (geração de tokens de saída).
• Desacoplamento de Paralelismo: O modelo distingue entre Paralelismo de Tensores ($d_{TP}$) e Paralelismo de Pipeline ($d_{PP}$). Reconhece que o TP reduz a computação por GPU através da utilização eficiente de núcleos de tensor, mas introduz sobrecarga de sincronização, enquanto o PP introduz bolhas de pipeline e mantém os dispositivos energizados durante estágios ociosos.
• Escala Não Linear: A fórmula captura a amortização sublinear de sobrecargas fixas (como lançamentos de kernel e inicialização de KV-cache) à medida que o tamanho do lote aumenta, e as leis de escala específicas para diferentes modalidades (por exemplo, compressão logarítmica para cargas de trabalho de vídeo/imagem).

A forma geral (Equação 4 no artigo) é:
$$E = \alpha_p \frac{\text{total de tokens de entrada}}{(\text{tamanho do lote}^{\beta_p} + \epsilon_p)} d_{TP}^{\gamma_{1,p}} d_{PP}^{\gamma_{2,p}} + \alpha_d \frac{\text{máx. tokens}}{(\text{tamanho do lote}^{\beta_d} + \epsilon_d)} d_{TP}^{\gamma_{1,d}} d_{PP}^{\gamma_{2,d}} + \delta_1 d_{TP} + \delta_2 d_{PP}$$

2. Treinamento e Ajuste

• Coleta de Dados: Um framework de perfilamento varre sistematicamente estratégias de paralelismo, esquemas de quantização, tamanhos de lote e comprimentos de sequência em GPUs NVIDIA, Intel e AMD.
• Regressão Simbólica: O framework busca no espaço de expressões matemáticas a estrutura que melhor se ajusta aos dados de perfilamento.
• Estimação de Parâmetros: Uma vez fixa a estrutura da fórmula, os doze parâmetros escalares ($\phi$) são ajustados usando otimização L-BFGS-B em um pequeno conjunto de dados representativo.
• Eficiência de Amostra: O modelo requer apenas 50 medições de perfilamento para alcançar alta precisão, uma redução de 10x comparada a métodos de ML em ensemble que exigem ~500 amostras.

Contribuições Principais

1. Modelo Unificado de Forma Fechada: Desenvolvimento de um único modelo de energia que desacopla as contribuições de TP e PP e separa a energia de prefill da de decode, com parâmetros carregando significado físico explícito.
2. Descoberta por Regressão Simbólica: Demonstração de que a regressão simbólica pode revelar estruturas de fórmulas não lineares que generalizam através de arquiteturas diversas (Dense, MoE, SSM), modalidades (texto, imagem, vídeo) e fornecedores de hardware sem alterar o modelo da fórmula.
3. Framework de Perfilamento Sistemático: Implementação de um framework que explora o espaço conjunto de paralelismo, quantização e parâmetros de carga de trabalho para gerar os dados estruturados necessários para modelagem analítica.
4. Modelagem Direta de Energia: Ao modelar a energia diretamente em vez de usar a latência como proxy, o framework identifica configurações de paralelismo mais eficientes energeticamente que otimizadores baseados em latência sistematicamente ignoram.

Resultados Experimentais

Os autores avaliaram o EnergyLens em 940 cenários envolvendo transformadores densos, MoE e modelos de espaço de estado em GPUs NVIDIA A100, AMD MI100 e Intel Max 1550.

• Precisão de Seleção de Configuração: O EnergyLens alcança 88,2% de precisão na seleção da configuração Top-1 (identificando a única melhor configuração de energia), superando significativamente a base analítica mais próxima, MAVERIQ, que alcançou 60,9%.
• Classificação Pares: O EnergyLens alcança 95,8% de precisão na classificação de pares (prevendo corretamente qual de duas configurações é mais eficiente) comparado a 91,5% para o MAVERIQ.
• Eficiência de Amostra: O EnergyLens iguala a precisão preditiva de métodos de ML em ensemble (Floresta Aleatória, Gradient Boosting) enquanto requer 10x menos amostras de perfilamento (13,0% de MAPE em $n=50$ vs. 49,0% de MAPE para Floresta Aleatória em $n=50$).
• Generalização:
  • Entre Hardware: O modelo transfere-se entre fornecedores de GPU (NVIDIA, Intel, AMD) com apenas os coeficientes escalares reajustados.
  • Entre Modalidades: Desempenha-se de forma robusta em cargas de trabalho de texto, imagem+texto e vídeo+texto.
  • Extrapolação: O EnergyLens extrapola de forma confiável para tamanhos de lote não vistos (3x a 10x maiores que os dados de treinamento) com ≥93% de precisão de pares em cinco de sete conjuntos de dados, enquanto bases de lote linear falham significativamente.
• Robustez: Diferentemente de proxies baseados em latência que exigem medições precisas de potência por configuração, o EnergyLens modela a energia nativamente e mantém alta precisão mesmo quando a telemetria de potência está indisponível.

Significado e Alegações

O artigo afirma que o EnergyLens fornece uma ferramenta prática e interpretável para implantação de LLMs energeticamente ótimos. Seu significado reside em:

• Interpretabilidade: Diferentemente de surrogados de caixa-preta, o EnergyLens oferece previsões "auditoráveis" onde operadores podem inspecionar termos para entender os drivers físicos do consumo de energia (por exemplo, verificando o custo relativo da escala de TP vs. PP).
• Acionabilidade: O modelo permite a identificação de configurações Pareto-ótimas para implantação sem medição exaustiva.
• Custo-Efetividade: Ao reduzir o orçamento de perfilamento de centenas de amostras para ~50, torna a sintonização de configuração consciente de energia viável para ambientes de produção.
• Fundamentação Física: A descoberta de que os ótimos de latência e energia divergem, e que o paralelismo de pipeline pode reduzir a energia mesmo quando não reduz a latência, desafia a suposição predominante de que a latência é um proxy suficiente para eficiência energética.

Os autores concluem que, embora o modelo atual utilize termos aditivos, trabalhos futuros poderiam explorar interações multiplicativas para MoE e cargas de trabalho de longo contexto, e integração com agendadores dinâmicos para reconfiguração online. O framework e os conjuntos de dados destinam-se a ser lançados como código aberto.