This Is Taking Too Long -- Investigating Time as a Proxy for Energy Consumption of LLMs

1. O Problema

O consumo energético de Grandes Modelos de Linguagem (LLMs) tornou-se uma preocupação crescente devido aos seus impactos ambientais e no uso de recursos. No entanto, esses custos energéticos permanecem opacos para os usuários finais, especialmente quando os modelos são acessados via API (caixa preta).

• Falta de Transparência: Os provedores de API raramente divulgam detalhes sobre a infraestrutura de hardware (tipo de GPU), configuração de inferência ou consumo real de energia.
• Dificuldade de Estimativa: Sem acesso aos pesos do modelo ou configurações de inferência, os pesquisadores não podem medir diretamente a pegada energética.
• Necessidade: Existe uma lacuna na capacidade de estimar o custo energético de interações com LLMs baseados em API de forma transparente e acessível.

2. Metodologia

Os autores propõem utilizar o tempo de inferência (tempo de conclusão da tarefa) como um proxy (indicador indireto) robusto para estimar o consumo de energia. A premissa central é que, quando o hardware opera perto da utilização ótima, o consumo de potência é aproximadamente constante, permitindo estimar a energia total como uma função do tempo de execução.

Protocolo Experimental:

• Modelos Selecionados: Mistral-7B-Instruct-v0.3 e Mistral-NeMo-Instruct-2407. A escolha foi feita porque essas famílias estão disponíveis tanto em versões de pesos abertos (para execução local) quanto em APIs comerciais, permitindo comparações diretas.
• Benchmarks: Foram gerados prompts sintéticos cobrindo quatro domínios (técnico, criativo, educacional, empresarial) com dois comprimentos de sequência (curto: 2.048 tokens; longo: 8.192 tokens).
• Execução Local:
  • Os modelos foram executados localmente em 6 GPUs NVIDIA de diferentes gerações e fatores de forma: A100 (40GB/80GB, SXM e PCIe), H100 (SXM e PCIe) e H200.
  • O consumo de energia foi medido usando o CarbonTracker, que amostra a potência da GPU via NVIDIA SMI e integra o consumo de energia do nível da placa, indo além do TDP (Thermal Design Power) teórico.
  • Cada configuração foi executada 10 vezes para garantir confiabilidade estatística.
• Execução via API:
  • Os mesmos prompts foram enviados para as versões gratuitas e pagas das APIs do Mistral.
  • O tempo de execução (wall-clock time) foi medido para calcular o tempo médio por token.
• Estimativa de Energia para API:
  • Calculou-se a potência média local ($P_{loc}$) dividindo a energia medida pela duração local.
  • A energia estimada para a API ($\hat{E}_{api}$) foi calculada multiplicando essa potência média local pelo tempo médio de execução da API: $\hat{E}_{api} = P_{loc} \cdot \bar{T}_{api}$.

3. Principais Contribuições

• Validação do Tempo como Proxy: Demonstra que o tempo de inferência, quando "fundamentado" (grounded) por medições locais em hardware conhecido, permite inferir a configuração de GPU usada nos servidores remotos da API.
• Mapeamento de Hardware: Através da comparação do tempo por token, os autores conseguiram identificar que as APIs do Mistral provavelmente utilizam GPUs da série Hopper (H100/H200), especificamente variantes PCIe, alinhando-se com os clusters de dados conhecidos.
• Ferramenta de Estimativa: Apresenta uma metodologia prática para que usuários e pesquisadores possam estimar o custo energético de chamadas de API sem acesso direto ao hardware, normalizando os resultados por token para garantir comparabilidade.
• Análise de Discrepâncias: Revela que o TDP (especificação teórica) subestima significativamente o consumo real de energia, especialmente em GPUs PCIe, onde as perdas de conversão de energia e resfriamento são maiores.

4. Resultados Chave

• Desempenho da API vs. Local: As execuções via API foram significativamente mais rápidas que qualquer configuração local (redução de ~54% no Mistral-7B e ~43% no Mistral-NeMo em relação à melhor GPU local). Isso sugere otimizações no lado do servidor (como prompts de sistema ou paralelismo agressivo).
• Identificação de Hardware:
  • Os tempos de inferência por token das APIs alinharam-se fortemente com o "Cluster H" (GPUs H100 e H200) no gráfico de comparação.
  • Especificamente, a H100-PCI foi identificada como o representante mais provável para a infraestrutura de API do Mistral.
• Consumo de Energia:
  • As estimativas baseadas no TDP subestimaram o consumo real em comparação com as medições do CarbonTracker (diferenças variando de 16% a 43% dependendo da GPU).
  • Para o Mistral-7B via API, a energia total estimada foi de aproximadamente 62 Wh a 100 Wh (dependendo se a estimativa é baseada no TDP ou na medição local), para cerca de 111.000 tokens.
  • Para o Mistral-NeMo, os valores foram maiores, refletindo o tamanho do modelo.
• Consistência: As APIs gratuitas e pagas apresentaram tempos de execução muito semelhantes (dentro de um desvio padrão), sugerindo que ambas utilizam recursos de backend similares, com variações devidas principalmente à carga do servidor.

5. Significado e Conclusão

O trabalho fornece evidências de uma correspondência direta entre modelos de linguagem baseados em API e seus equivalentes locais em termos de tempo de computação e, consequentemente, de consumo de energia.

• Para Usuários Finais: Oferece um meio de entender o custo ambiental das suas interações com IAs generativas, promovendo maior transparência.
• Para Pesquisadores e Desenvolvedores: Estabelece um método padronizado para avaliar a eficiência energética de serviços de IA sem depender de divulgações internas das empresas.
• Sustentabilidade: Ao permitir a estimativa de custos energéticos, o estudo apoia a tomada de decisões mais informadas sobre o uso de IA, incentivando a eficiência e a redução da pegada de carbono.

Limitações: O estudo assume que o tempo de execução é dominado pelo cálculo da GPU, ignorando latências de rede ou estratégias complexas de paralelismo (tensor/pipeline) que podem alterar a relação tempo-energia em cenários de produção real. Trabalhos futuros devem investigar esses fatores para refinar a precisão das estimativas.