Green Prompting: Characterizing Prompt-driven Energy Costs of LLM Inference

Título: Green Prompting: Caracterização dos Custos Energéticos de Inferência de LLMs Impulsionados por Prompts

1. Problema e Contexto

Os Grandes Modelos de Linguagem (LLMs) tornaram-se ubíquos em diversas aplicações, desde motores de busca até geração de código. No entanto, seu uso generalizado levanta preocupações críticas sobre a sustentabilidade e o custo energético. Embora a fase de treinamento seja amplamente estudada, a fase de inferência (geração de respostas para dados não vistos) representa até 65% da pegada de carbono do ciclo de vida de um modelo de IA, devido ao volume massivo de chamadas.

A questão central abordada pelo artigo é: como as características dos prompts (entradas) e das respostas (saídas) influenciam o consumo de energia durante a inferência? A maioria das pesquisas anteriores focou em otimizações de hardware ou arquitetura, deixando uma lacuna na compreensão de como a engenharia de prompts (design da entrada) pode ser utilizada para reduzir o consumo energético.

2. Metodologia

Os autores realizaram um estudo empírico rigoroso para medir e analisar o consumo de energia sob condições controladas.

• Modelos Utilizados: Três LLMs de código aberto baseados em arquitetura Transformer, todos com aproximadamente 7 bilhões de parâmetros, mas de famílias diferentes:
  • Mistral 7B: Focado em eficiência com janela de atenção deslizante.
  • Gemma 7B: Modelo do Google com forte capacidade matemática e vocabulário expandido.
  • Vicuna 7B: Versão ajustada (fine-tuned) do Llama 2, focada em chatbots.
• Tarefas e Dados: Os modelos foram testados em três categorias de tarefas distintas, utilizando um conjunto de dados personalizado composto por 9.000 prompts (3.000 por tarefa):
  1. Resposta a Perguntas (Q&A): Baseado em datasets como SQuAD e GPT4.
  2. Análise de Sentimento: Classificação binária (positivo/negativo) baseada em reviews (IMDB, Yelp, Twitter).
  3. Geração de Texto: Tarefas de reescrita, resumo e descrição.
• Configuração Experimental:
  • Hardware: Um único GPU NVIDIA A100 em um cluster local para isolar variáveis de ruído.
  • Monitoramento: Uso da biblioteca ZEUS (baseada em NVML) para medir o consumo de energia da GPU e a latência em tempo real.
  • Variáveis Controladas: Hyperparâmetros como temperatura, limite de tempo, número máximo de novos tokens e modo de baixa memória foram variados sistematicamente.
• Análise: Os pesquisadores correlacionaram o consumo de energia (em Joules) com o comprimento da resposta (em tokens), o comprimento do prompt, o tipo de tarefa e palavras-chave específicas presentes nos prompts.

3. Principais Contribuições

O artigo apresenta quatro contribuições fundamentais:

1. Sistema Experimental: Desenvolvimento de um sistema de medição para capturar o consumo de energia em operações de inferência "one-shot" (uma única vez), permitindo perfis energéticos reprodutíveis.
2. Análise de Características da Resposta: Demonstração de que o comprimento da resposta gerada tem uma correlação muito mais forte com o consumo de energia do que o comprimento do prompt de entrada.
3. Impacto Semântico e de Tarefa: Estabelecimento de relações diretas entre a complexidade da tarefa, a semântica do prompt e o uso de energia, mostrando que o significado da tarefa é um fator determinante.
4. Redução Energética via Palavras-Chave: Identificação de que o uso de palavras-chave específicas nos prompts pode reduzir o consumo de energia em até 60%, dependendo da tarefa e do modelo.

4. Resultados Chave

• Comprimento da Resposta vs. Comprimento do Prompt:

  • Existe uma correlação positiva muito forte (0.9) entre o comprimento da resposta (número de tokens gerados) e o consumo de energia. Quanto mais tokens o modelo gera, maior o custo computacional e energético.
  • O comprimento do prompt de entrada tem uma correlação fraca (0.08-0.19) com o consumo de energia. Portanto, encurtar a pergunta não é a estratégia mais eficaz para economizar energia; controlar a extensão da resposta é.

• Diferenças entre Modelos:

  • Mistral 7B: Teve o menor consumo médio total (547 J), mas um custo por token ligeiramente maior (0.11 J).
  • Gemma 7B: Teve o maior consumo total (727 J). Embora tenha o menor custo por token (0.1 J), sua tendência de gerar respostas mais longas (devido ao vocabulário maior e dados de treinamento) resultou em um custo total mais alto.
  • Vicuna 7B: Consumo médio de 700 J. Notou-se que o Vicuna usava emoticons com frequência (>40% das respostas), o que, em alguns casos, aumentou o custo devido à representação de emojis como múltiplos tokens.

• Impacto da Tarefa:

  • Análise de Sentimento: Consome menos energia (geralmente <500 J) e apresenta menor variabilidade, pois exige respostas concisas (ex: JSON com "positivo" ou "negativo").
  • Q&A e Geração de Texto: Consomem significativamente mais energia devido à necessidade de respostas verbosas e detalhadas.

• Análise de Palavras-Chave (Keywords):

  • Certas palavras nos prompts estão associadas a respostas mais longas e, consequentemente, a maior consumo de energia.
  • Palavras de Alto Custo: Termos como "explain" (explicar), "justify" (justificar) e "analyse" (analisar) em contextos de geração de texto tendem a disparar respostas longas.
  • Palavras de Baixo Custo: Termos como "classify" (classificar) ou "summarize" (resumir) em contextos específicos tendem a gerar saídas mais curtas.
  • Economia Potencial: A troca estratégica de palavras-chave pode reduzir o consumo de energia em até 50-60% para a mesma tarefa. Por exemplo, em Geração de Texto, usar "classify" em vez de "analyse" reduziu drasticamente o uso de energia no modelo Gemma.

5. Significado e Conclusão

O estudo conclui que a engenharia de prompts é uma alavanca crítica para a sustentabilidade de LLMs. A descoberta de que a semântica do prompt (o significado e a intenção da tarefa) é mais importante do que o tamanho literal do texto de entrada muda o paradigma de otimização.

• Implicações Práticas: Desenvolvedores e usuários podem reduzir a pegada de carbono de suas aplicações simplesmente ajustando os prompts para serem mais diretos e solicitando respostas mais concisas, sem necessariamente alterar o hardware ou o modelo.
• Futuro: O trabalho abre caminho para o desenvolvimento de sistemas que preveem o custo energético antes da inferência e para a criação de "prompts verdes" que equilibram qualidade da resposta e eficiência energética.

Em resumo, o artigo demonstra que a eficiência energética na inferência de LLMs não depende apenas da arquitetura do modelo, mas fundamentalmente de como o usuário interage com ele, tornando o design de prompts uma ferramenta essencial para a IA sustentável.