Comparing energy consumption and accuracy in text classification inference

Título: Comparação entre Consumo de Energia e Precisão na Inferência de Classificação de Texto

1. Problema e Motivação

O artigo aborda a crescente preocupação com a eficiência energética e a sustentabilidade da Inteligência Artificial (IA), especificamente no contexto da implantação de Grandes Modelos de Linguagem (LLMs). Enquanto a pesquisa anterior focou majoritariamente no consumo de energia durante o treinamento de modelos, a fase de inferência (execução do modelo em produção) recebeu menos atenção, apesar de ser repetidamente executada em cenários do mundo real.
O estudo questiona se o uso de LLMs complexos para tarefas relativamente simples, como a classificação de texto, é justificado em termos de custo energético, especialmente quando modelos tradicionais mais leves podem oferecer desempenho comparável. O objetivo é analisar sistematicamente as compensações (trade-offs) entre precisão e consumo de energia.

2. Metodologia

Os autores realizaram um estudo empírico comparando diferentes arquiteturas de modelos e configurações de hardware.

• Tarefa e Dados:
  • Caso de Uso Principal: Classificação de textos relacionados a objeções públicas sobre a gestão de resíduos radioativos na Alemanha (Dataset FKTG). O dataset foi dividido em 189 exemplos para treino e 189 para teste (divisão 50:50 para garantir robustez estatística em classes minoritárias).
  • Validação Externa: Os experimentos foram replicados em quatro benchmarks públicos adicionais (AG News, Yelp, Rotten Tomatoes, Emotion) para testar a generalização dos resultados.
• Modelos Avaliados:
  • Modelos Tradicionais: Regressão Logística e XGBoost, utilizando três tipos de características: Bag-of-Words (BoW), TF-IDF e embeddings de sentenças pré-treinados (Sentence Transformers). Estes foram fine-tuned (ajustados) no dataset de treino.
  • Grandes Modelos de Linguagem (LLMs): Modelos baseados em Transformer (Llama 3.1, Qwen 2.5, Phi 3.5, Jamba, DeepSeek) e modelos de distilação com capacidades de raciocínio. Eles foram aplicados em modo zero-shot (sem treino/ajuste), utilizando prompts padronizados.
• Hardware e Medição:
  • Os experimentos foram executados em clusters de computação de alto desempenho (HPC) da TU Dresden e da Universidade de Leipzig, utilizando GPUs NVIDIA H100, A30 e V100.
  • Medição de Energia: O pacote CodeCarbon foi utilizado para monitorar o consumo de energia (GPU, CPU e memória RAM) e a duração da inferência.
  • Configuração: Os modelos foram mantidos carregados na memória (warm-start) para medir apenas o custo de inferência estável, excluindo custos de inicialização.

3. Contribuições Principais

1. Análise Sistemática de Inferência: Preenche uma lacuna na literatura ao focar especificamente no consumo de energia durante a inferência de LLMs versus modelos tradicionais em tarefas de classificação.
2. Descoberta de Ineficiência de LLMs em Tarefas Simples: Demonstra que, em cenários de classificação zero-shot, LLMs consomem ordens de magnitude mais energia do que modelos tradicionais, sem necessariamente oferecer ganhos de precisão superiores.
3. Correlação Tempo-Energia: Estabelece uma forte correlação linear entre o tempo de execução (runtime) e o consumo de energia, sugerindo que o tempo de execução pode servir como um proxy prático e eficiente para estimar o consumo energético em ambientes onde medição direta não é viável.
4. Impacto da Arquitetura e Hardware: Avalia como o número de GPUs, a distribuição em múltiplos nós e o tipo de arquitetura de GPU (H100 vs. V100/A30) afetam a eficiência.

4. Resultados Chave

• Eficiência Energética vs. Precisão:
  • Em muitos casos (especialmente no dataset FKTG), modelos tradicionais superaram ou igualaram os LLMs em precisão, consumindo significativamente menos energia.
  • O modelo mais eficiente energeticamente foi uma regressão logística com características TF-IDF, consumindo menos de 0,01 Wh por inferência, enquanto os LLMs consumiram entre 5 Wh e mais de 700 Wh.
  • A diferença de consumo energético entre o modelo tradicional mais eficiente e o LLM mais preciso pode chegar a seis ordens de magnitude.
• Desempenho dos LLMs:
  • LLMs maiores (ex: 70B parâmetros) não garantiram maior precisão em comparação com versões menores (ex: 7B) ou modelos tradicionais em tarefas de classificação zero-shot.
  • Modelos com capacidades de "raciocínio" (DeepSeek), que geram tokens de pensamento internos, consumiram muito mais energia e tempo sem melhorar a precisão em tarefas de classificação simples.
• Impacto do Hardware:
  • Número de GPUs: Aumentar o número de GPUs reduz o tempo de inferência, mas não reduz (e às vezes aumenta) o consumo total de energia devido à sobrecarga de coordenação e ativação de mais hardware.
  • Múltiplos Nós: Executar modelos em dois nós de computação (em vez de um) aumentou o consumo de energia em um fator de 1,5x a 2,7x devido à comunicação entre nós.
  • Arquitetura de GPU: GPUs mais novas (H100) mostraram ganhos de eficiência apenas para modelos que geram grandes quantidades de texto (como os modelos de raciocínio). Para geração de um único token (classificação), GPUs mais antigas (V100, A30) foram frequentemente mais eficientes.
• Generalização: Em datasets mais complexos (como análise de sentimentos em Yelp), os LLMs superaram os modelos tradicionais em precisão, justificando o custo energético em cenários específicos, mas a relação de eficiência variou drasticamente dependendo da tarefa.

5. Significado e Implicações

• Desenvolvimento de IA Sustentável: O estudo argumenta que a eficiência energética e a precisão são dimensões de avaliação distintas que não se alinham automaticamente. A adoção cega de LLMs para tarefas simples é insustentável.
• Guia para Seleção de Modelos: Recomenda-se que administradores públicos e empresas adotem uma abordagem hierárquica: começar com modelos tradicionais leves e só migrar para LLMs se houver um ganho mensurável e significativo de desempenho que justifique o custo energético.
• Políticas e Regulamentação: Os resultados apoiam princípios de proporcionalidade e sustentabilidade, como os mencionados na Lei de IA da UE, sugerindo que a medição de energia deve ser parte integrante dos processos de seleção e implantação de modelos.
• Reprodutibilidade: Os autores disponibilizaram o código, os dados de medição e a estrutura de análise, permitindo que a comunidade científica valide e expanda esses achados.

Em resumo, o artigo fornece evidências empíricas robustas de que, para muitas tarefas de classificação de texto, modelos tradicionais e leves são a escolha mais sustentável e eficiente, desafiando a tendência atual de utilizar LLMs massivos para todas as aplicações de Processamento de Linguagem Natural (NLP).