Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware

Imagine que você acabou de construir um amigo robô superinteligente que vive dentro do seu computador, pronto para responder perguntas, escrever histórias ou ajudar você a programar sem nunca enviar seus segredos para um servidor gigante na nuvem. Este é o mundo da inteligência artificial "local", uma tendência que está explodindo porque as pessoas querem privacidade e velocidade. Mas há um porém: esses robôs cerebrais são famintos. Embora saibamos há algum tempo que treinar esses cérebros de IA massivos em supercomputadores gigantes consome muita eletricidade (como alimentar uma pequena cidade por um dia), não sabíamos realmente quanta energia eles gastam apenas para conversar com eles em um computador doméstico comum. É como saber que um carro tem uma péssima economia de combustível na rodovia, mas não ter ideia de quanto combustível ele queima apenas parado na sua garagem enquanto você conversa com o motorista. À medida que mais pessoas começam a rodar esses assistentes de IA em seus próprios laptops e PCs gamers, entender essa conta de energia "ativa" torna-se uma preocupação real tanto para o seu bolso quanto para o planeta.

Foi exatamente aqui que uma equipe de pesquisadores da Universidade de Ciências Aplicadas FH Aachen, na Alemanha, interveio. Eles queriam ver quais dos populares modelos de IA gratuitos para uso são os mais "eficientes energeticamente" ao serem executados em uma placa de vídeo de consumo padrão — especificamente, uma NVIDIA RTX 4060 Ti, o tipo de placa que você encontraria em um PC gamer de alto desempenho. Em vez de apenas perguntar: "Qual modelo dá as melhores respostas?", eles perguntaram: "Qual modelo dá as melhores respostas enquanto toma o mínimo de eletricidade?". Eles configuraram um experimento controlado onde alimentaram nove modelos diferentes de IA de código aberto (variando de modelos minúsculos de 1 bilhão de parâmetros até modelos maiores de 7 bilhões de parâmetros) com um conjunto fixo de 15 perguntas, desde fatos simples como "Qual é a capital da França?" até tarefas complexas como escrever código ou explicar conceitos profundos.

Os pesquisadores atuaram como detetives de energia, usando uma ferramenta chamada nvidia-smi para verificar o consumo de energia da placa de vídeo duas vezes por segundo enquanto os modelos trabalhavam. Crucialmente, eles não mediram apenas a potência total; eles subtraíram cuidadosamente a potência "ociosa" (idle) de base da placa para isolar o custo exato de energia do processo de pensamento da IA. O objetivo principal deles era calcular quanta energia total (em Joules) foi necessária para gerar cada palavra única (ou "token") da resposta. Seus achados sugerem que maior nem sempre é melhor quando se trata de energia. Na verdade, os modelos minúsculos, especificamente o gemma3:1b e o llama3.2:1b, revelaram-se os campeões de eficiência. Esses pequenos potências conseguiram gerar uma única palavra de texto usando tão pouco quanto 0,56 Joules de energia e podiam cuspir mais de 170 palavras por segundo.

Em contraste, o modelo maior de 7 bilhões de parâmetros (Mistral) foi muito menos eficiente, consumindo até 4,4 vezes mais energia por palavra do que o modelo minúsculo mais eficiente. O estudo também descobriu uma surpresa peculiar: um dos modelos, o qwen3.5:2b, usou uma quantidade surpreendentemente alta de energia por prompt. Os pesquisadores sugerem que isso não foi porque o modelo era lento, mas porque estava "pensando" internamente — usando uma técnica chamada raciocínio estendido para planejar sua resposta antes de falar — o que queima energia extra mesmo que o resultado final seja curto. Isso destaca que simplesmente olhar para a energia total de uma pergunta inteira pode ser enganoso; a verdadeira métrica de eficiência é quanta energia é necessária para produzir cada token. No final das contas, o artigo sugere que, para qualquer pessoa que rode IA em seu próprio hardware, a escolha mais eficiente energeticamente não é necessariamente o modelo mais poderoso ou o maior, mas sim aquele com a arquitetura e o tamanho certos para o trabalho, provando que, às vezes, o menor cérebro é o mais ecológico.