🤖 machine learning

Optimising for Energy Efficiency and Performance in Machine Learning

Este artigo apresenta o ECOpt, uma ferramenta de ajuste de hiperparâmetros que otimiza o equilíbrio entre eficiência energética e desempenho do modelo ao fornecer feedback acionável e uma fronteira de Pareto interpretável, permitendo, em última análise, a descoberta de modelos de aprendizado de máquina mais sustentáveis e precisos.

Autores originais: Emile Dos Santos Ferreira, Andrei Paleyes, Neil D. Lawrence

Publicado 2026-01-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Emile Dos Santos Ferreira, Andrei Paleyes, Neil D. Lawrence

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o dono de uma padaria. Durante anos, você só se importou com uma coisa: o quão deliciosos seus bolos são (desempenho). Você tem feito bolos cada vez maiores, usando mais farinha e açúcar (parâmetros), assumindo que maior automaticamente significa melhor.

Mas recentemente, você percebeu algo assustador: sua padaria está consumindo eletricidade a uma taxa alarmante, e a pegada de carbono de seus fornos está prejudicando o planeta. Você também percebeu que gastou uma fortuna assando os bolos (treinamento), mas na verdade gasta ainda mais dinheiro apenas entregando-os aos clientes todos os dias (inferência).

Este artigo apresenta uma nova ferramenta chamada ECOpt (Otimizador de Consumo de Energia) para ajudar os padeiros (engenheiros de machine learning) a resolver este problema. Veja como ela funciona, usando analogias simples:

1. O Problema: O Mito do "Maior é Melhor"

Por muito tempo, o mundo da tecnologia pensou que, se você apenas contasse o número de ingredientes (parâmetros) ou o número de etapas de mistura (operações matemáticas chamadas FLOPs), poderia adivinhar quanto de energia seu bolo custaria para ser assado.

Eles testaram isso e descobriram que era como tentar adivinhar a quilometragem de um carro apenas contando o número de parafusos no motor. Não funcionou.

Eles descobriram que mudar a forma como você move os ingredientes (como mudar o "passo" em uma receita) poderia economizar muita energia sem alterar o número de ingredientes de forma alguma.
Eles também descobriram que só porque uma máquina é poderosa (como um forno industrial gigante), não significa que ela seja eficiente. Se você colocar um bolo minúsculo em um forno gigante, o forno desperdiça uma quantidade enorme de energia apenas para se manter quente, mesmo que o bolo seja pequeno.

2. A Solução: O "Menu Inteligente" (ECOpt)

Em vez de adivinhar, os autores construíram uma ferramenta chamada ECOpt. Pense nisso como um planejador de menu inteligente para sua padaria.

O Equilíbrio: Normalmente, você tem que escolher: "Eu quero o bolo mais saboroso (alto desempenho) ou o bolo mais barato para fazer (alta eficiência energética)?"
A Fronteira de Pareto: O ECOpt desenha um mapa chamado "Fronteira de Pareto". Imagine um gráfico onde o eixo X é o "Sabor" e o eixo Y é o "Custo de Energia". A ferramenta encontra a curva do "ponto ideal". Cada ponto nesta curva representa um bolo onde você não consegue obter mais sabor sem pagar mais energia, e não consegue economizar mais energia sem perder algum sabor.
O Resultado: Ele oferece ao padeiro uma lista de opções. "Aqui está um bolo que é 90% tão saboroso, mas usa 50% menos energia. Aqui está outro que é 95% tão saboroso, mas usa 20% menos energia." Você escolhe qual compensação (trade-off) lhe deixa confortável.

3. Descobertas Chave dos Experimentos

Os autores testaram esta ferramenta em "bolos" reais (modelos de IA) e descobriram algumas coisas surpreendentes:

Consistência de Hardware: Eles testaram o mesmo modelo em diferentes máquinas (um laptop, um desktop, um supercomputador). Surpreendentemente, a eficiência energética (quanto "trabalho" você obtém por cada gota de eletricidade) foi surpreendentemente semelhante em todas essas máquinas. Isso significa que devemos começar a publicar números de energia para nossos modelos, assim como publicamos contagens de calorias em alimentos, porque os números são confiáveis o suficiente para comparação.
O Efeito do "Forno Vazio": Eles descobriram que, se você rodar um modelo pequeno em um computador massivo e poderoso, o computador desperdiça energia porque não está sendo totalmente utilizado. É como usar o motor de um jato para alimentar uma bicicleta. Eles usaram o ECOpt para ajustar o "tamanho do lote" (batch size — quantos bolos você assa de uma vez) para preencher o forno adequadamente. Essa única mudança tornou o processo 38 vezes mais eficiente.
O Retorno: A ferramenta em si usa um pouco de energia para rodar a otimização. No entanto, os autores calcularam que, após gerar apenas 4.802 tokens (pedaços de texto), a energia economizada ao usar as configurações otimizadas pagou o custo de energia de rodar a ferramenta de otimização. É um ganho rápido para o meio ambiente.

4. Encontrando Novas Receitas (Busca de Arquitetura Neural)

Finalmente, eles usaram o ECOpt para inventar novas receitas de bolo do zero (um processo chamado Busca de Arquitetura Neural) para uma tarefa específica (classificar imagens de animais).

Eles não procuraram apenas pelo "melhor" bolo; eles procuraram pelo melhor equilíbrio.
Eles encontraram sete novas receitas que são melhores do que as atuais "Estado da Arte" (as melhores receitas conhecidas) quando você considera tanto o sabor quanto o custo de energia juntos.
Eles descobriram que a "melhor" receita para velocidade (latência) é diferente da "melhor" receita para energia. Um bolo largo e raso pode ser rápido, mas um mais profundo e estreito pode consumir menos energia. O ECOpt ajuda você a encontrar a forma certa para suas necessidades específicas.

A Conclusão

O artigo argumenta que não podemos simplesmente continuar criando modelos de IA maiores e mais famintos. Precisamos ser inteligentes sobre como os assamos. O ECOpt é uma ferramenta que ajuda os engenheiros a pararem de adivinhar e começarem a fazer escolhas informadas, garantindo que seus modelos sejam não apenas inteligentes, mas também energeticamente eficientes e ambientalmente amigáveis. Ele transforma a ideia vaga de "ser verde" em uma parte concreta e mensurável do processo de design.

Resumo Técnico: Otimização para Eficiência Energética e Desempenho em Aprendizado de Máquina

Declaração do Problema
O crescimento exponencial na complexidade computacional dos modelos de aprendizado de máquina (ML) levou a um aumento significativo no consumo de energia e no impacto ambiental. Embora regulamentações recentes, como o AI Act da UE, exijam a publicação do uso de energia, a pesquisa atual em ML foca predominantamente no desempenho do modelo, negligenciando frequentemente métricas de energia. A literatura existente baseia-se frequentemente em contagens de parâmetros e contagens de operações de ponto flutuante (FLOPs) como proxies para o consumo de energia, contudo, estas métricas são frequentemente não correlacionadas com o uso real de energia. Além disso, pesquisas anteriores sobre o impacto ambiental de ML ignoram frequentemente os custos de inferência, apesar de a inferência representar frequentemente a maioria dos custos computacionais de ML (por exemplo, até 90% na AWS). As ferramentas atuais para estimar pegadas de carbono exigem frequentemente um alto acoplamento de código e falham em fornecer feedback acionável para melhorar a eficiência, enquanto otimizadores de hiperparâmetros geralmente não levam em conta o impacto ambiental ou os custos de inferência.

Metodologia
Para abordar estas lacunas, os autores desenvolveram o ECOpt (Energy Consumption Optimiser), um framework em Python projetado para otimizar simultaneamente os hiperparâmetros do modelo tanto para a eficiência energética quanto para o desempenho.

Formulação de Otimização: O problema é formulado como uma tarefa de otimização multiobjetivo. O sistema busca em um espaço de hiperparâmetros $S$ para encontrar a fronteira de Pareto entre uma métrica de desempenho ( $f_p$ , por exemplo, acurácia) e uma métrica de eficiência energética ( $f_e$ ).
Medição de Energia: O ECOpt utiliza medidores de energia baseados em software, especificamente o CodeCarbon, que agrega dados de uso de potência de drivers de dispositivos (por exemplo, NVIDIA nvidia-smi para GPUs e RAPL para CPUs). O framework foca no uso de energia de computação, quantificando a eficiência como "amostras por Joule" (ou tokens por Joule para geração de texto). Ele contabiliza o consumo de energia de todos os componentes ativos (CPU, GPU, RAM) em vez de apenas o acelerador.
Algoritmo de Otimização: O framework emprega Otimização Bayesiana Multiobjetivo (MOBO) usando a função de aquisição de Melhoria de Hipervolume Esperado (EHVI) (especificamente, EHVI ruidosa paralela, ou $q$ NEHVI). Esta abordagem foi escolhida devido à sua eficiência de amostragem, permitindo a descoberta da curva de trade-off (fronteira de Pareto) com menos avaliações do que a busca aleatória ou em grade.
Fluxo de Trabalho: O processo envolve a divisão de um conjunto de dados em conjuntos de treinamento e avaliação. Para cada iteração, o ECOpt constrói e treina um modelo com hiperparâmetros amostrados, realiza a inferência no conjunto de avaliação, mede os objetivos e atualiza os modelos substitutos (Processos Gaussianos) para guiar o próximo passo da busca.

Principais Contribuições

Formulação de Trade-off: Os autores formalizam a busca pelo trade-off entre desempenho e energia em ML como um problema de otimização multiobjetivo.
Procedimento Automatizado: Eles descrevem um procedimento totalmente automatizado baseado em MOBO para descobrir uma fronteira de Pareto empírica que caracteriza este trade-off.
Framework de Código Aberto: O ECOpt é lançado como um pacote Python reutilizável, incluindo scripts de experimento para reprodutibilidade.
Descobertas Empíricas: O trabalho fornece avaliações experimentais extensas demonstrando que:
- Contagens de parâmetros e FLOPs são proxies não confiáveis para o consumo de energia.
- Modelos Transformer para geração de texto exibem uma eficiência energética relativamente consistente através de diversas configurações de hardware.
- Uma lei de escala de energia existe para Transformers, onde a eficiência energética diminui logaritmicamente de forma linear com a contagem de parâmetros.
- Otimizar para eficiência energética pode gerar um impacto ambiental líquido positivo ao recuperar rapidamente a energia gasta na otimização.

Resultos Experimentais
Os autores conduziram experimentos através de vários hardwares (VMs, laptops, desktops, servidores e nós de HPC) e tipos de modelos (CNNs, Transformers).

Validade das Métricas: Em experimentos escalando camadas de redes neurais e ajustando strides de CNNs, os autores observaram que as contagens de parâmetros permaneceram constantes enquanto o consumo de energia e os FLOPs variaram significamente. Isso confirma que a contagem de parâmetros é um proxy inadequado para a eficiência energética. Da mesma forma, os FLOPs mostraram uma correlação fraca com o uso real de energia em CNNs.
Consistência de Hardware: Testar modelos Transformer (GPT-2, Qwen3, Gemma 3, Llama 3.1) através de cinco máquinas revelou que, embora a eficiência energética absoluta varie conforme o tamanho do modelo, a eficiência de um modelo específico permaneceu relativamente consistente entre diferentes hardwares (desvio padrão de 0,2372 entre máquinas vs. 0,4608 entre modelos). Isso sugere que as métricas de energia dos modelos são valiosas para serem publicadas.
Utilização de GPU: Em um experimento otimizando o tamanho do lote (batch size) para o Gemma 3 em um servidor, o ECOpt identificou um tamanho de lote ideal de 831 (gerando 2,67 tokens/J), que foi inferior ao tamanho máximo que cabe na VRAM. Esta configuração alcançou um aumento de 38 vezes na eficiência energética em comparação com um tamanho de lote padrão de 1. Os autores calcularam que a energia gasta nesta otimização seria recuperada após gerar apenas 4.802 tokens.
Busca de Arquitetura Neural (NAS): Aplicando o ECOpt a uma tarefa de NAS de CNN no CIFAR-10, o framework identificou sete arquiteturas Pareto-ótimas. O melhor modelo alcançou 76,09% de acurácia com 20,12 amostras/J. Isso superou o baseline de busca aleatória (71,17% de acurácia) e o baseline de ajuste manual (70,07% de acurácia) tanto em acurácia quanto em eficiência de tempo (61 minutos vs. três dias). Notavelmente, os autores descobriram que, embora seus modelos não fossem o Estado da Arte (SOTA) em acurácia isoladamente, eles ofereciam perfis de acurácia-por-energia superiores aos modelos SOTA existentes ao considerar a eficiência energética.

Significância e Alegações
O artigo afirma que, ao otimizar hiperparâmetros para eficiência energética e desempenho simultaneamente, os praticantes podem reduzir o custo energético de ML sem sacrificar a qualidade da inferência. Os autores argumentam que a dependência atual de contagens de parâmetros e FLOPs obscurece o verdadeiro custo ambiental dos modelos. Ao fornecer uma ferramenta que quantifica o trade-off via uma fronteira de Pareto interpretável, o ECOpt permite a tomada de decisão informada sobre custos de implantação e impacto ambiental.

Os autores observam modestamente que suas descobertas sobre a melhoria no CIFAR-10 em relação ao SOTA devem-se em grande parte à escassez de métricas de energia publicadas na área, e não a um avanço fundamental na arquitetura de modelos. Eles defendem a adoção mais ampla de métricas de energia na publicação de modelos para fomentar a competição e a conscientização. O trabalho também destaca que otimizar para eficiência energética difere de otimizar para latência; enquanto a latência frequentemente favorece redes largas para maximizar a utilização do hardware, a eficiência energética pode exigir o equilíbrio entre largura e profundidade para minimizar o consumo de potência, particularmente quando o hardware não está totalmente saturado.

1. O Problema: O Mito do "Maior é Melhor"

2. A Solução: O "Menu Inteligente" (ECOpt)

3. Descobertas Chave dos Experimentos

4. Encontrando Novas Receitas (Busca de Arquitetura Neural)

A Conclusão

Mais como este