Green Optimization: Energy-aware Design of Metaheuristics by Using Machine Learning Surrogates to Cope with Real Problems

Resumo Técnico: Otimização Verde com Surrogates de Aprendizado de Máquina

1. Problema e Motivação

O artigo aborda o desafio de resolver problemas de otimização do mundo real que envolvem funções objetivo computacionalmente caras (como simulações detalhadas de tráfego). Tradicionalmente, a eficiência dos algoritmos metaheurísticos é medida apenas pelo tempo de execução e precisão da solução. No entanto, o trabalho identifica uma lacuna crítica: a falta de uma avaliação holística que inclua o consumo de energia e o uso de memória.

Com o aumento das preocupações ambientais e a necessidade de "IA Verde" (Green AI), o design de algoritmos deve considerar não apenas a velocidade, mas também a sustentabilidade energética. O uso de modelos substitutos (surrogates), como Redes Neurais (NN), é comum para reduzir o custo computacional de avaliações de funções objetivo, mas seu impacto real na eficiência energética, no desempenho do algoritmo e na precisão da solução permanece pouco quantificado.

2. Metodologia

Os autores propõem uma investigação sistemática sobre a integração de redes neurais como modelos substitutos em metaheurísticas, focando no consumo de energia.

• Problema de Estudo: Otimização de semáforos em cidades inteligentes (Málaga, Estocolmo e Paris). O objetivo é minimizar o tempo de viagem e as filas, maximizando o fluxo de veículos. A avaliação de cada solução requer a execução de simulações detalhadas no SUMO (Simulation of Urban MObility), que é lenta e energeticamente custosa.
• Algoritmos Utilizados:
  • PSO (Particle Swarm Optimization): Implementado com e sem surrogate.
  • GA (Genetic Algorithm): Implementado com e sem surrogate.
• Estratégias de Surrogate (Modelo Substituto):
  1. Pré-treinamento (Static): O modelo NN é treinado uma vez com um conjunto de dados inicial e usado fixamente durante a busca.
  2. Retreinamento Iterativo (Dynamic): O modelo NN é atualizado periodicamente com novas soluções avaliadas durante a busca.
  3. Variação de Tamanho de Dados: Comparação entre conjuntos de treinamento pequenos (ex: 128-1000 amostras) e grandes (até 8192 amostras).
• Configuração Experimental:
  • Medição de energia (CPU e DRAM) usando a tecnologia Intel RAPL (via pacote pyRAPL).
  • Medição de uso de memória via tracemalloc e comandos de sistema.
  • Análise estatística das distribuições de custo (ajuste a distribuições log-normais).

3. Principais Contribuições

1. Definição de Eficiência Holística: Propõe uma nova métrica de eficiência que integra tempo de execução, precisão preditiva e, crucialmente, o perfil de energia e memória.
2. Análise de Trade-offs Energéticos: Demonstra que o custo de treinar um modelo NN pode ser compensado pelo ganho energético durante a inferência, dependendo do tamanho do conjunto de dados e do número de usos do modelo.
3. Descoberta de Esparsidade e Eficiência: Revela que redes neurais treinadas com conjuntos de dados maiores tornam-se mais esparsas (maior proporção de neurônios com saída zero devido à ativação ReLU), o que paradoxalmente reduz o consumo de energia durante a inferência, apesar do custo inicial de treinamento mais alto.
4. Guia Prático para Seleção de Estratégias: Fornece diretrizes claras sobre quando usar pré-treinamento versus retratamento, baseando-se nas restrições de energia e na complexidade do problema.

4. Resultados Chave

• Reduções Dramáticas de Custo:
  • O uso de um surrogate pré-treinado de última geração reduziu o consumo de energia em até 98%.
  • O tempo de execução foi reduzido em aproximadamente 98%.
  • O uso de memória foi reduzido em cerca de 99% (em comparação com a avaliação direta da função real).
• Impacto do Tamanho do Conjunto de Dados:
  • Treinamento: Conjuntos maiores exigem mais energia e tempo para treinar inicialmente.
  • Inferência: Surrogates treinados com grandes conjuntos de dados consomem menos energia por uso devido à maior esparsidade da rede.
  • Ponto de Equilíbrio (Break-even): Para tarefas de otimização que exigem milhares de avaliações, o investimento inicial em treinar com grandes dados é compensado rapidamente, resultando em menor consumo total de energia em comparação com modelos treinados com poucos dados.
• Desempenho dos Algoritmos:
  • PSO vs. GA: O PSO beneficiou-se mais do retratamento (retraining) devido à sua capacidade de manter a diversidade da população, permitindo que o surrogate se adapte a novas regiões de busca. O GA, que perde diversidade rapidamente, mostrou ganhos limitados com o retratamento.
  • Precisão vs. Eficiência: Estratégias de pré-treinamento com grandes dados oferecem o melhor equilíbrio entre precisão e eficiência energética. Estratégias de retratamento com dados pequenos podem melhorar a precisão, mas com um custo energético significativo devido às atualizações frequentes do modelo.
• Custo de Memória: A introdução de surrogates aumenta significativamente o uso de memória (devido ao armazenamento do modelo e dos dados de treinamento), criando um trade-off claro: ganhos massivos em energia/tempo versus aumento no uso de RAM.

5. Significado e Conclusão

O estudo conclui que a otimização assistida por surrogates é uma ferramenta poderosa para a computação verde, mas sua adoção não deve ser cega.

• Revisão da Eficiência: A eficiência algorítmica não pode ser definida apenas pelo tempo de execução; o perfil de energia é fundamental.
• Estratégia Recomendada: Para problemas complexos e de larga escala onde o consumo de energia é crítico, o uso de surrogates pré-treinados com grandes conjuntos de dados é a estratégia mais eficiente, oferecendo alta precisão e baixo custo de inferência.
• Limitações e Futuro: O trabalho focou em Redes Neurais totalmente conectadas e em problemas de tráfego. Futuras pesquisas devem explorar outras arquiteturas (como Transformers) e validar os resultados em diferentes plataformas de hardware e domínios de problemas.

Em suma, o artigo fornece uma base empírica sólida para projetar metaheurísticas "conscientes da energia", demonstrando que o investimento em modelos de aprendizado de máquina bem treinados pode levar a ganhos sustentáveis e massivos em cenários de otimização do mundo real.