Green Architectural Tactics in ML-enabled Systems: An LLM-based Repository Mining Study

1. Problema e Contexto

O aumento da adoção de sistemas de Inteligência Artificial (IA) e Aprendizado de Máquina (ML) levanta preocupações críticas sobre sua sustentabilidade ambiental. O desenvolvimento e a implantação desses sistemas são computacionalmente intensivos, especialmente durante as fases de treinamento e inferência, resultando em alto consumo de energia e emissões significativas de CO2 (ex: treinar o modelo LLaMA-65B gera cerca de 173 toneladas de CO2).

Embora o conceito de Green AI tenha surgido para promover a eficiência sem sacrificar a precisão, e existam catálogos teóricos de "táticas arquiteturais verdes" (práticas sustentáveis), há uma lacuna de conhecimento sobre:

1. A extensão real de adoção dessas táticas em projetos de software do mundo real.
2. A existência de práticas sustentáveis adicionais que ainda não foram documentadas na literatura.

2. Metodologia

O estudo adota uma abordagem de Mineração de Repositórios de Software (MSR) combinada com o uso de Modelos de Linguagem de Grande Escala (LLMs).

• Conjunto de Dados: Os pesquisadores analisaram 205 projetos de ML de código aberto no GitHub. O conjunto foi derivado de três bases de dados existentes, filtrado para incluir apenas projetos que envolvem o treinamento de modelos de ML e que possuem commits ativos em 2024. Os projetos foram categorizados por tamanho (Pequeno, Médio, Grande) com base nas linhas de código (LOC).
• Táticas Analisadas: O estudo focou em 15 táticas arquiteturais verdes previamente definidas por Järvenpää et al. [35], selecionadas especificamente por serem detectáveis através de análise estática de código (ex: otimização de modelo, treinamento, design de algoritmo).
• Mecanismo Baseado em LLM:
  • Foi desenvolvido um mecanismo automatizado utilizando LLMs para identificar tanto as táticas conhecidas quanto novas práticas sustentáveis diretamente no código-fonte (arquivos Python).
  • Foram testados quatro modelos: GPT-4o, Claude 3 Haiku, Qwen3-8B e DeepSeek-R1-8B.
  • Validação: Um "oráculo" foi criado manualmente por dois autores em uma subamostra de 10 projetos (141 arquivos) para validar a precisão dos LLMs. O Claude 3 Haiku foi selecionado como o modelo final devido à sua maior precisão (96,83%) e capacidade superior de gerar explicações ricas e identificar novas táticas.
• Análise de Dados:
  • RQ1 (Adoção): Análise quantitativa da frequência de adoção das 15 táticas conhecidas, utilizando regressão logística para correlacionar a adoção com características do projeto (idade, estrelas, contribuidores, etc.).
  • RQ2 (Novas Táticas): Análise qualitativa das respostas do LLM para identificar práticas sustentáveis não catalogadas. As sugestões passaram por um processo rigoroso de validação manual e triangulação com a literatura para garantir que fossem novas, acionáveis e relevantes para a sustentabilidade.

3. Principais Contribuições

1. Ferramenta LLM para Detecção de Táticas: Desenvolvimento e validação de um mecanismo automatizado capaz de identificar práticas sustentáveis em repositórios de código com alta precisão, superando a necessidade de análise manual extensiva.
2. Expansão do Catálogo de Táticas Verdes: A descoberta e formalização de 9 novas táticas arquiteturais verdes que não estavam presentes nos catálogos anteriores, elevando o total de táticas conhecidas para 39.
3. Análise Empírica de Adoção: Um estudo abrangente sobre como as práticas de Green AI são realmente implementadas na indústria e na comunidade de código aberto.
4. Reprodutibilidade: Disponibilização pública de todo o conjunto de dados, scripts de análise e materiais do estudo.

4. Resultados Chave

Sobre a Adoção de Táticas Conhecidas (RQ1)

• As táticas verdes da literatura são amplamente adotadas, mas com frequências variadas.
• Alta Adoção: Táticas como "Usar funções de bibliotecas integradas" (T11) e "Projetar para restrições de memória" (T20) têm taxas de adoção muito altas (acima de 78-98%).
• Baixa Adoção: Táticas como "Definir consumo de energia como restrição do modelo" (T12) e "Considerar substituição de grafos" (T13) têm taxas de adoção baixas (cerca de 17-21%).
• Correlação: A idade do projeto mostrou-se um preditor estatisticamente significativo para a adoção de várias táticas, enquanto o tamanho do projeto (LOC) não mostrou correlação forte, sugerindo que a maturidade do projeto influencia mais a adoção sustentável do que a escala.

Sobre Novas Táticas (RQ2)

O estudo identificou 9 novas táticas, que foram adicionadas ao catálogo. As mais adotadas entre as novas descobertas foram:

1. Usar Parada Antecipada (Early Stopping): Adotada em 88 projetos (42,93%). Evita treinamento desnecessário e overfitting.
2. Empregar Treinamento Paralelo: Adotada em 28 projetos (13,66%). Distribui a carga de treinamento em múltiplos dispositivos.
3. Considerar Uso de Aumento de Dados (Data Augmentation): Adotada em 24 projetos.
4. Gerenciamento Dinâmico de Recursos: Ajuste dinâmico de CPU/GPU baseado na demanda.
5. Garantir Estabilidade de Gradientes: Uso de clipping de gradiente para convergência mais rápida.
6. Usar Agendamento Adaptativo de Taxa de Aprendizado.
7. Estratégias de Exportação de Modelo Específicas para Implantação (ex: ONNX para edge devices).
8. Considerar Reprodutibilidade do Modelo.
9. Limpar e Padronizar Dados.

5. Significado e Implicações

• Para Pesquisadores: O estudo preenche a lacuna entre a teoria (catálogos de táticas) e a prática (implementação real), validando que o uso de LLMs é viável para mineração de sustentabilidade em software.
• Para Praticantes: Oferece um guia prático e exemplos de código para integrar táticas sustentáveis. A descoberta de que táticas como "Parada Antecipada" são comuns, mas outras menos conhecidas são subutilizadas, indica onde a conscientização e o suporte de ferramentas são necessários.
• Impacto Ambiental: A adoção generalizada dessas táticas pode reduzir significativamente a pegada de carbono de sistemas de ML. O estudo destaca que é possível equilibrar eficiência energética e precisão, alinhando o desenvolvimento de IA com os Objetivos de Desenvolvimento Sustentável (ODS) e princípios de Green AI.
• Futuro: O trabalho sugere a necessidade de expandir a análise para outras linguagens de programação (além do Python) e investigar os fatores socio-técnicos que impedem a adoção de táticas menos populares.

Em resumo, o artigo demonstra que a sustentabilidade em sistemas de ML é uma prática em evolução, onde a mineração automatizada de repositórios pode revelar tanto a realidade da adoção atual quanto novas oportunidades para reduzir o impacto ambiental da tecnologia.