Assessing Reproducibility in Evolutionary Computation: A Case Study using Human- and LLM-based Assessment

Resumo Técnico: Avaliando a Reprodutibilidade em Computação Evolutiva

Título Original: Assessing Reproducibility in Evolutionary Computation: A Case Study using Human- and LLM-based Assessment

1. O Problema

A reprodutibilidade é um pilar fundamental da pesquisa empírica, especialmente em áreas como Computação Evolutiva (EC), Aprendizado de Máquina (ML) e Inteligência Artificial (IA), onde as conclusões dependem de experimentos computacionais complexos. No entanto, a reprodutibilidade em EC é dificultada pela dependência de múltiplos fatores: implementações de algoritmos, configurações de parâmetros, instâncias de benchmarks e ambientes de computação.

O problema central identificado é a falta de evidências empíricas sobre o nível real de reprodutibilidade em publicações científicas e a carência de ferramentas consistentes para que revisores avaliem se as informações e artefatos fornecidos são suficientes para permitir que outros pesquisadores executem os experimentos de forma independente.

2. Metodologia

Os autores adotaram uma abordagem de "reprodutibilidade pragmática", focando na presença, acessibilidade e clareza das informações, em vez de validar a correção dos resultados. A metodologia divide-se em três pilares:

• Corpus de Estudo: Uma análise de 168 artigos completos publicados na trilha Evolutionary Combinatorial Optimization and Metaheuristics (ECOM) da conferência GECCO ao longo de um período de dez anos (2016–2025).
• Checklist de Reprodutibilidade: Foi desenvolvido um checklist estruturado adaptado para EC, abrangendo cinco dimensões: clareza metodológica, configuração experimental, relato de resultados, avaliação de artefatos e metadados do artigo.
• Protocolo de Avaliação Híbrido:
  • Avaliação Manual: Realizada por humanos, que inspecionaram os artigos, materiais suplementares e tentaram executar o código (dentro de um limite de 2 horas por artigo) para verificar a viabilidade.
  • Avaliação Automatizada (RECAP): Introdução do REproducibility Checklist Automation Pipeline (RECAP), um sistema baseado em Grandes Modelos de Linguagem (LLMs), especificamente o GPT-4o (mencionado como GPT-5 nano no texto para fins de contexto de modelo de ponta). O RECAP extrai sinais de reprodutibilidade do texto e processa repositórios de código em um ambiente sandbox Docker para verificar a documentação e a execução funcional.

3. Principais Contribuições

1. Checklist Estruturado: Um instrumento de avaliação customizado para a pesquisa empírica em Computação Evolutiva.
2. Sistema RECAP: Um pipeline automatizado que utiliza LLMs para realizar triagens de reprodutibilidade em larga escala, capaz de analisar tanto o texto quanto os repositórios de código associados.
3. Estudo Longitudinal: Uma análise detalhada de uma década sobre as práticas de reporte de reprodutibilidade na comunidade de otimização combinatória.

4. Resultados Principais

• Nível de Completude: Os artigos alcançaram uma pontuação média de completude de 0,62. Embora tenha havido um aumento gradual na tendência ao longo dos anos, a dispersão permanece alta, indicando práticas heterogêneas.
• Lacunas de Relato: Existe um desequilíbrio estrutural: itens descritivos (como métricas de avaliação) são bem relatados, mas detalhes operacionais (como intervalos de parâmetros, sementes aleatórias e códigos de processamento de dados) são sistematicamente omitidos.
• Artefatos: Apenas 36,90% dos artigos fornecem materiais adicionais (código ou dados). Além disso, a "fragilidade temporal" é um problema: links para repositórios frequentemente param de funcionar com o tempo, e poucos utilizam mecanismos de preservação persistente (como Zenodo).
• Desempenho do RECAP: O sistema automatizado demonstrou ser viável, alcançando um acordo substancial com os avaliadores humanos (Kappa de Cohen de 0,67), o que valida o uso de LLMs como ferramentas de suporte para monitoramento de larga escala.
• Melhores Artigos: Curiosamente, artigos indicados para prêmios de "melhor artigo" não apresentam necessariamente uma completude de reporte superior aos demais, embora tenham uma probabilidade maior de fornecer artefatos.

5. Significância e Implicações

O estudo revela que a reprodutibilidade na Computação Evolutiva ainda enfrenta desafios críticos, especialmente no que diz respeito à transparência de detalhes experimentais e à manutenção de artefatos digitais.

A pesquisa demonstra que a automação via LLMs (RECAP) pode ser uma aliada poderosa para conferências e periódicos, permitindo que revisores foquem em casos de borda e que organizadores identifiquem tendências de conformidade de forma escalável. O trabalho sugere que a comunidade deve adotar fluxos de trabalho baseados em checklists e priorizar o uso de repositórios de dados persistentes para garantir que a ciência produzida seja verdadeiramente verificável e reutilizável.