Reproducibility in Computational Materials Science: Lessons from 'A General-Purpose Machine Learning Framework for Predicting Properties of Inorganic Materials'

Este artigo analisa os desafios de reprodutibilidade encontrados ao tentar replicar resultados de um quadro de trabalho proeminente de aprendizado de máquina em ciência dos materiais, identificando quatro categorias-chave de questões relacionadas a dependências, versionamento, organização de código e referências do manuscrito, e propõe soluções acionáveis para melhorar a acessibilidade e a utilidade do código para a comunidade de pesquisa.

O essencial

Imagine que você e um amigo estão tentando assar o bolo mais delicioso do mundo. Seu amigo, um padeiro famoso, publicou um livro de receitas intitulado "Como Fazer o Bolo Perfeito". Ele incluiu uma lista de ingredientes, uma foto do bolo pronto e algumas notas sobre como misturá-lo. Você decide tentar fazê-lo sozinho para ver se o sabor é tão bom quanto dizem.

No entanto, quando você começa a cozinhar, esbarra em um muro. Eis o que aconteceu, com base na história deste artigo:

Os Cartões de Receita Faltantes

O padeiro famoso lhe deu um "Script de Construção de Modelo", que é como um cartão de instruções básico sobre como misturar a massa. Mas a parte do livro que mostrava como pegar essa massa e assar o bolo final específico (a "análise de extensibilidade") estava completamente ausente. Você teve que adivinhar como terminar a receita apenas lendo as descrições vagas no livro.

O Forno Quebrado (Dependências)

Mesmo quando você tentou seguir as instruções básicas, descobriu que o forno exigia um tipo muito específico e antigo de gás que já não existe mais. A receita dizia: "Use Gás Tipo 7", mas esse gás foi descontinuado e é inseguro. Você teve que caçar um gás ligeiramente diferente (Tipo 8) para fazer o forno funcionar de qualquer maneira. Isso é o que o artigo chama de "problema de dependência" — as ferramentas necessárias para executar o código estão desatualizadas ou são difíceis de encontrar.

O Ingrediente Secreto (Aleatoriedade)

Uma vez que finalmente conseguiu o forno funcionando e assou o bolo, ele não ficou com o sabor certo. O bolo do padeiro era doce e fofinho; o seu ficou um pouco denso. Você tentou assá-lo mais dez vezes, mudando nada além do momento exato em que ligou o forno (a "semente aleatória"). Toda vez, o bolo saía ligeiramente diferente.

O artigo descobriu que o padeiro nunca anotou qual momento específico ele ligou o forno. Sem esse detalhe minúsculo, você nunca poderá recriar perfeitamente o bolo dele. No mundo da ciência da computação, isso significa que, mesmo que você tenha o mesmo código e os mesmos dados, o "lançamento de dados" interno do computador pode alterar o resultado, tornando impossível obter exatamente a mesma resposta sem um registro desse lançamento.

O Alvo em Movimento (Controle de Versão)

O padeiro admitiu mais tarde que ainda estava ajustando suas ferramentas de cozinha enquanto escrevia o livro. As ferramentas que ele usou para assar o bolo na foto podem ter sido diferentes das ferramentas que ele lhe deu na caixa. Como ele não manteve um diário de qual versão das ferramentas usou em qual dia, você não pode saber se seu fracasso foi porque você fez algo errado ou porque as ferramentas dele mudaram.

As Quatro Regras para Receitas Melhores

Os autores deste artigo sugerem quatro regras simples para impedir que isso aconteça no futuro, usando uma analogia de "livro de receitas":

1. Liste as Ferramentas Exatas: Não diga apenas "use um forno". Diga "use um modelo de 2024 com um adaptador de gás específico". Se não puder fazer isso, coloque toda a cozinha em uma caixa selada (como um "contêiner Docker") para que qualquer pessoa possa abri-la e usar exatamente a mesma configuração.
2. Mantenha um Log de Versões: Mantenha um diário de todas as alterações que fizer em suas ferramentas. Se mudar um fouet ou uma configuração do forno, anote. Assim, se o bolo tiver um sabor diferente mais tarde, você saberá exatamente qual mudança causou isso.
3. Divida a Receita em Etapas: Em vez de um único parágrafo gigante e confuso de instruções, divida a receita em etapas pequenas e claras: "Etapa 1: Misture os ovos", "Etapa 2: Adicione a farinha". Isso torna mais fácil para qualquer pessoa acompanhar e verificar seu trabalho em cada estágio.
4. Vincule as Notas às Etapas: No livro, quando o padeiro diz "misture vigorosamente", coloque um link clicável bem ali que o leve exatamente para a linha de código onde essa mistura acontece. Isso conecta a história ao trabalho real.

A Conclusão

O artigo conclui que, embora o framework original fosse uma ótima ideia e tenha ajudado o campo da ciência dos materiais, a falta desses detalhes simples de "receita" tornou impossível que outros copiassem perfeitamente os resultados. Ao seguir essas quatro regras, os cientistas podem garantir que, quando compartilharem suas descobertas, outros possam realmente construí-las sem se perder em um labirinto de instruções faltantes e ferramentas quebradas.

Resumo técnico

Resumo Técnico: Reprodutibilidade em Ciência Computacional de Materiais

Declaração do Problema
Apesar da rápida integração do aprendizado de máquina (ML) na descoberta de materiais e da tendência concomitante em direção a dados de código aberto, permanece uma barreira significativa: a falta de práticas reprodutíveis entre os desenvolvedores de ferramentas. Este estudo investiga os desafios específicos encontrados ao tentar reproduzir os resultados de um trabalho seminal, "A general-purpose machine learning framework for predicting properties of inorganic materials" (Um framework de aprendizado de máquina de propósito geral para prever propriedades de materiais inorgânicos), de Ward et al. (2016). Embora os autores originais tivessem fornecido dados brutos e um script para a construção do modelo, as informações suplementares (IS) estavam incompletas. Especificamente, os scripts necessários para a "análise de extensibilidade"—a aplicação prática do framework para identificar novos materiais para células solares—estavam ausentes. Além disso, a documentação fornecida continha requisitos de dependência enganosos, e a base de código carecia de controle de versão, tornando impossível determinar se o software distribuído correspondia à versão utilizada para gerar os resultados originais.

Metodologia
Os autores tentaram replicar a parte da "análise de extensibilidade" do estudo de Ward et al., que envolvia a identificação de novos compostos ternários com bandgaps adequados para células solares. A metodologia envolveu:

1. Reconstrução do Ambiente: Tentativa de instalar o software Magpie (um gerador de descritores baseado em Java) e suas dependências. Os autores encontraram incompatibilidade entre o requisito documentado de Java 7 e as versões modernas de Java, necessitando do uso do Java 8.
2. Recriação de Scripts: Como os scripts de análise de extensibilidade estavam ausentes na IS, os autores os reconstituíram com base em descrições imprecisas no manuscrito e consultando um autor original.
3. Tratamento de Dados: Os autores utilizaram o conjunto de treinamento fornecido (OQMD v1.0, ~300.000 compostos) e trataram os cinco compostos candidatos específicos listados na Tabela 1 do artigo original como o conjunto de teste, já que os dados do espaço de busca original não estavam disponíveis.
4. Replicação e Testes de Sensibilidade: Os autores re-treinaram os modelos hierárquicos REPTree usando os scripts reconstituídos. Para investigar discrepâncias entre seus resultados e as previsões originais, realizaram um teste de estabilidade de semente aleatória, gerando dez modelos com diferentes sementes aleatórias (incluindo a semente padrão do Weka) para avaliar a sensibilidade das previsões à inicialização.

Principais Resultados
O esforço de replicação revelou que os resultados originais não puderam ser reproduzidos:

• Desvio de Previsão: As energias de bandgap previstas pelos modelos replicados desviaram-se significativamente dos valores relatados no artigo original.
• Sensibilidade à Semente Aleatória: O teste de estabilidade de semente aleatória demonstrou que as previsões eram altamente sensíveis à semente aleatória. As previsões originais caíram fora da distribuição das previsões replicadas para vários compostos (por exemplo, Hf4S11Cl2), e, em alguns casos, os valores originais situavam-se na cauda extrema da distribuição ou completamente fora da dispersão.
• Análise da Causa Raiz: A incapacidade de replicar foi atribuída à falta de uma semente aleatória registrada, à ausência de dados intermediários (descritores, modelos) para validação e à probabilidade de que a base de código do Magpie estivesse em desenvolvimento ativo durante a execução do estudo original. A versão do software fornecida na IS provavelmente diferia da versão utilizada para gerar os resultados publicados.

Principais Contribuições e Recomendações
Com base nessas descobertas, o artigo propõe quatro itens de ação tangíveis para melhorar a reprodutibilidade de futuras ferramentas de código aberto em informática de materiais:

1. Disseminar Dependências: Os desenvolvedores devem ir além de listas de dependências baseadas em texto. Os autores recomendam estratégias de containerização (por exemplo, Docker ou Singularity) para encapsular o ambiente computacional, garantindo que as dependências de software permaneçam compatíveis e acessíveis ao longo do tempo.
2. Manter e Rastrear Versões: O estudo destaca a necessidade de controle de versão rigoroso (por exemplo, Git) e rastreamento de Operações de Aprendizado de Máquina (MLOps) (por exemplo, MLFlow). Essas ferramentas permitem o registro sistemático de versões de código, parâmetros e métricas, garantindo a rastreabilidade da linhagem do modelo e a capacidade de reverter para estados experimentais específicos.
3. Utilizar Práticas de Codificação Sequencial: Em vez de scripts de entrada monolíticos e complexos, os desenvolvedores devem adotar práticas de codificação sequencial, como notebooks Jupyter. Dividir fluxos de trabalho em células discretas e autocontidas com markdown descritivo melhora a clareza, reduz a curva de aprendizado e permite que os usuários validem as saídas em pontos de verificação distintos.
4. Aprimorar a Clareza do Código nos Manuscritos: Os autores sugerem incorporar ponteiros clicáveis no texto do manuscrito que linkem diretamente para arquivos específicos ou linhas de código no repositório. Isso preenche a lacuna entre a metodologia escrita e a implementação prática, reduzindo a ambiguidade.

Significância
O artigo conclui que, embora o framework proposto por Ward et al. tenha demonstrado com sucesso uma abordagem generalizada para a informática de materiais, o estudo serve como uma lição de cautela: a reprodutibilidade exige esforço deliberado e estruturado. Sem medidas proativas em relação ao gerenciamento de dependências, rastreamento de versão e organização de código, mesmo iniciativas de ciência aberta bem-intencionadas podem falhar em ser reprodutíveis. Ao adotar as práticas recomendadas, a comunidade pode fomentar maior confiança, transparência e facilidade de adoção para ferramentas de pesquisa em materiais computacionais.