Computational references are not experiments: pre-registered validation of machine-learned sodium-cathode voltages

Resumo Técnico: Validação Pré-registrada de Tensões de Cátodos de Sódio Aprendidas por Máquina

Definição do Problema
O campo da descoberta computacional de materiais, particularmente para cátodos de baterias, depende fortemente de modelos de aprendizado de máquina (ML) treinados e validados contra tensões de referência computadas (tipicamente valores GGA ou GGA+U de bases de dados como o Materials Project). Um problema crítico, frequentemente não abordado, é que essas escalas de referência carregam erros sistemáticos em relação às medições eletroquímicas experimentais. Consequentemente, um modelo de ML pode alcançar alta precisão contra suas referências de treinamento, enquanto falha ao prever tensões do mundo real. Este artigo investiga este problema de "erro de referência" submetendo um pipeline específico de triagem de materiais de ciclo fechado a uma validação pré-registrada contra valores da literatura ancorados em experimentos.

Metodologia
O estudo emprega um protocolo científico "pré-registrado" para eliminar a racionalização post hoc. Antes de qualquer análise de dados, os autores comprometeram-se com limiares de veredito específicos, uma métrica primária e modos de falha definidos.

1. Sistema sob Teste (QME): Um pipeline de ciclo fechado operando em um único desktop, consistindo em:

   • Gerador: Cria candidatos a cátodos de Na-íon via substituição de protótipo em estruturas conhecidas.
   • Triagem (Screen): Uma Rede Neural de Grafos (GNN) multicauda Siamesa que prevê a tensão média de intercalação com incerteza de Monte-Carlo dropout. O modelo é treinado primariamente em dados de Li-íon (2814 grafos), com apenas 0,7% de química de Na, exigindo extrapolação.
   • Triagem de Artefato (Triage): Uma camada de "estado da arte" que sinaliza candidatos se sua composição coincide com a literatura ou bases de dados conhecidas.
   • Verificação: Um banco DFT local (PBE+U no Quantum ESPRESSO) usado para verificar as principais escolhas e refinar a GNN.

2. Protocolo de Validação:

   • Upgrade de Referência: Em vez de comparar as previsões com as tensões computadas do Materials Project (MP), os autores curaram um conjunto de cátodos de Na-íon com tensões médias experimentais "ancoradas em citações" da literatura primária.
   • Integridade dos Dados: Uma auditoria humana verificou a identidade de fase dos candidatos contra as estruturas cristalinas específicas usadas pelo modelo. Compostos com incompatibilidade de fase (ex: amorfo vs. cristalino) foram excluídos.
   • Métricas: A métrica primária foi o limite superior de confiança de 95% do Erro Médio Absoluto (MAE) com viés corrigido em um conjunto de teste (held-out set).
   • Modos de Falha: Condições pré-definidas (F1–F5) seriam acionadas se os erros fossem não aditivos, se os tamanhos de amostra fossem muito pequenos ou se o conjunto experimental fosse insuficientemente curado.

Resultos Principais

1. Falha da Triagem contra o Experimento:

   • Em um conjunto curado de 6–7 cátodos conhecidos de Na-íon, o Erro Médio Absoluto (MAE) bruto foi de 0,67 V.
   • A métrica primária pré-registrada (limite superior de confiança de 95% do MAE com viés corrigido) foi de 1,09 V, excedendo amplamente o limiar de 0,50 V para desempenho de "grau de triagem".
   • Erro Não Aditivo: O erro de previsão foi fortemente dependente da tensão ($r = -0,94$). O modelo sobre-previu compostos de baixa tensão e sub-previu polimorfos de cobalto de alta tensão. Esta estrutura tornou a calibração de correção aditiva simples inválida; aplicar uma correção de viés na verdade aumentou o erro.

2. Dominância do Erro de Referência:

   • Uma comparação de três vias (Previsão do Modelo vs. Referência MP vs. Experimento) em dois polimorfos de NaCoPO$_4$ revelou que os valores de referência PBE+U do MP eram aproximadamente 0,54 V menores que as medições experimentais.
   • O desvio do modelo em relação ao experimento foi amplamente impulsionado por sua fidelidade à escala de referência errônea. O modelo reproduziu com sucesso o erro de referência, herdando um déficit sistemático de ~0,4–0,5 V contra medições reais.

3. Saturação de Artefatos Conhecidos:

   • O espaço de "descoberta" visado pelo gerador foi considerado saturado. Dos 78 candidatos de substituição de Na quimicamente válidos, 70,5% foram sinalizados como já publicados.
   • Uma auditoria semelhante em uma amostra do lançamento de materiais estáveis do GNoME mostrou que, embora a correspondência ao nível de título tenha encontrado poucos duplicatas, a própria camada de triagem do pipeline (verificando composição e estrutura) identificou sobreposições significativas com a literatura conhecida, sugerindo que a "novidade" em bibliotecas geradas é frequentemente um artefato de cobertura incompleta de bases de dados, e não uma descoberta real.

4. Integridade dos Dados de Referência:

   • O processo de curadoria descobriu erros significativos de identidade em bases de dados existentes, incluindo colisões de namespace e identificações incorretas de fase (ex: associar uma tensão da literatura para uma fase amorfa a um modelo que prevê uma fase cristalina). Isso destacou que a integridade dos dados de referência é uma restrição vinculativa para a validação, muitas vezes mais crítica que a arquitetura do modelo.

Significância e Alegações
O artigo afirma explicitamente que não descobriu materiais, não validou uma triagem e não estabeleceu uma escala calibrada. Sua principal contribuição é a disciplina e o protocolo:

• Disciplina de Validação: Demonstra um framework rigoroso e pré-registrado onde resultados negativos são reportados sem renegociação. Cada alegação quantitativa remete a um artefato comprometido (hashes de commit, trilhas de auditoria).
• Aviso Sistêmico: Fornece evidências de que modelos de ML treinados em tensões computadas herdam erros sistemáticos dessas referências, particularmente em químicas de fosfato de metal de transição. O erro de "benchmark" contra bases de dados como o Materials Project pode subestimar significativamente o erro real contra o experimento.
• Redefinição de Novidade: Argumenta que as alegações de novidade automatizadas devem ser limitadas pela "ausência dentro da cobertura declarada", reconhecendo que as bases de dados atuais são incompletas e que altas taxas de base de materiais conhecidos existem em espaços de substituição direcionados.
• Autorreflexão: Os autores aposentam sua triagem de Na-íon, reconhecendo que ela não é de grau de triagem. Eles pré-registraram uma auditoria de calibração de seu próprio banco DFT contra pares de Li-íon, com o veredito pendente, para determinar se sua escala interna pode ser corrigida.

Em resumo, o artigo serve como um estudo de caso de "resultado negativo", argumentando que a restrição vinculativa do campo mudou da geração de candidatos para a decisão de quais alegações merecem confiança, e que as práticas de validação atuais frequentemente falham em expor erros sistemáticos herdados de referências computacionais.