Computational references are not experiments: pre-registered validation of machine-learned sodium-cathode voltages

Resumen Técnico: Validación Pre-registrada de Voltajes de Cátodos de Sodio Aprendidos mediante Aprendizaje Automático

Planteamiento del Problema
El campo del descubrimiento computacional de materiales, particularmente para cátodos de baterías, depende en gran medida de modelos de aprendizaje automático (ML) entrenados y validados frente a voltajes de referencia computados (típicamente valores GGA o GGA+U de bases de datos como el Materials Project). Un problema crítico, a menudo desatendido, es que estas escalas de referencia conllevan errores sistemáticos respecto a las mediciones electroquímicas experimentales. En consecuencia, un modelo de ML puede lograr una alta precisión frente a sus referencias de entrenamiento mientras falla al predecir voltajes del mundo real. Este artículo investiga este problema de "error de referencia" sometiendo un flujo de trabajo de detección de materiales de ciclo cerrado específico a una validación pre-registrada contra valores de la literatura anclados experimentalmente.

Metodología
El estudio emplea un protocolo científico "pre-registrado" para eliminar la racionalización post-hoc. Antes de cualquier análisis de datos, los autores se comprometieron con umbrales de veredicto específicos, una métrica primaria y modos de falla definidos.

1. Sistema bajo Prueba (QME): Un flujo de trabajo de ciclo cerrado que opera en una sola computadora de escritorio, que consiste en:

   • Generador: Crea candidatos de cátodos de Na-ión mediante la sustitución de prototipos en marcos conocidos.
   • Tamiz (Screen): Una Red Neuronal de Grafos (GNN) multicabeza siamesa que predice el voltaje promedio de intercalación con incertidumbre de Monte-Carlo dropout. El modelo está entrenado principalmente con datos de Li-ión (2814 grafos), con solo un 0.7% de química de Na, lo que requiere extrapolación.
   • Triaje: Una capa de "estado del arte" que marca los candidatos si su composición coincide con la literatura conocida o bases de datos.
   • Verificación: Un banco de pruebas DFT local (PBE+U en Quantum ESPRESSO) utilizado para verificar las mejores opciones y ajustar la GNN.

2. Protocolo de Validación:

   • Mejora de la Referencia: En lugar de comparar las predicciones con los voltajes computados del Materials Project (MP), los autores curaron un conjunto de cátodos de Na-ión con voltajes promedio experimentales "anclados por citas" de la literatura primaria.
   • Integridad de los Datos: Una auditoría humana verificó la identidad de fase de los candidatos contra las estructuras cristalinas específicas utilizadas por el modelo. Los compuestos con desajustes de fase (por ejemplo, amorfo vs. cristalino) fueron excluidos.
   • Métricas: La métrica primaria fue el límite superior de confianza del 95% del Error Absoluto Medio (MAE) corregido por sesgo en un conjunto de retención (held-out set).
   • Modos de Falla: Condiciones predefinidas (F1–F5) se activarían si los errores no fueran aditivos, si los tamaños de muestra fueran demasiado pequeños o si el conjunto experimental fuera insuficientemente curado.

Resultos Clave

1. Falla del Tamiz frente al Experimento:

   • En un conjunto curado de 6–7 cátodos de Na-ión conocidos, el Error Absoluto Medio (MAE) bruto fue de 0.67 V.
   • La métrica primaria pre-registrada (límite de confianza superior del 95% del MAE corregido por sesgo) fue de 1.09 V, superando ampliamente el umbral de 0.50 V para un rendimiento de "grado de detección" (screening-grade).
   • Error No Aditivo: El error de predicción fue fuertemente dependiente del voltaje ($r = -0.94$). El modelo sobrepredijo los compuestos de bajo voltaje y subpredijo los polimorfos de cobalto de alto voltaje. Esta estructura invalidó la corrección aditiva simple; aplicar una corrección de sesgo de hecho aumentó el error.

2. Dominancia del Error de Referencia:

   • Una comparación de tres vías (Predicción del Modelo vs. Referencia MP vs. Experimento) en dos polimorfos de NaCoPO$_4$ reveló que los valores de referencia MP PBE+U eran aproximadamente 0.54 V menores que las mediciones experimentales.
   • La desviación del modelo respecto al experimento fue impulsada en gran medida por su fidelidad a la escala de referencia errónea. El modelo reprodujo con éxito el error de referencia, heredando un déficit sistemático de ~0.4–0.5 V frente a las mediciones reales.

3. Saturación del Estado del Arte:

   • Se encontró que el espacio de "descubrimiento" dirigido por el generador estaba saturado. De 78 candidatos de sustitución de Na químicamente válidos, el 70.5% fue marcado como ya publicado.
   • Una auditoría similar en una muestra de la liberación de materiales estables de GNoME mostró que, si bien la coincidencia a nivel de título encontró pocos duplicados, la propia capa de triaje del flujo de trabajo (que verifica composición y estructura) identificó un solapamiento significativo con la literatura conocida, sugiriendo que la "novedad" en las librerías generadas es a menudo un artefacto de la cobertura incompleta de las bases de datos más que un verdadero descubrimiento.

4. Integridad de los Datos de Referencia:

   • El proceso de curación descubrió errores significativos de identidad en las bases de datos existentes, incluyendo colisiones de nombres de espacio y errores de identificación de fase (por ejemplo, vincular un voltaje de la literatura para una fase amorfa con un modelo que predice una fase cristalina). Esto resaltó que la integridad de los datos de referencia es una restricción vinculante para la validación, a menudo más crítica que la arquitectura del modelo.

Significado y Reivindicaciones
El artículo afirma explícitamente que no hay materiales descubiertos, no hay un tamiz validado y no hay una escala calibrada. Su contribución principal es la disciplina y el protocolo:

• Disciplina de Validación: Demuestra un marco riguro de pre-registro donde los resultados negativos se reportan sin renegociación. Cada afirmación cuantitativa se rastrea hasta un artefacto comprometido (hashes de commit, pistas de auditoría).
• Advertencia Sistémica: Proporciona evidencia de que los modelos de ML entrenados con voltajes computados heredan errores sistemáticos de esas referencias, particularmente en químicas de fosfato de metal de transición. El error de "referencia" puede hacer que la precisión de la comparación con bases de datos como Materials Project subestime significativamente el error real frente al experimento.
• Redefinición de la Novedad: Argumenta que las afirmaciones de novedad automatizadas deben limitarse por la "ausencia dentro de la cobertura declarada", reconociendo que las bases de datos actuales son incompletas y que existen altas tasas base de materiales conocidos en los espacios de sustitución objetivo.
• Autorreflexión: Los autores retiran su tamiz de Na-ión, reconociendo que no es de grado de detección. Han pre-registrado una auditoría de calibración de su propio banco de pruebas DFT contra parejas de Li-ión, con el veredicto pendiente, para determinar si su escala interna puede ser corregida.

En resumen, el artículo sirve como un estudio de caso de "resultado negativo", argumentando que la restricción vinculante del campo ha pasado de generar candidatos a decidir qué afirmaciones merecen confianza, y que las prácticas de validación actuales a menudo fallan en exponer los errores sistemáticos heredados de las referencias computacionales.