SynCoTrain: A Dual Classifier PU-learning Framework for Synthesizability Prediction

Resumen Técnico: SynCoTrain

Planteamiento del Problema
El descubrimiento de nuevos materiales se ve obstaculizado por la incapacidad de predecir de manera fiable la sintetizabilidad. Si bien las métricas de estabilidad termodinámica (por ejemplo, la energía de formación, la distancia al casco convexo) ofrecen una visión parcial, no logran dar cuenta de los factores cinéticos, las restricciones tecnológicas y las condiciones de síntesis específicas que determinan si un material puede realmente realizarse. Un cuello de botella crítico en la aplicación del aprendizaje automático a este problema es la escasez de datos negativos; los intentos de síntesis fallidos rara vez se publican o se incluyen en las bases de datos públicas. En consecuencia, los enfoques estándar de aprendizaje supervisado luchan debido a la falta de ejemplos explícitos de "no sintetizables". Además, la dependencia de un único modelo introduce sesgos arquitectónicos inherentes que pueden comprometer la generalización, particularmente al predecir propiedades para datos fuera de la distribución.

Metodología
Los autores proponen SynCoTrain, un marco de aprendizaje automático semi-supervisado diseñado para predecir la sintetizabilidad de cristales de óxido. El marco integra el Aprendizaje de Positivos y No Etiquetados (PU Learning) con una estrategia de co-entrenamiento para abordar la ausencia de etiquetas negativas y mitigar el sesgo del modelo.

• Marco de Co-entrenamiento: SynCoTrain emplea dos Redes Neuronales Convolucionales de Grafos (GCNN) distintas como clasificadores complementarios:

  • ALIGNN (Red Neuronal de Grafo de Línea Atómica): Codifica enlaces atómicos y ángulos de enlace, reflejando una "perspectiva del químico".
  • SchNet: Utiliza filtros de convolución continua para codificar estructuras atómicas, reflejando una "perspectiva del físico".
  • El marco ejecuta dos series de iteración paralelas. En cada serie, los clasificadores alternan roles: un clasificador se entrena en el conjunto positivo actual y en un subconjunto muestreado de datos no etiquetados (tratados como negativos), luego predice las etiquetas para el resto de los datos no etiquetados. Las predicciones de alta confianza se utilizan para expandir la clase positiva para la siguiente iteración, donde se entrena al otro clasificador. Este intercambio iterativo de conocimiento permite a los modelos aprender de diferentes vistas de los datos.

• Implementación de PU Learning: Dentro de cada iteración, los aprendices base utilizan un enfoque de bagging (60 ejecuciones) basado en el método de Mordelet y Vert. En cada ejecución, un subconjunto aleatorio de datos no etiquetados sirve como la clase negativa. La puntuación de sintetizabilidad para cada punto de datos es el promedio de la probabilidad a través de estas 60 ejecuciones.

  • Umbrales: Se utiliza un umbral de 0.75 para expandir con confianza la clase positiva durante las iteraciones de co-entrenamiento. Se aplica un umbral de 0.5 a las puntuaciones promedio finales para generar etiquetas binarias.

• Predictor Final: Una vez que concluye el proceso de co-entrenamiento (identificado como óptimo en la iteración 2), las etiquetas generadas se utilizan para entrenar un predictor de sintetizabilidad final. Los autores seleccionaron SchNet para esta etapa final, empleando técnicas de regularización para evitar el sobreajuste a la distribución de datos de Materials Project. Estas técnicas incluyen:

  • Inyección de ruido de etiquetas (cambio del 5% de las etiquetas).
  • Aumento de datos mediante la perturbación por ruido gaussiano de las posiciones atómicas.
  • Funciones de pérdida ponderadas (relación 0.45:0.55).
  • Capas de dropout y Cosine Annealing con Warm Restarts para la programación de la tasa de aprendizaje.

Resultos Clave

• Métricas de Rendimiento: El modelo alcanzó un rango de recuperación (recall) del 95–97% en los conjuntos de prueba internos y de exclusión (leave-out). En la iteración óptima (iteración 2), el modelo predijo aproximadamente el 21% de los datos teóricos no etiquetados como sintetizables.
• Correlación de Estabilidad: El modelo capturó con éxito la relación entre estabilidad y sintetizabilidad sin entrenamiento explícito en etiquetas de estabilidad. Los cristales inestables (energía > 1 eV por encima del casco convexo) fueron 2.5 veces menos propensos a ser clasificados como sintetizables. Sin embargo, el modelo también identificó correctamente que la estabilidad por sí sola es insuficiente, ya que solo ~21% de los cristales con energía < 1 eV por encima del casco fueron clasificados como sintetizables.
• Generalización: El predictor final fue evaluado en conjuntos de datos externos no utilizados en el entrenamiento:
  • OQMD: Mostró una mayor proporción de cristales sintetizables en comparación con el conjunto de prueba de Materials Project.
  • WBM (Muestreo aleatorio): Mostró predicciones ambiguas (puntuaciones alrededor de 0.5), lo que refleja la naturaleza artificial de los datos.
  • iMatGen (Generativo): Mostró las puntuaciones de sintetizabilidad más bajas, consistente con la generación de estructuras irreales.
• Validación de la Verdad de Terreno (Ground Truth): Utilizando una tarea de predicción de estabilidad donde las etiquetas de verdad de terreno eran conocidas, los autores demostraron que los valores de recuperación derivados de sus conjuntos de prueba dinámicos y de exclusión se aproximaban estrechamente a la Recuperación de la Verdad de Terreno, validando la fiabilidad de sus métricas de evaluación.

Significancia y Reivindicaciones
El artículo afirma que SynCoTrain ofrece una solución escalable al desafío de la predicción de la sintetizabilidad al aprovechar el co-entrenamiento para reducir el sesgo del modelo y manejar la falta de datos negativos. Al centrarse en los cristales de óxido —una familia bien caracterizada con amplios datos experimentales— los autores demuestran que el co-entrenamiento puede lograr una alta recuperación mientras equilibra la variabilidad del conjunto de datos y la eficiencia computacional.

Los autores posicionan la herramienta como un recurso para las etapas iniciales del descubrimiento de materiales de alto rendimiento (high-throughput). En lugar de pretender predecir perfectamente la sintetizabilidad, argumentan que la utilidad principal del modelo radica en filtrar las estructuras que tienen pocas probabilidades de resultar en materiales reales. Al eliminar potencialmente incluso la mitad de los candidatos no sintetizables, el marco tiene como objetivo ahorrar recursos significativos en simulaciones e intentos de síntesis experimental. El trabajo destaca el potencial de combinar clasificadores existentes y fuertes mediante el co-entrenamiento para extraer más valor de los datos de materiales disponibles, en lugar de desarrollar nuevas arquitecturas desde cero.