SynCoTrain: A Dual Classifier PU-learning Framework for Synthesizability Prediction

Résumé Technique : SynCoTrain

Énoncé du Problème
La découverte de nouveaux matériaux est entravée par l'incapacité de prédire de manière fiable la synthétisabilité. Bien que les métriques de stabilité thermodynamique (par exemple, l'énergie de formation, la distance par rapport à l'enveloppe convexe) offrent des aperçus partiels, elles ne parviennent pas à prendre en compte les facteurs cinétiques, les contraintes technologiques et les conditions de synthèse spécifiques qui déterminent si un matériau peut réellement être réalisé. Un goulot d'étranglement critique dans l'application de l'apprentissage automatique à ce problème est la rareté des données négatives ; les tentatives de synthèse ratées sont rarement publiées ou incluses dans les bases de données publiques. Par conséquent, les approches classiques d'apprentissage supervisé peinent en raison de l'absence d'exemples explicites « non synthétisables ». De plus, le recours à un modèle unique introduit des biais architecturaux inhérents qui peuvent compromettre la généralisabilité, particulièrement lors de la prédiction de propriétés pour des données hors distribution.

Méthodologie
Les auteurs proposent SynCoTrain, un cadre d'apprentissage automatique semi-supervisé conçu pour prédire la synthétisabilité des cristaux d'oxydes. Le cadre intègre l'apprentissage Positif et Non Étiqueté (PU - Positive and Unlabeled) avec une stratégie de co-entraînement afin de remédier à l'absence d'étiquettes négatives et d'atténuer le biais du modèle.

• Cadre de Co-Entraînement : SynCo-Train emploie deux réseaux de neurones convolutifs sur graphes (GCNN) distincts comme classifieurs complémentaires :

  • ALIGNN (Atomistic Line Graph Neural Network) : Encode les liaisons atomiques et les angles de liaison, reflétant une « perspective de chimiste ».
  • SchNet : Utilise des filtres de convolution continue pour encoder les structures atomiques, reflétant une « perspective de physicien ».
  • Le cadre exécute deux séries d'itérations parallèles. Dans chaque série, les classificateurs alternent leurs rôles : un classificateur est entraîné sur l'ensemble positif actuel et un sous-ensemble échantillonné de données non étiquetées (traitées comme négatives), puis prédit les étiquettes pour le reste des données non étiquetées. Les prédictions à haute confiance sont utilisées pour élargir la classe positive pour l'itération suivante, où l' autre classificateur est entraîné. Cet échange itératif de connaissances permet aux modèles d'apprendre à partir de différentes vues des données.

• Implémentation de l'Apprentissage PU : Au sein de chaque itération, les apprenants de base utilisent une approche de bagging (60 passages) basée sur la méthode de Mordelet et Vert. Dans chaque passage, un sous-ensemble aléatoire de données non étiquetées sert de classe négative. Le score de synthétisabilité pour chaque point de donnée est la probabilité moyenne sur ces 60 passages.

  • Seuils : Un seuil de 0,75 est utilisé pour élargir avec confiance la classe positive lors des itérations de co-entraînement. Un seuil de 0,5 est appliqué aux scores moyens finaux pour générer des étiquettes binaires.

• Prédicteur Final : Une fois que le processus de co-entraînement se termine (identifié comme optimal à l'itération 2), les étiquettes générées sont utilisées pour entraîner un prédicteur de synthétisabilité final. Les auteurs ont sélectionné SchNet pour cette étape finale, en employant des techniques de régularisation pour éviter le surapprentissage sur la distribution des données du Materials Project. Ces techniques incluent :

  • Injection de bruit d'étiquette (inversion de 5 % des étiquettes).
  • Augmentation de données via la perturbation par bruit gaussien des positions atomiques.
  • Fonctions de perte pondérées (ratio 0,45:0,55).
  • Couches de Dropout et « Cosine Annealing with Warm Restarts » pour la planification du taux d'apprentissage.

Résultats Clés

• Métriques de Performance : Le modèle a atteint une plage de rappel de 95–97 % sur les ensembles de test internes et de sortie (leave-out). À l'itération optimale (itération 2), le modèle a prédit qu'environ 21 % des données théoriques non étiquetées étaient synthétisables.
• Corrélation avec la Stabilité : Le modèle a réussi à capturer la relation entre stabilité et synthétisabilité sans entraînement explicite sur des étiquettes de stabilité. Les cristaux instables (énergie > 1 eV au-dessus de l'enveloppe convexe) étaient 2,5 fois moins susceptibles d'être classés comme synthétisables. Cependant, le modèle a également correctement identifié que la stabilité seule est insuffisante, puisque seulement ~21 % des cristaux avec une énergie < 1 eV au-dessus de l'enveloppe convexe ont été classés comme synthétisables.
• Généralisation : Le prédicteur final a été évalué sur des ensembles de données externes non utilisés lors de l'entraînement :
  • OQMD : A montré une proportion plus élevée de cristaux synthétisables par rapport au test du Materials Project.
  • WBM (échantillonnage aléatoire) : A montré des prédictions ambiguës (scores autour de 0,5), reflétant la nature artificielle des données.
  • iMatGen (génératif) : A montré les scores de synthétisabilité les plus bas, ce qui est cohérent avec la génération de structures irréalistes.
• Validation de la Vérité de Terrain (Ground Truth) : En utilisant une tâche de prédiction de stabilité où les étiquettes de vérité de terrain étaient connues, les auteurs ont démontré que les valeurs de rappel dérivées de leurs ensembles de test dynamiques et de sortie approchaient étroitement le Rappel de la Vérité de Terrain, validant ainsi la fiabilité de leurs métriques d'évaluation.

Signification et Revendications
L'article affirme que SynCoTrain offre une solution scalable au défi de la prédiction de la synthétisabilité en exploitant le co-entraînement pour réduire le biais du modèle et gérer l'absence de données négatives. En se concentrant sur les cristaux d'oxydes — une famille bien caractérisée avec des données expérimentales étendues — les auteurs démontent que le co-entraînement peut atteindre un rappel élevé tout en équilibrant la variabilité des données et l'efficacité computationnelle.

Les auteurs positionnent cet outil comme une ressource pour les étapes initiales de la découverte de matériaux à haut débit. Plutôt que de prétendre prédire parfaitement la synthétisabilité, ils soutiennent que l'utilité principale du modèle réside dans le filtrage des structures peu susceptibles de donner lieu à des matériaux réels. En éliminant potentiellement même la moitié des candidats non synthétisables, le cadre vise à économiser des ressources significatives en simulation et en tentatives de synthèse expérimentale. Ce travail souligne le potentiel de combiner des classificateurs puissants existants via le co-entraînement pour extraire plus de valeur des données matérielles disponibles, plutôt que de développer de nouvelles architectures à partir de zéro.