SynCoTrain: A Dual Classifier PU-learning Framework for Synthesizability Prediction

Technische Samenvatting: SynCoTrain

Probleemstelling
De ontdekking van nieuwe materialen wordt gehinderd door het onvermogen om de synthetiseerbaarheid betrouwbaar te voorspellen. Hoewel thermodynamische stabiliteitsmetrieken (bijv. vormingsenergie, afstand tot de convex hull) enige inzichten bieden, houden ze geen rekening met kinetische factoren, technologische beperkingen en specifieke synthesecondities die bepalen of een materiaal daadwerkelijk gerealiseerd kan worden. Een cruciale flessenhals bij het toepassen van machine learning op dit probleem is de schaarste aan negatieve data; mislukte synthesepogingen worden zelden gepubliceerd of opgenomen in publieke databases. Bijgevolg worstelen standaard supervised learning-benaderingen met het gebrek aan expliciete "niet-synthetiseerbare" voorbeelden. Bovendien kan de afhankelijkheid van een enkel model inherente architecturale biases introduceren die de generaliseerbaarheid kunnen compromitteren, met name bij het voorspellen van eigenschappen voor out-of-distribution data.

Methodologie
De auteurs stellen SynCoTrain voor, een semi-supervised machine learning-framework ontworpen om de synthetiseerbaarheid van oxide kristallen te voorspellen. Het framework integreert Positive and Unlabeled (PU) Learning met een co-training strategie om de afwezigheid van negatieve labels aan te pakken en modelbias te verminderen.

• Co-Training Framework: SynCoTrain maakt gebruik van twee verschillende Graph Convolutional Neural Networks (GCNN's) als complementaire classificators:

  • ALIGNN (Atomistic Line Graph Neural Network): Codeert atomaire bindingen en bindingshoeken, wat een "chemische perspectief" reflecteert.
  • SchNet: Maakt gebruik van continue convolutionele filters om atomaire structuren te coderen, wat een "fysisch perspectief" reflecteert.
  • Het framework voert twee parallelle iteratiereeksen uit. In elke reeks wisselen de classificators van rol: de ene classifier wordt getraind op de huidige positieve set en een gesamplede subset van ongelabelde data (behandeld als negatief), en voorspelt vervolgens labels voor de resterende ongelabelde data. Voorspellingen met een hoge betrouwbaarheid worden gebruikt om de positieve klasse uit te breiden voor de volgende iteratie, waarin de andere classifier wordt getraind. Deze iteratieve uitwisseling van kennis stelt de modellen in staat om te leren van verschillende dataviews.

• Implementatie van PU Learning: Binnen elke iteratie maken de base learners gebruik van een bagging-benadering (60 runs) gebaseerd op de methode van Mordelet en Vert. In elke run dient een willekeurige subset van ongelabelde data als de negatieve klasse. De synthetiseerbaarheidsscore voor elk datapunt is de gemiddelde waarschijnlijkheid over deze 60 runs.

  • Drempelwaarden: Een drempelwaarde van 0,75 wordt gebruikt om de positieve klasse tijdens co-training iteraties met vertrouwen uit te breiden. Een drempelwaarde van 0,5 wordt toegepast op de uiteindelijke gemiddelde scores om binaire labels te genereren.

• Finale Predictor: Zodra het co-training proces wordt afgerond (geïdentificeerd als optimaal bij iteratie 2), worden de gegenereerde labels gebruikt om een finale synthetiseerbaarheidspredictor te trainen. De auteurs hebben SchNet geselecteerd voor deze laatste fase, waarbij regularisatietechnieken worden toegepast om overfitting op de Materials Project datadistributie te voorkomen. Deze technieken omvatten:

  • Label noise injectie (het omdraaien van 5% van de labels).
  • Data augmentatie via Gaussian noise perturbatie van atomaire posities.
  • Gewogen loss functies (0,45:0,55 ratio).
  • Dropout-lagen en Cosine Annealing met Warm Restarts voor de learning rate scheduling.

Belangrijkste Resultaten

• Prestatie-metrieken: Het model bereikte een recall-bereik van 95–97% op interne en leave-out testsets. Bij de optimale iteratie (iteratie 2) voorspelde het model ongeveer 21% van de ongelabelde theoretische data als synthetiseerbaar.
• Stabiliteitscorrelatie: Het model slaagde erin de relatie tussen stabiliteit en synthetiseerbaarheid te vangen zonder expliciete training op stabiliteitslabels. Onstabiele kristallen (energie > 1 eV boven de convex hull) waren 2,5 keer minder waarschijnlijk om als synthetiseerbaar te worden geclassificeerd. Echter, het model identificeerde ook correct dat stabiliteit alleen onvoldoende is, aangezien slechts ~21% van de kristallen met energie < 1 eV boven de hull als synthetiseerbaar werden geclassificeerd.
• Generalisatie: De finale predictor werd geëvalueerd op externe datasets die niet in de training zijn gebruikt:
  • OQMD: Toonde een hoger aandeel synthetiseerbare kristallen vergeleken met de Materials Project testset.
  • WBM (Willekeurig gesampled): Toonde ambigue voorspellingen (scores rond de 0,5), wat de kunstmatige aard van de data reflecteert.
  • iMatGen (Generatief): Toonde de laagste synthetiseerbaarheidsscores, consistent met de generatie van onrealistische structuren.
• Validatie van de Grondwaarheid (Ground Truth): Gebruikmakend van een stabiliteitsvoorspellingsopdracht waarbij de grondwaarheid-labels bekend waren, toonden de auteurs aan dat de recall-waarden afgeleid van hun dynamische en leave-out testsets de Grondwaarheid Recall nauwkeurig benaderden, wat de betrouwbaarheid van hun evaluatiemetrieken valideert.

Betekenis en Claims
Het artikel beweert dat SynCoTrain een schaalbare oplossing biedt voor de uitdaging van synthetiseerbaarheidsvoorspelling door co-training te gebruiken om modelbias te verminderen en het gebrek aan negatieve data aan te pakken. Door zich te concentreren op oxide kristallen—een goed gekarakteriseerde familie met uitgebreide experimentele data—demonstreren de auteurs dat co-training een hoge recall kan bereiken terwijl het evenwicht wordt bewaard tussen datasetvariabiliteit en computationele efficiëntie.

De auteurs positioneren de tool als een hulpmiddel voor de initiële fasen van high-throughput materiaalkundige ontdekking. In plaats van te claimen perfect de synthetiseerbaarheid te voorspellen, stellen zij dat de primaire bruikbaarheid van het model ligt in het filteren van structuren die onwaarschijnlijk tot echte materialen zullen leiden. Door potentieel zelfs de helft van de niet-synthetiseerbare kandidaten te elimineren, beoogt het framework aanzienlijke middelen te besparen voor simulatie en experimentele synthesepogingen. Het werk benadrukt het potentieel om bestaande sterke classificators te combineren via co-training om meer waarde te extraheren uit beschikbare materialdata, in plaats van nieuwe architecturen vanaf nul te ontwikkelen.