SynCoTrain: A Dual Classifier PU-learning Framework for Synthesizability Prediction

Sintesi Tecnica: SynCoTrain

Problematica
La scoperta di nuovi materiali è ostacolata dall'incapacità di prevedere in modo affidabile la sintetizzabilità. Sebbene le metriche di stabilità termodinamica (ad esempio, l'energia di formazione, la distanza dal convex hull) offrano intuizioni parziali, esse non tengono conto dei fattori cinetici, dei vincoli tecnologici e delle specifiche condizioni di sintesi che determinano se un materiale possa effettivamente essere realizzato. Un collo di bottiglia critico nell'applicazione del machine learning a questo problema è la scarsità di dati negativi; i tentativi di sintesi falliti sono raramente pubblicati o inclusi nei database pubblici. Di conseguenza, gli approcci standard di apprendimento supervisionato faticano a causa della mancanza di esempi espliciti "non sintetizzabili". Inoltre, il ricorso a un singolo modello introduce inerenti bias architettonici che possono compromettere la generalizzabilità, in particolare quando si prevedono proprietà per dati fuori distribuzione (out-of-distribution).

Metodologia
Gli autori propongono SynCoTrain, un framework di machine learning semi-supervisionato progettato per prevedere la sintetizzabilità di cristalli di ossidi. Il framework integra l'apprendimento Positive and Unlabeled (PU) con una strategia di co-training per affrontare l'assenza di etichette negative e mitigare il bias del modello.

• Framework di Co-Training: SynCoTrain impiega due distinti Graph Convolutional Neural Networks (GCNN) come classificatori complementari:

  • ALIGNN (Atomistic Line Graph Neural Network): Codifica i legami atomici e gli angoli di legame, riflettendo una "prospettiva del chimico".
  • SchNet: Utilizza filtri di convoluzione continua per codificare le strutture atomiche, riflettendo una "prospettiva del fisico".
  • Il framework esegue due serie di iterazioni parallele. In ogni serie, i classificatori alternano i ruoli: un classificatore viene addestrato sul set positivo corrente e su un sottoinsieme campionato di dati non etichettati (trattati come negativi), quindi predice le etichette per il resto dei dati non etichettati. Le predizioni ad alta confidenza vengono utilizzate per espandere la classe positiva per l'iterazione successiva, in cui l'altro classificatore viene addestrato. Questo scambio iterativo di conoscenza consente ai modelli di apprendere da diverse viste dei dati.

• Implementazione del PU Learning: All'interno di ogni iterazione, i base learner utilizzano un approccio di bagging (60 run) basato sul metodo di Mordelet e Vert. In ogni run, un sottoinsieme casuale di dati non etichettati funge da classe negativa. Il punteggio di sintetizzabilità per ogni punto dati è la media delle probabilità attraverso queste 60 run.

  • Soglie: Viene utilizzata una soglia di 0,75 per espandere con fiducia la classe positiva durante le iterazioni di co-training. Una soglia di 0,5 viene applicata ai punteggi medi finali per generare etichette binarie.

• Predittore Finale: Una volta concluso il processo di co-training (identificato come ottimale all'iterazione 2), le etichette generate vengono utilizzate per addestrare un predittore di sintetizzabilità finale. Gli autori hanno selezionato SchNet per questa fase finale, impiegando tecniche di regolarizzazione per prevenire l'overfitting sulla distribuzione dei dati del Materials Project. Queste tecniche includono:

  • Iniezione di rumore nelle etichette (inversione del 5% delle etichette).
  • Data augmentation tramite perturbazione del rumore gaussiano delle posizioni atomiche.
  • Funzioni di perdita pesate (rapporto 0,45:0,55).
  • Layer di dropout e Cosine Annealing con Warm Restarts per lo scheduling del tasso di apprendimento.

Risultati Chiave

• Metriche di Performance: Il modello ha raggiunto un intervallo di recall del 95–97% sui set di test interni e leave-out. All'iterazione ottimale (iterazione 2), il modello ha predetto che circa il 21% dei dati teorici non etichettati è sintetizzabile.
• Correlazione con la Stabilità: Il modello ha catturato con successo la relazione tra stabilità e sintetizzabilità senza l'addestramento esplicito su etichette di stabilità. I cristalli instabili (energia > 1 eV sopra il convex hull) erano 2,5 volte meno probabili di essere classificati come sintetizzabili. Tuttavia, il modello ha anche identificato correttamente che la stabilità da sola è insufficiente, poiché solo il ~21% dei cristalli con energia < 1 eV sopra il hull è stato classificato come sintetizzabile.
• Generalizzazione: Il predittore finale è stato valutato su dataset esterni non utilizzati durante l'addestramento:
  • OQMD: Ha mostrato una proporzione più elevata di cristalli sintetizzabili rispetto al set di test del Materials Project.
  • WBM (Campionamento casuale): Ha mostrato predizioni ambigue (punteggi intorno a 0,5), riflettendo la natura artificiale dei dati.
  • iMatGen (Generativo): Ha mostrato i punteggi di sintetizzabilità più bassi, coerentemente con la generazione di strutture irrealistiche.
• Validazione della Ground Truth: Utilizzando un compito di predizione della stabilità dove le etichette della ground truth erano note, gli autori hanno dimostrato che i valori di recall derivati dai loro test dinamici e leave-out si avvicinavano strettamente alla Ground Truth Recall, validando l'affidabilità dei loro parametri di valutazione.

Significatività e Rivendicazioni
L'articolo sostiene che SynCoTrain offre una soluzione scalabile alla sfida della predizione della sintetizzabilità sfruttando il co-training per ridurre il bias del modello e gestire la mancanza di dati negativi. Concentrandosi sugli ossidi di cristallo — una famiglia ben caratterizzata con estesi dati sperimentali — gli autori dimostrano che il co-training può raggiungere un'alta recall pur bilanciando la variabilità del dataset e l'efficienza computazionale.

Gli autori pongono lo strumento come una risorsa per le fasi iniziali della scoperta di materiali ad alto rendimento (high-throughput). Piuttosto che rivendicare la capacità di predire perfettamente la sintetizzabilità, sostengono che l'utilità primaria del modello risieda nel filtrare le strutture improbabili di risultare materiali reali. Eliminando potenzialmente anche solo la metà dei candidati non sintetizzabili, il framework mira a risparmiare significative risorse in termini di simulazione e tentativi di sintesi sperimentale. Il lavoro evidenzia il potenziale di combinare esistenti forti classificatori attraverso il co-training per estrarre maggiore valore dai dati materiali disponibili, piuttosto che sviluppare nuove architetture da zero.