Self-Supervised Learning for Glass Composition Screening

Sintesi Tecnica: Apprendimento Auto-Supervisionato per lo Screening della Composizione del Vetro

Definizione del Problema
La scoperta di nuovi materiali vetrosi multicomponente con proprietà specifiche, in particolare una temperatura di transizione vetrosa ($T_g$) target, è attualmente ostacolata dall'approccio "stile Edison" basato su tentativi ed errori, che risulta lungo e costoso. La complessità dei vetri ossidici, che può coinvolgere oltre la metà degli elementi della tavola periodica, crea uno spazio compositivo troppo vasto per lo screening sperimentale. Sebbene l'apprendimento automatico (ML) offra una soluzione, i metodi supervisionati esistenti affrontano limitazioni significative:

1. Scarsità e Rumore dei Dati: I modelli di regressione supervisionata richiedono dataset ampi e di alta qualità per adattarsi accuratamente ai valori di $T_g$. Tuttavia, i database di vetri esistenti (es. SciGlass, Interglad) contengono incongruenze, outlier ed errori di misurazione (es. frazioni di massa che non sommano a unità).
2. Distribuzioni Sbilanciate: I dati relativi alla $T_g$ seguono spesso una distribuzione a coda lunga, con un'alta frequenza nell'intervallo 300–600°C e dati scarsi altrove. I modelli di regressione ottimizzati per l'errore quadratico medio tendono a fare overfitting sui campioni della "testa", performando meno bene sulle regioni della "coda".
3. Interazioni Complesse: La relazione tra composizione e $T_g$ comporta intricate interazioni di primo ordine e di ordine superiore (es. come l' $Al^{3+}$ interagisce con gli ioni alcalini) che i modelli standard faticano a catturare esplicitamente.

Metodologia
Gli autori propongono un nuovo framework che riformula lo screening della composizione del vetro come un problema di classificazione piuttosto che come un compito di regressione. L'obiettivo è prevedere se una composizione rientri in un intervallo target predefinito (es. 500–600°C) piuttosto che prevedere il valore esatto della temperatura.

Il framework consiste in quattro componenti principali:

1. Pre-elaborazione dei Dati e Trasformazione delle Etichette:

   • I dati sono stati estratti dal database SciGlass (v7.12), puliti per rimuovere le voci in cui le frazioni di massa non sommavano a unità (entro un intervallo [0,95, 1,05]) e limitati a 18 ossidi principali.
   • I campioni sono stati etichettati come "target" (1) se la loro $T_g$ rientrava nello specifico intervallo, e "non-target" (0) altrimenti. Questa trasformazione riduce la sensibilità al rumore della $T_g$ e semplifica il compito di apprendimento.

2. Aumento dei Dati Basato sulla Teoria Asintotica:

   • Per affrontare la scarsità e il rumore dei dati, gli autori introducono una strategia di data augmentation basata sul Teorema del Limite Centrale. Assumono che gli errori di misurazione nei rapporti dei componenti siano indipendenti e identicamente distribuiti, portando a una distribuzione normale dell'errore totale.
   • Durante l'addestramento, piccole perturbazioni ($\epsilon \sim N(0, \sigma^2)$) vengono applicate alle proporzioni dei componenti ($x'_i = x_i \times (1 + \epsilon)$). Ciò costringe il modello a imparare caratteristiche robuste al rumore di misurazione pur mantenendo il realismo fisico (i componenti pari a zero rimangono zero).

3. Architettura DeepGlassNet:
   Una rete neurale dedicata progettata per catturare le complesse interazioni compositive:

   • Embedding Modulato dalle Proporzioni: Regola gli embedding dei componenti in base alle loro frazioni di massa per catturare gli effetti di primo ordine.
   • Strato di Convoluzione su Grafo: Modella i componenti come nodi di un grafo. Una fattorizzazione di basso rango della matrice di adiacenza ($A = VV^T$) cattura le interazioni simmetriche di secondo ordine tra i componenti, permettendo al modello di apprendere come le coppie di elementi influenzino le proprietà.
   • Strato di Self-Attention: Cattura le interazioni di ordine superiore calcolando i punteggi di attenzione tra tutti i componenti, raffinando le rappresentazioni delle caratteristiche.
   • Proiezione Non Lineare: Mappa le caratteristiche raffinate in uno spazio a dimensione inferiore per la classificazione.

4. Framework di Apprendimento Auto-Supervisionato (SSL):

   • Invece di ricostruire le etichette, il modello viene addestrato utilizzando una funzione di perdita contrastiva. Per ogni campione ancora, viene selezionato un campione positivo (stessa classe) e un campione negativo (classe diversa).
   • Il modello ottimizza la somiglianza tra il campione ancora e quello positivo, minimizzando al contempo la somiglianza con il campione negativo. Questo ottimizza direttamente l'Area Sotto la Curva ROC (AUC), una metrica robusta per le prestazioni di classificazione, senza richiedere la ricostruzione precisa dell'etichetta $T_g$.

Contributi Chiave

• Riformulazione del Compito: Spostamento dalla regressione alla classificazione per lo screening della composizione per mitigare la sensibilità al rumore e la scarsità di dati.
• Nuova Strategia di Augmentation: Introduzione di un metodo di data augmentation basato sulla fisica e sulla teoria asintotica per simulare gli errori di misurazione e migliorare la robustezza del modello.
• DeepGlassNet: Sviluppo di un'architettura specializzata che modella esplicitamente le interazioni di primo, secondo e terzo ordine tra i componenti del vetro tramite convoluzione su grafo e self-attention.
• Ottimizzazione Auto-Supervisionata: Utilizzo dell'apprendimento contrastivo per ottimizzare direttamente l'AUC, riducendo la dipendenza da dati etichettati di alta qualità.

Risultati

• Benchmarking: Su un set di validazione, DeepGlassNet ha superato significativamente gli algoritmi di ML classici (KNN, MLP, SVM, Random Forest, Decision Tree) in vari intervalli di $T_g$ (100°C, 50°C, 20°C, 10°C) in termini di AUC e Precision@100.
• Studi di Ablazione: La rimozione del modulo di data augmentation o del modulo di estrazione delle caratteristiche di interazione (convoluzione su grafo + attention) ha causato un degrado delle prestazioni statisticamente significativo, confermando la necessità di entrambi i componenti.
• Validazione Sperimentale: Il modello è stato utilizzato per lo screening di un set di test sintetico di circa 39.000 composizioni teoricamente valide. Sei composizioni candidate sono state selezionate per tre intervalli target (300–400°C, 400–500°C, 500–600°C).
  • La sintesi sperimentale e la caratterizzazione (XRD e DSC) hanno confermato la natura amorfa dei campioni.
  • I valori di $T_g$ misurati per tutti i sei campioni rientravano nei rispettivi intervalli target (es. 378°C e 388°C per il target 300–400°C; 543°C e 548°C per il target 500–600°C).

Significatività
L'articolo sostiene che questo lavoro fornisce una metodologia efficiente per progettare vetri multicomponente superando i limiti dell'apprendimento supervisionato che richiede grandi quantità di dati. Riformulando il compito come classificazione e impiegando l'apprendimento auto-supervisionato con un'augmentation robusta al rumore, il framework dimostra una forte generalizzazione e adattabilità. Gli autori pongono che questo approccio stabilisca una base per l'applicazione dell'apprendimento auto-supervisionato a compiti più ampi di scoperta di materiali, consentendo l'identificazione di candidati promettenti in spazi compositivi vasti e inesplorati senza richiedere dati sperimentali esaustivi per ogni specifica proprietà. Il codice e i dati sono resi pubblici per facilitare ulteriori ricerche nella materia dell'informatica dei materiali.