Will it form a glass? Tackling glass formation using binary classification

In dit artikel wordt een machine learning-benadering met random forest-classificatie gepresenteerd om de glasvorming in anorganische niet-metalen vloeistoffen met hoge nauwkeurigheid te voorspellen en inzicht te krijgen in de onderliggende chemische factoren.

De kern

De Glazen Toekomst: Hoe Computers Leren Voorspellen of een Vloeistof Glas Wordt

Stel je voor dat je een enorme keuken hebt, vol met flessen met vloeistoffen. Sommige vloeistoffen, als je ze snel afkoelt, worden hard en helder als glas. Andere vloeistoffen worden juist kristallijn en broos, of ze blijven gewoon vloeibaar. De vraag die wetenschappers al eeuwen stellen is: "Welke vloeistof wordt glas en welke niet?"

Dit is een van de lastigste raadsels in de natuurkunde. In dit onderzoek hebben de auteurs (Diogo, Ana en Daniel) geprobeerd dit raadsel op te lossen met een slimme computer. Ze hebben geen nieuwe chemie bedacht, maar een slimme voorspeller getraind.

Hier is hoe ze dat deden, vertaald naar alledaags taal:

1. Het Grote Receptenboek (De Data)

Stel je voor dat je een gigantisch kookboek hebt met 50.000 recepten. In dit boek staat bij elk recept of het resultaat een "glas" was of een "kristal".

• De auteurs hebben dit boek (de SciGlass-database) doorgenomen.
• Ze hebben de ingrediënten (de chemische elementen) omgezet in een standaardmaat (atoomfractie), zodat de computer ze makkelijk kan vergelijken.
• Ze hebben de "recepten" die niet duidelijk waren (bijvoorbeeld "misschien glas, misschien kristal") verwijderd om verwarring te voorkomen.

2. De Slimme Chef-kok (Het Model)

In plaats van te proberen de wetten van de natuurkunde uit het hoofd te leren, hebben ze de computer laten leren door te kijken.

• Ze hebben een algoritme gebruikt dat heet een Random Forest (Willekeurige Bos).
• De Metafoor: Stel je voor dat je 1.000 verschillende experts (de bomen in het bos) hebt. Elke expert kijkt naar een paar ingrediënten in een recept en zegt: "Ik denk dat dit glas wordt!" of "Nee, dit wordt kristal!".
• Aan het einde stemmen ze allemaal. Als de meerderheid zegt "Glas!", dan is de voorspelling glas.

3. De Ingrediëntenlijst (De Kenmerken)

De computer had hulp nodig om te weten waar hij naar moest kijken. De auteurs hebben drie soorten "wijsheden" (kenmerken) gebruikt:

1. De Basis: Gewoon welke elementen erin zitten (zoals Silicium, Boor, Zuurstof).
2. De Fysica: Eigenschappen van die elementen, zoals hoe groot ze zijn, hoe hard ze smelten, en hoe hun elektronen zich gedragen.
3. De Stabiliteit: Rekenkundige formules die proberen te voorspellen hoe stabiel het glas is (zoals de Jezica-parameter).

Het verrassende resultaat:
De computer leerde dat bepaalde eigenschappen heel belangrijk zijn:

• Elektronen: Hoeveel ruimte de elektronen hebben (de "bandgap") is belangrijk. Hoe groter deze ruimte, hoe groter de kans op glas.
• Grootte: Grote atomen gedragen zich als trage olifanten; ze bewegen langzaam en hebben geen tijd om een kristalstructuur te vormen, dus ze worden eerder glas.
• Zuurstof: Dit is het lijmstofje dat alles bij elkaar houdt.

4. De Test (Hoe goed werkt het?)

Ze hebben de computer getest op nieuwe recepten die hij nog nooit had gezien.

• Het resultaat: De computer had ongeveer 89% kans om het juiste antwoord te geven. Dat is erg goed voor zo'n moeilijk probleem!
• De les: Als je alleen kijkt naar de "stabiliteitsformules" (de derde categorie hierboven), werkt het slecht. Die formules zijn te onnauwkeurig. Maar als je kijkt naar de echte eigenschappen van de atomen, werkt het uitstekend.

5. Waarom is dit nuttig? (De "VITRIFY" Tool)

De auteurs hebben een gratis softwaretool gemaakt, genaamd VITRIFY.

• Waarom is dit cool? Stel je voor dat je een nieuwe, supersterke of transparante glazen telefoon wilt maken. Je kunt niet zomaar 10.000 verschillende mengsels in het lab proberen; dat kost te veel tijd en geld.
• Met VITRIFY kun je eerst in de computer "koken". Je typt een recept in, en de computer zegt: "Ja, dit wordt glas!" of "Nee, dit wordt kristal."
• Dit helpt wetenschappers om sneller de beste nieuwe materialen te vinden.

Samenvatting in één zin

De auteurs hebben een slimme computer getraind met duizenden oude recepten om te voorspellen welke chemische mengsels glas worden, zodat we in de toekomst sneller nieuwe, betere materialen kunnen ontwerpen zonder eindeloos te hoeven experimenteren.

De belangrijkste les: Het is niet nodig om alles te begrijpen om het te voorspellen. Soms is het genoeg om te weten welke ingrediënten samenwerken, net zoals een goede kok die weet dat je geen suiker in een hartige soep doet, zelfs als hij de exacte chemie niet kent.

Technische samenvatting

Probleemstelling

Het voorspellen van de glasvormingsvaardigheid (Glass Forming Ability, GFA) van anorganische, niet-metalen vloeistoffen is een van de fundamentele open problemen in de glaswetenschap. Het proces van glasvorming vereist een delicate balans tussen kinetische en thermodynamische factoren om kristallisatie te voorkomen tijdens het afkoelen. Hoewel het conceptueel lijkt alsof het bepalen of een vloeistof tot glas kan worden bevroren eenvoudig is, is het in de praktijk uiterst complex. Bestaande methoden om GFA te kwantificeren (zoals de kritieke afkoelsnelheid) zijn vaak moeilijk te meten of te voorspellen voor nieuwe composities. De auteurs stellen de vraag: Zal een gegeven anorganische vloeistofsamenstelling onder standaard laboratoriumomstandigheden glas vormen?

Methodologie

De auteurs benaderen het probleem als een binair classificatieprobleem (glas vs. kristal) met behulp van machine learning. De aanpak omvat de volgende stappen:

1. Data-acquisitie en -verwerking:

   • Er is een dataset van meer dan 50.000 voorbeelden verzameld uit de SciGlass-database.
   • De labels zijn gestandaardiseerd naar twee klassen: positief (glasvorming, bijv. "Glass", "Clear glass") en negatief (kristallisatie, bijv. "Crystal", "Crystallized").
   • De dataset is omgezet van molpercentage naar atoomfractie en gedupliceerde entries zijn verwijderd of samengevoegd.
   • Het resulterende dataset wordt de CHEM-dataset genoemd.

2. Feature Engineering (Kenmerkontwikkeling):

   • Met de bibliotheek GlassPy zijn ongeveer 600 fysisch-chemische beschrijvers gegenereerd op basis van atoomfracties (bijv. atoomstraal, elektronegativiteit, smeltpunt).
   • Er zijn twee soorten beschrijvers gemaakt: gewogen beschrijvers (elementaire fractie vermenigvuldigd met eigenschap) en absolute beschrijvers.
   • Sequential Forward Selection (SFS) is gebruikt om de meest relevante kenmerken te selecteren. Uiteindelijk zijn de top 20 kenmerken behouden voor de FEATENG-dataset.

3. Glasstabiliteitsparameters:

   • Een alternatieve dataset (GS-dataset) is samengesteld met traditionele glasstabiliteitsparameters (Weinberg, Hruby, Saad-Poulain, Lu-Liu) en de Jezica-parameter.
   • Deze parameters zijn berekend op basis van geschatte temperaturen ($T_g, T_{liq}, T_c, T_x$) en viscositeit, verkregen via het GlassNet-model.
   • Een FEATENG+GS-dataset combineert beide benaderingen.

4. Modelselectie en Training:

   • Random Forest-classificatoren zijn getraind op vier datasets: CHEM, FEATENG, GS en FEATENG+GS.
   • Hyperparameter-optimalisatie is uitgevoerd met Bayesian Optimization (TPE) via Optuna, met als doel het maximaliseren van het F1-score (gemiddeld over 10-voudige cross-validatie).
   • De datasets zijn opgesplitst in een trainingsset (90%) en een holdout-set (10%, onzichtbare data).

5. Verklarende AI (Explainable AI):

   • SHAP-waarden (SHapley Additive exPlanations) zijn gebruikt om de bijdrage van individuele kenmerken aan de voorspellingen te interpreteren en causale verbanden te onderzoeken.

Belangrijkste Resultaten

• Modelprestaties:

  • De modellen getraind op de CHEM, FEATENG en FEATENG+GS datasets presteerden zeer goed en vergelijkbaar:
    • ROC-AUC: ~0,89
    • PR-AUC: ~0,95
    • F1-Score op de holdout-set: 0,88
    • Nauwkeurigheid: 0,82
  • Het model gebaseerd op de GS-dataset (alleen glasstabiliteitsparameters) presteerde aanzienlijk slechter (ROC-AUC ~0,70). Dit wordt toegeschreven aan de cumulatieve fouten die ontstaan bij het voorspellen van de onderliggende temperaturen en viscositeit voordat de parameters kunnen worden berekend.
  • Het toevoegen van de GS-parameters aan de FEATENG-dataset (FEATENG+GS) verbeterde de prestaties niet, maar verlaagde wel de modelcomplexiteit (minder decision trees nodig).

• Belangrijke Kenmerken (via SHAP-analyse):

  • Atoomfracties: Een hogere molaire fractie van boor (B), zuurstof (O), silicium (Si), fosfor (P), zwavel (S) en vanadium (V) verhoogt de kans op glasvorming.
  • Fysisch-chemische eigenschappen:
    • Bandgap-energie: Er is een sterke positieve correlatie gevonden tussen de DFT-berekende bandgap-energie van de bestanddelen en glasvorming.
    • Atoomstraal: Een grotere gemiddelde atoomstraal (en niet per se de straalverschillen) bevordert glasvorming, waarschijnlijk door langzamere kinetiek die kristallisatie hindert.
    • Smeltenthalpie en Oxidatietoestanden: Deze bleken ook cruciale factoren, in lijn met bestaande theorieën zoals het Bond Strength Model en Topological Constraint Theory.

• Tooling:

  • De modellen zijn gebundeld in een open-source tool genaamd VITRIFY (Vitrification Inference Tool for Rapid Identification of glass-Forming abilitY), beschikbaar via de Python-module GlassPy.

Bijdragen en Significantie

1. Praktische Toepassing voor Inverse Ontwerp: De modellen bieden een snelle en betrouwbare methode om de glasvormingskans te voorspellen voor anorganische vloeistoffen met tot 8 verschillende elementen. Dit is essentieel voor het "inverse ontwerp" van nieuwe glasmaterialen, waarbij men zoekt naar composities die glas vormen zonder beperkingen door kristallografische stoichiometrische regels.
2. Validatie en Uitbreiding van Bestaande Kennis: De data-gedreven aanpak bevestigt gevestigde theorieën (zoals de rol van atoomstraal en oxidatietoestanden) en levert nieuwe inzichten op, zoals de positieve correlatie met bandgap-energie. Dit suggereert dat elektronische structuur een sleutelrol speelt in glasvorming.
3. Beperkingen van Geschatte Parameters: Het onderzoek toont aan dat het gebruik van volledig voorspelde glasstabiliteitsparameters (zonder experimentele input) leidt tot onbetrouwbare modellen door foutpropagatie. Echter, deze parameters kunnen wel nuttig zijn om de complexiteit van modellen te reduceren wanneer ze worden gecombineerd met fysisch-chemische beschrijvers.
4. Open Science: De auteurs delen hun code, getrainde modellen en datasets publiek, wat de reproduceerbaarheid en verdere ontwikkeling in het veld van materiaalinformatica stimuleert.

Conclusie:
Hoewel de studie de fundamentele aard van glas en de glasovergang niet volledig oplost, levert het een bruikbaar en goed gekalibreerd instrument op om glasvorming te voorspellen. De combinatie van machine learning met fysisch-chemische beschrijvers en SHAP-analyse biedt een krachtige route voor het screenen van nieuwe glascomposities, waarbij elektronische structuur en atomaire eigenschappen als cruciale determinanten worden geïdentificeerd.