Natural Language Embeddings of Synthesis and Testing conditions Enhance Glass Dissolution Prediction

Dit artikel toont aan dat het integreren van natuurlijke taal-embeddings van synthese- en testomstandigheden in machine learning-modellen de voorspelling van glasoplossing verbetert en generaliseerbaarheid biedt voor glascomposities met nieuwe elementen, wat essentieel is voor duurzame beheersing van nucleair afval.

De kern

Stel je voor dat glas niet zomaar een stukje breekbaar materiaal is, maar een onuitputtelijke tijdbom voor onze kernafvalopslag. Als we radioactief afval in glas verwerken (een proces dat 'vitrificatie' heet), hopen we dat het voor duizenden jaren veilig blijft zitten. Maar glas kan langzaam oplossen als het in contact komt met water, zoals grondwater. Als dat gebeurt, kan het giftige afval lekken.

De vraag is: Hoe snel lost dit glas op?

Vroeger hadden wetenschappers twee manieren om dit te voorspellen:

1. De oude manier: Complexe wiskundige formules die proberen de natuurkunde na te bootsen. Dit werkt vaak niet goed voor alle soorten glas.
2. De nieuwe manier (Machine Learning): Computers die leren uit data. Maar deze computers waren tot nu toe een beetje "blind". Ze keken alleen naar de recept (welke stoffen er in het glas zitten) en de omstandigheden (hoe warm het was, hoe zuur het water was).

Ze keken niet naar de kookinstructies.

Het geheim van de "Kookinstructies"

In dit artikel vertellen onderzoekers van het IIT Delhi dat ze een nieuwe truc hebben bedacht. Ze hebben de computers niet alleen gevoed met cijfers, maar ook met tekst.

Stel je voor dat je een cake wilt bakken.

• De oude computer zag alleen: "Meel, suiker, eieren".
• De nieuwe computer ziet ook de tekst: "Deeg 10 minuten lang kneden, op 180 graden bakken, en laat het afkoelen in een stilstaande oven."

Die tekstuele details (hoe het glas is gemaakt, hoe het is getest, welke apparatuur er gebruikt is) bevatten cruciale informatie die in een simpele tabel niet te vinden is.

Hoe hebben ze dit gedaan? (De Vertaal-machine)

Computers kunnen geen menselijke taal lezen. Ze zien alleen getallen. De onderzoekers gebruikten een slimme AI-tool genaamd MatSciBERT. Dit is als een super-vertaler die gespecialiseerd is in wetenschappelijke teksten.

1. De Verzameling: Ze pakten ongeveer 700 oude onderzoeksrapporten.
2. De Vertaling: Ze lieten de AI de "kookinstructies" (de synthese- en testomstandigheden) lezen en omzetten in een reeks getallen (zogenaamde embeddings).
3. De Mix: Ze mengden deze getallen uit de tekst met de normale cijfers (samenstelling, temperatuur, pH-waarde).
4. Het Resultaat: Een computermodel dat niet alleen kijkt naar wat er in het glas zit, maar ook naar hoe het is gemaakt en getest.

De "Magische" Voorspeller

Het resultaat was verbazingwekkend. Het nieuwe model (dat tekst én cijfers gebruikte) voorspelde de oplosbaarheid van glas veel nauwkeuriger dan de oude modellen.

Maar er was nog een probleem: Wat als je een nieuwe soort glas maakt met stoffen die de computer nog nooit heeft gezien? Een standaard computer zou dan vastlopen.

Om dit op te lossen, veranderden de onderzoekers de recepten in fundamentele eigenschappen.

• In plaats van te zeggen: "Dit glas bevat 10% Silicium en 5% Boor", zeiden ze: "Dit glas heeft atomen met een bepaalde zwaarte, een bepaalde grootte en een bepaalde lading."
• Dit is alsof je niet meer kijkt naar de specifieke merken ingrediënten in een recept, maar naar de chemische wetten die achter de ingrediënten zitten.

Hierdoor kon het model extrapoleren. Het kon voorspellen hoe een hele nieuwe glascompositie zich zou gedragen, zelfs als die specifieke stoffen niet in de leerdata zaten. Ze testten dit op twee nieuwe glastypen (ISG en P0798) en het model had het goed voor elkaar!

Waarom is dit belangrijk?

Dit onderzoek is als het vinden van een tijdbom-ontwikkelaar voor kernafval.

• Veiligheid: We kunnen nu veel beter voorspellen of glas dat we in de toekomst maken, veilig blijft voor duizenden jaren.
• Snelheid: We hoeven niet meer duizenden experimenten in het lab te doen om te zien of iets werkt. De computer kan het al voorspellen.
• Slimmer: Door de "kookinstructies" (de tekst) mee te nemen, begrijpen we beter waarom glas soms sneller oplost dan verwacht.

Kortom: De onderzoekers hebben een computer slim gemaakt door hem niet alleen cijfers te geven, maar ook de verhalen en instructies erbij. Hierdoor kan hij de toekomst van kernafvalopslag veel beter voorspellen dan ooit tevoren.

Technische samenvatting

Probleemstelling

De langetermijnchemische duurzaamheid van glas is van cruciaal belang voor de immobilisatie van radioactief afval. Hoewel glas een veelgebruikt matrixmateriaal is, is het voorspellen van de oplosnelheid (dissolutie) complex omdat deze wordt beïnvloed door een combinatie van intrinsieke factoren (samenstelling, oppervlaktegeometrie) en extrinsieke factoren (thermodynamische omstandigheden, omringend medium, pH, temperatuur).

Bestaande modellen, zoals het GRAAL-model, zijn vaak mechanistisch en hebben moeite met de enorme variatie in glascomposities en omgevingscondities. Traditionele Machine Learning (ML) benaderingen hebben twee grote beperkingen:

1. Ze zijn vaak "blind" en vereisen enorme hoeveelheden data om goed te presteren.
2. Ze missen generaliseerbaarheid: ze kunnen vaak geen voorspellingen doen voor glascomposities met elementen die niet in de trainingsdata voorkomen.
3. Ze negeren vaak de synthese- en testcondities omdat deze in de literatuur als ongestructureerde tekst worden beschreven en moeilijk in tabulaire data te vertalen zijn.

Methodologie

De auteurs stellen een geïntegreerde NLP-ML (Natural Language Processing - Machine Learning) framework voor om deze uitdagingen aan te pakken.

1. Dataset Preparatie:

   • Een handmatig samengestelde dataset van ~700 datapunten uit de literatuur, met focus op de oplosnelheid van silicium (Si) uit glas.
   • De dataset omvat 53 unieke glascomponenten, temperaturen van 4°C tot 300°C en pH-waarden van 1 tot 13.
   • Uitbijters werden geïdentificeerd en verwijderd om de data consistent te houden.

2. Integratie van Tekstuele Data (NLP):

   • Ongestructureerde tekst uit de "Experimental Methods" secties van wetenschappelijke papers (beschrijvingen van synthese, warmtebehandeling, apparatuur, testcondities) werd geëxtraheerd.
   • MatSciBERT, een domeinspecifiek taalmodel voor materialenwetenschappen, werd gebruikt om deze tekst te tokeniseren en om te zetten in 768-dimensionale vector-embeddings.
   • Om de dimensionaliteit te reduceren en de belangrijkste informatie te behouden, werd UMAP (Uniform Manifold Approximation and Projection) toegepast. De optimale aantal componenten werd bepaald via de Trustworthiness score (geoptimaliseerd op ~10 componenten).

3. Modelontwikkeling:

   • Twee modellen werden getraind: een Composition-based NLP-ML model (gebruik makend van moleculaire percentages) en een Descriptor-based NLP-ML model.
   • Voor het descriptor-model werden glascomposities omgezet in fundamentele fysische en chemische descriptors (gebaseerd op atoommassa, valentie, ladingsverdeling, etc.) in plaats van directe componenten. Dit is essentieel voor generalisatie naar nieuwe elementen.
   • Als ML-algoritme werd een Multi-Layer Perceptron (MLP) (Neuraal Netwerk) gebruikt, omdat dit beter presteerde dan XGBoost bij het verwerken van de gecombineerde NLP- en numerieke features.
   • Hyperparameters werden geoptimaliseerd met Bayesian Optimization (Optuna) en 10-voudige kruisvalidatie.

4. Validatie en Interpretatie:

   • SHAP (SHapley Additive exPlanations) werd gebruikt om de bijdrage van individuele inputfeatures (zoals pH, temperatuur, tekstuele embeddings en composities) aan de voorspelling te interpreteren.
   • Generalisatie werd getest op een volledig nieuw, "onbekend" dataset met glascomposities (ISG en P0798) die elementen bevatten die niet in de trainingsdata zaten. De Jaccard Distance werd gebruikt om de chemische dissimilariteit te kwantificeren.

Kernbijdragen

• NLP-ML Integratie: Eerste toepassing van transformer-based taalmodellen (MatSciBERT) om ongestructureerde synthese- en testcondities te vertalen naar numerieke features voor glasoplossingsvoorspelling.
• Generaliseerbaarheid: Ontwikkeling van een model dat glasoplossing kan voorspellen voor composities met elementen die volledig afwezig waren in de trainingsdata, door gebruik te maken van fysisch-chemische descriptors in plaats van directe componenten.
• Interpreteerbaarheid: Toepassing van SHAP om inzicht te krijgen in hoe tekstuele condities en chemische factoren samenwerken om de oplosnelheid te bepalen.

Resultaten

• Verbeterde Voorspelling: Het NLP-ML model (met tekstuele features) presteerde significant beter dan een klassiek ML-model (alleen op basis van samenstelling, pH en temperatuur). De $R^2$ score steeg van 0,823 (standaard model) naar een hoger niveau bij het NLP-ML model. Het NLP-model was ook beter in het voorspellen van extreme waarden (zeer lage oplosnelheden).
• Generalisatie op Onbekende Data: Het descriptor-based NLP-ML model slaagde erin om de oplosnelheid van twee nieuwe glascomposities (ISG en P0798, met tot 34 componenten) met redelijke nauwkeurigheid te voorspellen ($R^2 \approx 0,784$), ondanks dat deze glascomposities elementen bevatten die niet in de trainingsset voorkwamen.
• Feature Importance (SHAP):
  • Temperatuur en pH bleken de meest invloedrijke factoren, wat consistent is met thermodynamische verwachtingen.
  • Tekstuele features (synthese- en testcondities) bleken even belangrijk als de chemische samenstelling, wat aantoont dat de manier van bereiding en testen een cruciale rol speelt.
  • Hoge concentraties $SiO_2$ correleerden met lagere oplosnelheden (vorming van een silica-rijke gel), terwijl $Na_2O$ en $CaO$ correleerden met hogere oplosnelheden.

Significantie

Dit onderzoek biedt een nieuwe weg naar high-fidelity voorspelling van glasoplossing. Door ongestructureerde tekstuele data uit de literatuur te benutten, kunnen ML-modellen de complexiteit van real-world testomstandigheden beter begrijpen. Het vermogen om te generaliseren naar glascomposities met nieuwe elementen is een doorbraak voor het ontwerpen van glas voor nucleair afvalbeheer, omdat het het ontwerpproces versnelt en de noodzaak van uitgebreide experimentele tests voor elke nieuwe samenstelling vermindert. De methode kan ook worden toegepast op andere materiaaleigenschappen die sterk afhankelijk zijn van synthese- en testcondities, zoals viscositeit of glasvormend vermogen.