Formation Energy Prediction of Material Crystal Structures using Deep Learning

Deze studie introduceert een nieuw diep leermodel dat de vormingsenergie en stabiliteit van kristalstructuren nauwkeuriger voorspelt door elementaire fracties te combineren met symmetrie-informatie, waarbij de integratie van ruimtelijkgroepclassificatie de beste prestaties oplevert.

De kern

Stel je voor dat je een enorme keuken hebt, vol met ingrediënten uit het hele periodiek systeem. Chemici en materialenwetenschappers proberen constant nieuwe recepten te bedenken: nieuwe kristallen en stoffen die misschien sterker, lichter of beter voor de batterij zijn dan wat we nu hebben.

Het probleem is: er zijn zoveel mogelijke combinaties, dat het testen van elk recept in het lab jaren zou duren. Het is alsof je blindelings probeert te koken zonder te weten of het eten eruitziet als een heerlijke taart of als een onsmakelijke soep.

In dit artikel vertellen twee onderzoekers, V. Torlao en E. A. Fajardo, hoe ze een super-slimme digitale kok hebben gebouwd met behulp van kunstmatige intelligentie (deep learning). Deze digitale kok kan voorspellen of een nieuw recept (een kristalstructuur) stabiel is of niet, voordat je er ook maar één gram van hebt gemaakt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: Dezelfde ingrediënten, verschillende gerechten

Stel je hebt een doos met bloem, suiker en eieren. Je kunt daar een cake van bakken, maar je kunt er ook een koekje van maken. Het zijn dezelfde ingrediënten, maar de structuur (hoe je ze mengt en vormt) maakt het verschil.

In de wereld van materialen gebeurt dit ook. Een chemische formule (bijvoorbeeld "Mangaan-Nikkel-Oxide") kan verschillende vormen aannemen, afhankelijk van hoe de atomen precies in elkaar passen. Dit noemen ze kristalpolymorfen.

• De ene vorm is stabiel (een heerlijke taart).
• De andere vorm is instabiel (een taart die in elkaar zakt).

Eerdere computerprogramma's keken alleen naar de ingrediëntenlijst (de chemische formule). Ze wisten niet dat dezelfde lijst verschillende gerechten kon opleveren. Dat leidde tot verwarring en minder nauwkeurige voorspellingen.

2. De oplossing: De "Vorm" toevoegen aan de ingrediëntenlijst

De onderzoekers hebben hun digitale kok een extra hulpmiddel gegeven: symmetrie-informatie.

Stel je voor dat je niet alleen zegt: "Ik wil een taart met bloem en suiker," maar je zegt ook: "Ik wil een taart die eruitziet als een ronde bol" of "Ik wil een taart die eruitziet als een kubus."
In de wetenschap noemen ze deze vormen:

• Kristalstelsel: De grote categorie (bijv. kubus, prisma).
• Puntgroep: Hoe de vorm eruitziet als je hem draait.
• Ruimtegroep: De allerpreciesste blauwdruk van hoe de atomen in elkaar zitten.

De onderzoekers hebben hun computermodel getraind om niet alleen naar de ingrediënten te kijken, maar ook naar deze "vorm-beschrijvingen".

3. Wat hebben ze ontdekt?

Het resultaat was opwindend. De computer werd veel slimmer toen ze de vorm-informatie toevoegden.

• Alleen ingrediënten kijken? Dat gaf een redelijke voorspelling.
• Ingrediënten + de "grote vorm" (kristalstelsel)? Beter.
• Ingrediënten + de "middelste vorm" (puntgroep)? Nog beter.
• Ingrediënten + de "precieze blauwdruk" (ruimtegroep)? Dit was de winnaar!

Het model met de ruimtegroep-informatie kon de stabiliteit van de materialen het nauwkeurigst voorspellen. Het was alsof de kok opeens niet alleen de ingrediënten kende, maar ook precies wist hoe de oven en de vorm eruitzagen.

4. Twee taken voor één robot

Ze hebben dit slimme model gebruikt voor twee dingen:

1. Voorspellen van de "vormingsenergie": Dit is een maatstaf voor hoeveel energie er nodig is om de stof te maken. Hoe lager deze energie, hoe stabieler de stof.
2. Voorspellen van de "energie boven de hull": Dit is een beetje zoals een "veiligheidsmarge". Als een stof een heel lage energie heeft, is hij veilig en stabiel. Als hij iets hoger zit, is hij misschien nog wel te maken, maar hij is "wankel" (metastabiel).

5. De proef op de som: Mangaan, Nikkel en Zuurstof

Om te bewijzen dat hun model echt werkt, lieten ze de computer duizenden nieuwe, nog nooit eerder gemaakte combinaties van Mangaan, Nikkel en Zuurstof bedenken.
De computer keek naar al deze nieuwe "recepten" en zei: "Kijk, deze specifieke combinatie in deze specifieke vorm (ruimtegroep 103) is waarschijnlijk de meest stabiele en beste vorm."

Dit is enorm belangrijk voor de toekomst. In plaats van jarenlang in een lab te experimenteren met duizenden mislukte pogingen, kunnen wetenschappers nu eerst naar de computer kijken. De computer zegt: "Probeer eerst deze vorm, die heeft de grootste kans van slagen."

Conclusie

Kortom: deze onderzoekers hebben een digitale kok gebouwd die niet alleen kijkt naar wat er in de pan gaat, maar ook naar hoe het eruitziet. Door te kijken naar de vorm (symmetrie) van de kristallen, kunnen ze veel beter voorspellen welke nieuwe materialen stabiel zijn en welke niet. Dit versnelt de ontdekking van nieuwe materialen voor batterijen, zonnepanelen en andere technologieën enorm.

Het is alsof je van blindelings raden in een donkere kamer bent gegaan naar het hebben van een heldere kaart van de hele kamer.

Technische samenvatting

Probleemstelling

Het bepalen van de stabiliteit van chemische verbindingen is essentieel voor de versnelling van materiaalontdekking. De vormingsenergie (formation energy) is een fundamentele eigenschap die aangeeft of een materiaal thermodynamisch stabiel is (d.w.z. of het zich onder de convexe hull bevindt). Een uitdaging in bestaande machine learning-modellen is dat materialen met dezelfde chemische formule vaak bestaan in verschillende structurele fasen (kristalpolymorfen). Bestaande modellen die alleen op chemische samenstelling baseren, kunnen deze polymorfen niet onderscheiden, wat leidt tot onnauwkeurige voorspellingen omdat één chemische formule meerdere mogelijke vormingsenergieën kan hebben afhankelijk van de kristalstructuur.

Methodologie

De auteurs hebben een nieuw diep neurale netwerk (DNN) model ontwikkeld om de vormingsenergie van kristalstructuren te voorspellen. De aanpak omvat de volgende stappen:

1. Dataverzameling en Preprocessing:

   • Er is een uitgebreide dataset van 153.232 materiaalitems gehaald uit de Materials Project database.
   • De dataset bevat zowel theoretisch berekende data (DFT) als experimenteel waargenomen data.
   • Functie-extractie: De input bestaat uit elementaire fracties (op basis van de chemische formule) en symmetrie-informatie.
   • Symmetrie-codering: Symmetrie-eigenschappen (kristalsysteem, puntgroep en ruimtelijke groep) zijn omgezet naar binaire one-hot encoding. Dit resulteerde in respectievelijk 7, 32 en 228 extra input-features.
   • De data is opgesplitst in een trainingsset (80%) en een testset (20%). Bij dubbele chemische formules met verschillende symmetrieën werd alleen de entiteit met de laagste vormingsenergie behouden om duplicaten te minimaliseren.

2. Modelarchitectuur:

   • Het model is een feed-forward deep neural network met zes sequentiële verborgen lagen met afnemende grootte: 512, 512, 256, 128, 64 en 32 neuronen.
   • Activeringsfuncties: ReLU (Rectified Linear Unit) voor alle verborgen lagen en een lineaire activeringsfunctie voor de outputlaag (geschikt voor regressie).
   • Optimalisatie: De Adam-optimizer werd gebruikt met een maximum van 500 epochs. Om overfitting te voorkomen, werd "early stopping" toegepast met een patience van 10 epochs.
   • Twee taken:
     • Taak 1: Voorspelling van de vormingsenergie (input: chemische formule + symmetrie).
     • Taak 2: Voorspelling van de energie boven de hull (energy above hull), een directe indicator voor stabiliteit, waarbij de voorspelde vormingsenergie als extra input werd gebruikt.

Belangrijkste Bijdragen

• Integratie van Symmetrie: Het artikel introduceert een nieuwe aanpak waarbij kristallografische symmetrie-informatie (ruimtelijke groep, puntgroep, kristalsysteem) expliciet wordt opgenomen als input-features in een deep learning model. Dit lost het probleem van polymorfen op.
• Verbeterde Architectuur: Het bewijst dat het toevoegen van ruimtelijke groepsinformatie de prestaties van het model significant verbetert ten opzichte van modellen die alleen op chemische samenstelling vertrouwen.
• Stabiliteitsvoorspelling: Het model wordt succesvol toegepast om de energie boven de hull te voorspellen, wat direct inzicht geeft in de thermodynamische stabiliteit van nieuwe verbindingen.
• Toepassing op Ternaire Systemen: Het model is getest op een nieuw gegenereerde dataset van Mangaan-Nikkel-Zuurstof (Mn-Ni-O) verbindingen om de meest stabiele ruimtelijke groepen te identificeren.

Resultaten

De prestaties werden geëvalueerd met metrics zoals Mean Absolute Error (MAE), Mean Squared Error (MSE), Root Mean Squared Error (RMSE) en de $R^2$-waarde.

1. Invloed van Symmetrie:

   • Een model dat alleen de chemische formule gebruikte, behaalde een $R^2$ van 0,8818.
   • Het toevoegen van symmetrie-informatie verbeterde de nauwkeurigheid aanzienlijk:
     • Kristalsysteem: $R^2$ = 0,9536.
     • Puntgroep: $R^2$ = 0,9607.
     • Ruimtelijke groep (Space Group): $R^2$ = 0,9709 (hoogste nauwkeurigheid).
   • De ruimtelijke groep bleek de meest kritieke factor voor het verbeteren van de voorspellende kracht.

2. Voorspelling Energie boven de Hull:

   • Voor de voorspelling van de energie boven de hull (met vormingsenergie als input) werd een zeer hoge nauwkeurigheid behaald: $R^2$ = 0,9722 en een MAE van 0,0311 eV/atoom.

3. Mn-Ni-O Systeem:

   • Het model werd gebruikt om 76.608 mogelijke combinaties van Mn-Ni-O te evalueren.
   • Het identificeerde succesvol de meest stabiele ruimtelijke groepen voor nieuwe verbindingen, zoals Mn2Ni3O in ruimtelijke groep 103 met een voorspelde vormingsenergie van -2,22 eV/atoom.

Significantie

Deze studie demonstreert dat kristallografische data (vooral de ruimtelijke groep) een cruciale rol speelt in het verbeteren van deep learning-modellen voor materiaaleigenschappen. Door symmetrie-informatie te integreren, kunnen modellen niet alleen de vormingsenergie nauwkeuriger voorspellen, maar ook onderscheid maken tussen verschillende polymorfen van dezelfde chemische samenstelling. Dit biedt onderzoekers de mogelijkheid om sneller de meest stabiele kristalstructuren te identificeren en nieuwe, synthetiseerbare materialen te ontdekken, wat de efficiëntie van het materiaalontwerpproces aanzienlijk verhoogt.