Siamese Foundation Models for Crystal Structure Prediction

Deze paper introduceert DAO, een pretrain-finetune-framework dat twee Siamese foundation modellen combineert om kristalstructuren nauwkeurig en extreem snel te voorspellen, waarbij het experimentele resultaten voor supergeleiders bereikt die met traditionele methoden moeilijk toegankelijk zijn.

De kern

Stel je voor dat chemici en materialenwetenschappers als een soort "architecten" zijn die nieuwe gebouwen willen ontwerpen. Maar in plaats van bakstenen en beton, werken ze met atomen. Hun grootste droom is om een nieuw, superkrachtig materiaal te vinden – bijvoorbeeld een supergeleider die elektriciteit zonder verlies kan transporteren.

Het probleem? Het vinden van de perfecte blauwdruk voor deze atoomgebouwen is extreem moeilijk. Het is alsof je probeert een ingewikkeld legpuzzel op te lossen terwijl je blind bent, en er zijn miljarden mogelijke stukjescombinaties.

Deze paper introduceert een slimme nieuwe oplossing: DAO (Diffusion-based Crystal Omni). Het is als een tweeling van kunstmatige intelligenties die samenwerken om deze puzzels op te lossen. Laten we ze eens bekijken met wat creatieve vergelijkingen.

De Tweeling: De Bouwer en de Inspecteur

Het geheim van DAO zit hem in twee modellen die als een Siamese tweeling werken:

1. DAO-G (De Bouwer):

   • Wat doet hij? Hij is de creatieve architect. Zijn taak is om een volledig nieuw atoomgebouw te "dromen" of genereren, puur op basis van de ingrediëntenlijst (de chemische samenstelling).
   • Hoe werkt het? Stel je voor dat hij begint met een grote zak met willekeurige, rommelige atoomdeeltjes (zoals een doos met losse Lego-stukjes). Hij begint dan langzaam de rommel weg te halen en de stukjes in de juiste vorm te duwen, stap voor stap, tot er een mooi gebouw staat. Dit proces heet "diffusie".

2. DAO-P (De Inspecteur):

   • Wat doet hij? Hij is de strenge bouwkundige inspecteur. Hij kijkt naar het gebouw dat de Bouwer maakt en zegt: "Hé, dit dak is te zwaar, het gaat instorten!" of "Dit fundament is te zwak."
   • Hoe werkt hij? Hij berekent de energie van het gebouw. In de wereld van atomen betekent "lage energie" dat het gebouw stabiel is en niet uit elkaar valt. DAO-P helpt de Bouwer door te zeggen: "Ga naar links, daar is het veiliger."

De Grote Oefening: Leren van Fouten

Vroeger leerden deze AI-modellen alleen van perfecte, stabiele gebouwen die al bestonden. Dat is alsof je alleen van meesterwerken leert te tekenen, maar nooit van je eigen fouten.

De auteurs van dit paper hebben iets slimme gedaan:

• Ze hebben een enorme bibliotheek gemaakt (CrysDB) met bijna een miljoen voorbeelden.
• Maar ze hebben niet alleen de perfecte gebouwen gebruikt. Ze hebben ook instabiele, mislukte gebouwen toegevoegd.
• De analogie: Stel je voor dat je een chef-kok bent. Als je alleen kookt met perfecte recepten, leer je niet hoe je brandende pan moet redden. Door ook te oefenen met "brandende pannen" (instabiele structuren) en ze dan te "redden" met de Inspecteur (DAO-P), leert de Bouwer (DAO-G) veel beter hoe hij een stabiel gerecht moet maken.

Ze trainden de AI eerst op deze enorme, rommelige dataset (de "pre-training"), en daarna verfijnden ze hem voor specifieke taken.

De Resultaten: Snelheid en Precisie

Wat maakt dit zo indrukwekkend?

1. Het is een race tegen de klok:
   Traditionele methoden om deze atoomgebouwen te vinden, gebruiken supercomputers die dagenlang rekenen aan één enkel gebouw. Het is alsof je elke baksteen van een kathedraal met de hand moet snijden.
   DAO doet dit in minuten. Het is meer dan 2000 keer sneller dan de oude methoden. Het is het verschil tussen een handelaar die een huis bouwt en een 3D-printer die het in een seconde maakt.

2. Het werkt op echte mysteries:
   De auteurs testten hun systeem op drie echte, bestaande supergeleiders die nog nooit eerder zo goed waren voorspeld.

   • Voor het materiaal Cr6Os2 (een soort atoomgebouw van chroom en osmium) voorspelde DAO de exacte structuur. Het was 100% gelijk aan wat mensen in het lab hadden gevonden, maar dan in een fractie van de tijd.
   • Het kon zelfs de "kritieke temperatuur" voorspellen (hoe koud het moet zijn om supergeleidend te worden) met een nauwkeurigheid die bijna perfect is.

Waarom is dit belangrijk?

Voorheen was het vinden van nieuwe materialen een gokspel met een heel lange wachttijd. Met DAO hebben wetenschappers nu een superkrachtige telescoop. Ze kunnen duizenden nieuwe materialen "dromen" en direct zien welke er stabiel en nuttig zijn.

Dit opent de deur voor:

• Beter energiebeheer: Supergeleiders die elektriciteit zonder verlies transporteren.
• Nieuwe medicijnen en batterijen: Het vinden van de perfecte atoomstructuur voor nieuwe toepassingen.

Kortom: Deze paper introduceert een slimme tweeling (een bouwer en een inspecteur) die samen, door te leren van zowel successen als mislukkingen, de wereld van materialenwetenschap versnelt van een slakkenrace naar een Formule 1-wedstrijd. Ze maken het mogelijk om de toekomst van technologie te "ontwerpen" voordat we hem zelfs maar hebben gebouwd.

Technische samenvatting

Probleemstelling

Het voorspellen van kristalstructuren op basis van chemische samenstelling (Crystal Structure Prediction, CSP) is een fundamentele uitdaging in de materiaalkunde. In tegenstelling tot eiwitvouwing, waar tools zoals AlphaFold grote doorbraken hebben geboekt, blijft CSP complexer vanwege de ingewikkelde 3D-geometrieën en periodieke symmetrieën van kristallen.
Traditionele methoden, zoals eerste-principesberekeningen (DFT), evolutionaire optimalisatie en stochastische sampling, zijn vaak te rekenintensief en schalen slecht met de complexiteit van het systeem. Bestaande deep-learning modellen kampen met beperkingen: ze worden vaak getraind op kleine, domeinspecifieke datasets, wat leidt tot een gebrek aan generalisatie naar onbekende structuren en een onvermogen om complexe, grote kristalstelsels effectief te modelleren.

Methodologie: DAO (Diffusion-based Crystal Omni)

De auteurs introduceren DAO, een pretrain-finetune framework dat twee complementaire "Siamese" foundation modellen gebruikt: DAO-G (Generator) en DAO-P (Predictor). Beide modellen zijn gebaseerd op een nieuw ontworpen architectuur genaamd Crysformer, een equivariante Graph Transformer die de O(3)-invariantie (rotatie/reflectie) en periodieke translatie-invariantie van kristallen respecteert.

1. De CrysDB Dataset:
Voor het pretrainen hebben de auteurs een enorme dataset samengesteld genaamd CrysDB, met ongeveer 940.000 kristalstructuren (stabiel en instabiel) uit de Materials Project en OQMD databanken. Een cruciaal aspect is de inclusie van instabiele structuren (energie boven de hull, $E_{hull} > 0.08$ eV/atom), wat de modelleerbaarheid van een bredere verdeling van de energie-landschappen mogelijk maakt.

2. Twee-staps Pretrain Pipeline voor DAO-G:

• Fase I: DAO-G wordt getraind op de volledige CrysDB (stabiel + instabiel) via een diffusiemodel. Het leert ruis te verwijderen om kristalroosters en fractionele coördinaten te genereren.
• Fase II (Dataset Relaxatie): Instabiele structuren uit Fase I worden "gerelaxed" (naar een stabielere configuratie gebracht) met behulp van DAO-P als energie-predictor in plaats van dure DFT-berekeningen. DAO-G wordt vervolgens verder getraind op dit verbeterde, "gerelaxeerde" dataset.

3. DAO-P als Energie-Gids:
DAO-P wordt getraind met een hybride verliesfunctie:

• Een zelf-supervisie verlies voor structuurgeneratie (diffusie).
• Een exponentieel energie-verlies voor het voorspellen van de tussentijdse energie tijdens het diffusieproces. Dit stelt DAO-P in staat om als een energie-orakel te fungeren.
  Tijdens de generatie van DAO-G wordt DAO-P gebruikt voor energie-gestuurde sampling. De gradient van de voorspelde energie wordt gebruikt om de generatie te sturen naar thermodynamisch stabielere configuraties (vergelijkbaar met een krachtveld).

4. Finetuning:
Na het pretrainen worden de modellen gefinetuned op specifieke CSP-benchmarks (MP-20, MPTS-52) en op supergeleider-datasets (SuperCon) voor het voorspellen van kritieke temperaturen ($T_c$).

Belangrijkste Bijdragen

1. Siamese Foundation Modellen: De eerste toepassing van een dual-model architectuur (Generator + Predictor) specifiek ontworpen voor CSP, waarbij de twee modellen elkaars prestaties versterken.
2. Omvangrijke Pretraining: Het gebruik van een dataset van bijna 1 miljoen entries, inclusief instabiele structuren, wat een breder leerbereik mogelijk maakt dan eerdere methoden die zich beperkten tot stabiele kristallen.
3. Efficiënte Relaxatie: Het introduceren van een machine learning-gebaseerde relaxatiestap (via DAO-P) die de noodzaak van kostbare DFT-berekeningen tijdens het trainingsproces elimineert.
4. Energie-Gestuurde Sampling: Een theoretisch onderbouwde methode om de generatie te sturen naar lage-energie toestanden zonder de generatieve architectuur te wijzigen.
5. Crysformer Architectuur: Een nieuwe Transformer-architectuur die de symmetrie-eisen van kristallen strikt naleeft, wat essentieel is voor fysisch plausibele generaties.

Resultaten

De prestaties zijn geëvalueerd op meerdere benchmarks en real-world toepassingen:

• CSP Benchmarks (MP-20 & MPTS-52):

  • DAO-G bereikte state-of-the-art resultaten. Op MP-20 werd een Match Rate (MR) van 74,17% bereikt (met Flow-matching), wat significant hoger is dan bestaande methoden zoals DiffCSP en MatterGen.
  • Op het complexere MPTS-52 dataset (tot 52 atomen) behaalde DAO-G een MR van 42,01%, wat een verbetering is ten opzichte van MatterGen (30,28%), wat aantoont dat het model beter schaalt naar grotere systemen.
  • Ablatiestudies bevestigden dat het gebruik van instabiele data en de tweede trainingsfase (relaxatie) cruciaal zijn voor de prestaties.

• Polymorfe Generatie:

  • Het model slaagt erin om diverse polymorfen (verschillende kristalstructuren voor dezelfde chemische samenstelling) te genereren. Voor systemen met 4 polymorfen werd een succesrate van 81,8% bereikt.

• Supergeleiders (Real-world Validatie):

  • Het model werd toegepast op drie real-world supergeleiders die niet in de trainingsdata zaten: $Cr_6Os_2$, $Zr_{16}Pd_8O_4$ en $Zr_{16}Rh_8O_4$.
  • Voor $Cr_6Os_2$ bereikte DAO-G een 100% Match Rate met een zeer lage RMSE van 0,0012.
  • De thermodynamische stabiliteit werd bevestigd via DFT-berekeningen, met een foutmarge in de energie boven de hull van slechts $2 \times 10^{-5}$ eV/atom.
  • Snelheid: DAO-G is >2000 keer sneller per iteratie dan traditionele DFT-gebaseerde structurele voorspellers (zoals Quantum Espresso). Waar DFT uren nodig heeft, volstaat DAO-G in minuten.
  • De kritieke temperaturen ($T_c$) werden met hoge nauwkeurigheid voorspeld (fouten van 0,04 K en 0,26 K).

Betekenis en Impact

Dit werk markeert een paradigmaverschuiving in de materiaalkunde door het succesvol toepassen van foundation models voor kristalstructuurvoorspelling.

• Efficiëntie: Het reduceert de rekenkosten voor het ontdekken van nieuwe materialen drastisch, waardoor het mogelijk wordt om grote ruimtes van chemische samenstellingen te screenen.
• Generalisatie: Door te leren van zowel stabiele als instabiele structuren en door gebruik te maken van een grote pretrain-dataset, overwint DAO de beperkingen van eerdere modellen die vastliepen op complexe of grote kristalstelsels.
• Toekomstperspectief: De succesvolle toepassing op supergeleiders, een gebied waar traditionele methoden vaak vastlopen, opent de deur voor de de novo ontwerping van nieuwe materialen met specifieke eigenschappen (zoals hoge-temperatuur supergeleiding), wat cruciaal is voor energie-overdracht en quantumcomputing.

Kortom, DAO bewijst dat een combinatie van grote datasets, Siamese foundation modellen en energie-gestuurde generatie een krachtige, schaalbare en nauwkeurige oplossing biedt voor een van de oudste problemen in de materiaalkunde.