High-quality, high-information datasets for universal atomistic machine learning

Dit artikel introduceert MAD-1.5, een hoogwaardig en consistent dataset voor universeel atomaire machine learning dat de chemische ruimte uitbreidt tot 102 elementen via een gestandaardiseerde r²SCAN-DFT-workflow, en de effectiviteit ervan demonstreert met de training van de nauwkeurige PET-MAD-1.5 potentiaal.

De kern

🧪 De "Super-Lijst" voor de Bouwmeesters van de Materie

Stel je voor dat je een meesterbouwer bent die gebouwen wil ontwerpen op het niveau van atomen. Om dit goed te doen, heb je een receptenboek nodig. In de wereld van computersimulaties noemen we dit een "dataset".

Vroeger waren deze receptenboeken vaak een rommelige verzameling:

• Sommige recepten waren alleen voor gebouwen in de stad (alleen vaste stoffen), andere alleen voor losse bloemen (alleen moleculen).
• Soms gebruikte de ene schrijver een andere maatlepel dan de andere (onconsistente berekeningen).
• Veel recepten waren veilig en saai, en ze leerden de bouwer niet hoe te reageren als een muur instortte of als het heel heet werd.

De auteurs van dit artikel zeggen: "Laten we een nieuw, perfect receptenboek maken." Dat boek heet MAD-1.5.

1. Wat is MAD-1.5 eigenlijk?

MAD-1.5 is een gigantische, zorgvuldig samengestelde verzameling van 216.000 atoomstructuren. Het is ontworpen om een AI (een kunstmatige intelligentie) te leren hoe atomen zich gedragen, ongeacht wat voor soort stof het is.

• Het bereik: Het boek bevat recepten voor 102 verschillende elementen uit het periodiek systeem. Van de lichte waterstof tot de zware uranium. Het dekt bijna alles wat in het heelal voorkomt (behalve de allerzwaarste, kortstlevende elementen).
• De kwaliteit: Alle berekeningen zijn gedaan met één enkele, zeer nauwkeurige methode (r2SCAN).
  • Vergelijking: Stel je voor dat je een kookwedstrijd hebt. In het oude boek gebruikten sommige chefs een gasfornuis, anderen een houtvuur, en weer anderen een magnetron. De resultaten waren niet te vergelijken. In MAD-1.5 gebruikt iedereen exact hetzelfde fornuis en dezelfde timer. Zo weten we zeker dat de verschillen in het eten komen door de ingrediënten, niet door de kooktechniek.

2. Waarom is dit boek zo speciaal?

De auteurs hebben drie slimme trucs toegepast om het boek "slimmer" te maken:

• De "Gevarenzone" toevoegen: Veel oude datasets leerden de AI alleen hoe atomen rustig naast elkaar zaten. Maar in de echte wereld (bijvoorbeeld in een motor of een kernreactor) worden atomen hard tegen elkaar geduwd of uit elkaar getrokken. MAD-1.5 bevat ook veel "extreme" situaties, zodat de AI leert wat er gebeurt als het misgaat.
• De "Zeldzame Gasten": Ze hebben bewust atoomcombinaties toegevoegd die in de natuur zelden voorkomen, maar die nodig zijn om de AI te trainen.
  • Vergelijking: Het is alsof je een piloot traint. Je traint hem niet alleen op een rustige vlucht, maar ook op stormachtig weer, ijsvorming en motorstoringen. Zo is hij klaar voor elke situatie.
• De "Vuilnisbak": Soms maken computers fouten bij de berekeningen (zoals een rekenmachine die een raar antwoord geeft). De auteurs hebben een slim filter gebruikt (een soort "AI-politie") om alle rare, onbetrouwbare resultaten uit het boek te halen. Alleen de beste, schoonste data blijft over.

3. Het resultaat: PET-MAD-1.5

Met dit nieuwe receptenboek hebben ze een nieuwe AI getraind, genaamd PET-MAD-1.5.

• Wat doet deze AI? Het is een "universale atoom-bouwer". Je kunt hem vragen: "Hoe gedraagt zich een stukje goud?" of "Wat gebeurt er met een druppel water in een vacuüm?" en hij geeft een antwoord dat net zo nauwkeurig is als een dure supercomputer, maar veel sneller.
• De "Mendeleev-Cluster" test: Om te bewijzen dat hun AI echt goed is, hebben ze een extreme test gedaan. Ze bouwden een virtueel deeltje waarin elk van de 102 elementen precies één keer voorkwam. Ze lieten dit deeltje opwarmen tot 3000 graden Celsius.
  • Het resultaat: De AI hield het deeltje bij elkaar zonder in te storten. Het gedroeg zich alsof het echt was. Zelfs bij die extreme hitte bleef de AI stabiel. Dit is als een tovenaar die een vuurdoop overleeft zonder een brandwond op te lopen.

4. Waarom is dit belangrijk voor ons?

Vroeger moest je voor elke nieuwe stof een nieuw, duur en langzaam computerprogramma schrijven. Nu, met deze universele AI, kun je:

• Nieuwe batterijen ontwerpen die langer meegaan.
• Medicijnen vinden die beter werken.
• Materialen maken die hitte of straling kunnen weerstaan.

Het is alsof we van een verzameling losse, handgeschreven recepten zijn gegaan naar een digitale, super-snelle kookapparaat dat voor elk gerecht ter wereld het perfecte resultaat kan berekenen, in een fractie van de tijd.

Samenvattend

De auteurs hebben een hoogwaardig, schoon en breed universum van atoomdata gecreëerd (MAD-1.5). Hiermee hebben ze een super-AI getraind die atomen in bijna elke situatie correct kan voorspellen. Het is een enorme stap voorwaarts in het snel en goedkoop ontdekken van nieuwe materialen voor de toekomst.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "High-quality, high-information datasets for universal atomistic machine learning" in het Nederlands.

Probleemstelling

De kwaliteit, consistentie en informatieve waarde van trainingsdata zijn bepalend voor de praktische bruikbaarheid van machine-learning (ML) modellen voor atomaire simulaties. Bestaande, veelgebruikte databases voor elektronische structuur hebben echter drie fundamentele tekortkomingen:

1. Doelstelling: Ze zijn vaak samengesteld voor materiaal-screening in plaats van voor het trainen van robuuste krachtvelden.
2. Beperkte dekking: Ze zijn vaak beperkt tot specifieke klassen van chemische verbindingen (bijv. alleen moleculen of alleen vaste stoffen) en missen een universele dekking van het periodiek systeem.
3. Inconsistentie: Data die over lange periodes of uit verschillende bronnen zijn verzameld, gebruiken vaak inconsistente DFT-instellingen (functionals, numerieke drempels, behandeling van magnetisme), wat leidt tot subtiele maar significante fouten in de trainingsdata.

Daarnaast bevatten grote datasets vaak redundante atomaire omgevingen, wat de informatieve dichtheid verlaagt. Bestaande oplossingen voor "leergerichte" datasets slagen er niet in om zowel volledige chemische dekking als interne consistentie te garanderen.

Methodologie

1. Dataset Constructie: MAD-1.5
De auteurs stellen MAD-1.5 voor, een zorgvuldig samengestelde dataset die een uitbreiding is van het eerdere MAD-dataset (MAD-1).

• Schaal en Dekking: De dataset bevat 216.803 atomaire structuren die 102 elementen omvatten (alle elementen tot en met Nobelium, inclusief isotopen met een halfwaardetijd > 1 dag).
• Subsets: De dataset is opgebouwd uit 14 subsets die een breed spectrum aan chemie en structuren dekken:
  • Bestaande subsets (van MAD-1): Bulk kristallen, oppervlakken, clusters en moleculaire kristallen.
  • Nieuwe subsets: Geïsoleerde atomen (monomers), dimers en trimers om lage-orde interacties expliciet te dekken; uitgebreide kristallen (MC3D-extended) met zeldzame lanthaniden en actiniden; willekeurige vervangingen (binary-random) om ongebruikelijke paren te testen.
• Berekening: Alle structuren zijn berekend met een standaardiseerde, all-electron DFT-workflow via de code FHI-aims.
  • Functional: Er wordt gebruikgemaakt van de r2SCAN meta-GGA functional. Dit is een significant verbetering ten opzichte van de PBEsol-functional in MAD-1, omdat r2SCAN betere overdraagbaarheid en nauwkeurigheid biedt voor bindingsenergieën en waterstofbruggen, zonder de rekentijd onnodig hoog te maken.
  • Consistentie: Er zijn strikte convergentie-eisen gesteld (energie, krachten, elektronendichtheid) en een uniforme basisset ("tight") gebruikt voor alle elementen.

2. Outlier Detectie en Data Cleaning
Om de consistentie van de r2SCAN-berekeningen te garanderen (gezien de gevoeligheid voor integratierasters en SCF-degeneratie), werd een tweestapsreinigingsprocedure toegepast:

1. Heuristische filtering: Verwijdering van structuren met krachten > 100 eV/Å om overfitting op repulsieve regimes te voorkomen.
2. LLPR-gebaseerde filtering: Training van een voorlopig ML-model en gebruik van Last-Layer Prediction Rigidity (LLPR) om de voorspelde onzekerheid te schatten. Structuren waarbij de werkelijke fout 3 keer zo groot was als de voorspelde onzekerheid, werden verwijderd. Dit resulteerde in het verwijderen van 8.244 structuren die waarschijnlijk slecht geconvergeerd waren.

3. Model Training en Architectuur
Op basis van de opgeschoonde dataset werden twee modellen getraind: PET-MAD-1.5-XS en PET-MAD-1.5-S.

• Architectuur: Gebaseerd op de Point Edge Transformer (PET), een rotatie-onbeperkte, transformer-gebaseerde Graph Neural Network (GNN).
• Training: De modellen zijn gefinetuned vanuit pre-trained checkpoints (OMat24 dataset). Ze voorspellen energieën als som van atomaire bijdragen, met conservatieve krachten en spanningen via automatische differentiatie.
• Doel: De modellen zijn getraind op atomaire energieën (atomization energy), krachten en spanningen. Er werd ook gebruikgemaakt van een PBE-subset voor een extra "head" om de krachtnauwkeurigheid te verbeteren, hoewel deze later werd verwijderd.
• Onzekerheidskwantificatie: De modellen hebben ingebouwde onzekerheidsschattingen via de LLPR-methode.

Belangrijkste Resultaten

1. Benchmark Prestaties
De modellen presteren uitzonderlijk goed op diverse benchmarks, zelfs in vergelijking met modellen die op veel grotere, maar minder consistente datasets zijn getraind:

• Krachten: Het S-model bereikt een gemiddelde absolute fout (MAE) van 37 meV/Å op de testset. Zelfs voor de meest uitdagende subsets (zoals MC3D-random-extended) blijft de fout onder de 120 meV/Å.
• Vergelijking: De prestaties zijn aanzienlijk beter dan eerdere generaties modellen (zoals PET-MAD-1.0 of MATPES) en concurreren met of overtreffen modellen getraind op de enorme OMat24-dataset, ondanks dat MAD-1.5 veel kleiner is maar van hogere kwaliteit (r2SCAN).
• Out-of-Domain (OOD): Op de MADBench-benchmark (met data uit andere bronnen) behouden de modellen hoge nauwkeurigheid, wat wijst op uitstekende generalisatievermogen.

2. Stabiliteit en "Mendeleev Clusters"
Als extreme stress-test werden "Mendeleev clusters" gesimuleerd: nanopartikels bestaande uit één atoom van elk van de 102 elementen, gesimuleerd via Replica Exchange Molecular Dynamics (REMD) bij temperaturen tot 3000 K.

• Het model bleef stabiel gedurende 1,6 ns trajecten.
• De simulatie leverde fysisch plausibele resultaten op (bijv. uitschudding van edelgassen bij lage temperaturen, vorming van dimers bij hoge temperaturen).
• Vergelijking met single-point r2SCAN-berekeningen op de eindstructuren toonde een krachtfout van ongeveer 150 meV/Å, wat zeer goed is voor een dergelijk complex, niet-equilibriumsysteem.

3. Efficiëntie
De modellen zijn snel. Het XS-model is aanzienlijk sneller dan het S-model en het oorspronkelijke PET-MAD-1, terwijl het S-model vergelijkbare snelheden behaalt met eerdere versies, maar dan met een veel bredere chemische dekking.

Significantie en Conclusie

Dit paper introduceert een nieuwe standaard voor het bouwen van universele atomaire machine-learning datasets:

1. Universele Dekking: Voor het eerst is er een dataset die systematisch het volledige periodiek systeem (102 elementen) dekt, inclusief zeldzame en zware elementen, met een hoge graad van chemische diversiteit (moleculen, clusters, bulk, oppervlakken).
2. Kwaliteit boven Kwantiteit: In plaats van te vertrouwen op enorme datasets met inconsistente data, demonstreert MAD-1.5 dat een compacte, zorgvuldig geconvergeerde dataset met een hoogwaardige functional (r2SCAN) leidt tot superieure ML-modellen.
3. Robuustheid: De combinatie van een consistente workflow, strikte outlier-detectie en een geavanceerde transformer-architectuur resulteert in modellen die zowel nauwkeurig als extreem stabiel zijn, zelfs in extreme omstandigheden (hoge temperaturen, ongebruikelijke chemische combinaties).

De dataset en de bijbehorende modellen (PET-MAD-1.5) zijn openbaar beschikbaar gesteld via de Materials Cloud en GitHub, wat onderzoekers in staat stelt om betrouwbare, universele simulaties uit te voeren voor een breed scala aan materialenwetenschappelijke toepassingen.