NEPMaker: Active learning of neuroevolution machine learning potential for large cells

Dit paper introduceert NEPMaker, een D-optimaliteit-gedreven actief leerframework voor neuroevolutionaire potentiaalmodellen dat door het identificeren en optimaliseren van extrapolatieve atoomomgevingen in lokaal periodieke structuren, de betrouwbaarheid en schaalbaarheid van machine learning-potentiaalmodellen voor complexe materialen met grote cellen aanzienlijk verbetert.

De kern

NEPMaker: De Slimme Leermeester voor Atomaire Simulaties

Stel je voor dat je een enorme, ingewikkelde stad wilt bouwen, maar je hebt geen blauwdruk. Je hebt wel een slimme robot (de computer) die de gebouwen kan ontwerpen, maar hij moet eerst leren hoe de stenen (atomen) zich gedragen.

In de wetenschap gebruiken we vaak "Machine Learning Potentials" (MLP). Dit zijn slimme modellen die voorspellen hoe atomen met elkaar omgaan. Ze zijn zo nauwkeurig dat ze bijna net zo goed zijn als de zwaarste, duurste supercomputers (die we "eerste-principes" noemen), maar ze werken duizenden keren sneller.

Het Probleem: De Robot Raakt Verward
Het probleem is dat deze robots alleen slim zijn in de situaties waar ze voor zijn getraind. Als je ze in een situatie zet die ze nog nooit hebben gezien (bijvoorbeeld een heel hete vloeistof of een breuk in een materiaal), raken ze in paniek. Ze beginnen dan onzin te praten, wat leidt tot fouten of zelfs een crash van de hele simulatie.

Vroeger was de oplossing: "Laten we eerst alles perfect meten in het lab, en dan trainen we de robot." Maar dat is als proberen een heel land op te meten voordat je ook maar één huis bouwt. Het kost te veel tijd en geld.

De Oplossing: NEPMaker (De Actieve Leerling)
De auteurs van dit paper hebben NEPMaker bedacht. Dit is een slim systeem dat de robot tijdens het bouwen laat leren. Het werkt als een actieve leerling in plaats van een passieve student.

Hier is hoe het werkt, in drie simpele stappen:

1. De "Onzekere" Momenten Vangen:
   Terwijl de robot de simulatie draait, houdt NEPMaker de vinger aan de pols. Zodra de robot een atoom ziet dat hij niet begrijpt (een situatie die buiten zijn "comfortzone" valt), slaat hij alarm. Dit noemen ze extrapolatie. In plaats van de hele simulatie te stoppen, pakt NEPMaker alleen dat ene kleine stukje van de stad dat verwarrend is.

2. De "Borduurkussens" Strategie (De Creatieve Analogie):
   Dit is het slimste deel. Als je een klein stukje uit een groot tapijt knipt om het te bekijken, ziet de rand er raar uit en valt het uit elkaar.
   NEPMaker doet iets slims: het knipt het verwarrende stukje atoom uit de grote simulatie, maar in plaats van het in een lege ruimte (vacuüm) te leggen, plaatst het het in een periodiek kader.

   • De Analogie: Stel je voor dat je een raar patroon op een muur ziet. Je knipt het uit, maar je plakt er een rand van bekende, normale tegels omheen. De randen worden dan "geoptimaliseerd" (bijgesteld) zodat ze naadloos aansluiten bij de rest van de muur. Zo blijft het centrale raar patroon precies zoals het was, maar wordt de omgeving stabiel en logisch. Dit voorkomt dat de robot door de randen in de war raakt.

3. Snel Leren en Herhalen:
   Dit kleine, stabiele stukje wordt nu snel en nauwkeurig gemeten met de zware supercomputer (DFT). Deze nieuwe, perfecte data wordt direct toegevoegd aan de training van de robot. De robot wordt hierdoor slimmer, en de simulatie kan doorgaan. Dit proces herhaalt zich tot de robot geen verwarrende situaties meer tegenkomt.

Waarom is dit geweldig?

• Schaalbaarheid: Je kunt nu simulaties draaien met miljoenen atomen (zoals een heel groot kristal of een vloeistof), terwijl je alleen de kleine, interessante stukjes hoeft te "meten".
• Veiligheid: De robot crasht niet meer door onverwachte situaties, omdat hij die onderweg leert kennen.
• Toepassingen: De auteurs hebben dit getest op drie moeilijke situaties:
  • Het smelten van Natrium (een metaal).
  • De fase-overgangen in CsPbI3 (een materiaal voor zonnecellen).
  • De druktesten op GaN (een materiaal voor LED-lampen).
    In al deze gevallen slaagde het systeem erin om de juiste overgangen van vast naar vloeibaar of van de ene kristalstructuur naar de andere te voorspellen, precies zoals in de echte wereld.

Conclusie
NEPMaker is als een slimme bouwmeester die niet wacht tot het hele huis af is om te leren. Hij bouwt, ziet waar het misgaat, pakt dat specifieke probleem op, vraagt de meester (de supercomputer) om advies, en bouwt dan verder. Hierdoor kunnen we nu enorme, complexe materialen simuleren met de nauwkeurigheid van de zwaarste berekeningen, maar met de snelheid van een snelle computer.

Het is een doorbraak die ons helpt nieuwe materialen te vinden voor betere batterijen, zonnepanelen en sterkere constructies, zonder dat we jaren hoeven te wachten op de resultaten.

Technische samenvatting

Titel: NEPMaker: Actief leren van neuro-evolutionaire machine learning-potentialen voor grote cellen

1. Het Probleem

Machine Learning Potentials (MLP's) hebben de mogelijkheid bereikt om near-first-principles (DFT) nauwkeurigheid te combineren met de rekenefficiëntie van klassieke krachtenvelden, waardoor ze ideaal zijn voor grootschalige moleculaire dynamica (MD) simulaties. Een fundamentele beperking van MLP's is echter dat ze onbetrouwbaar worden voor atomaire omgevingen die buiten de verdeling van de trainingsdata liggen (extrapolatie). Dit kan leiden tot onnauwkeurige resultaten of zelfs simulatie-instabiliteit, vooral in systemen met defecten, fase-overgangen of verre-uit-evenwicht processen.

Hoewel actief leren (active learning) dit probleem kan mitigeren door nieuwe data toe te voegen waar het model onzeker is, wordt de toepassing op grote schaal (grote simulatiecellen) belemmerd door de hoge kosten van het labelen van volledige configuraties. Het is te duur om elke atomaire configuratie in een grote cel opnieuw te berekenen met DFT. Bestaande methoden voor het extraheren van lokale omgevingen leiden vaak tot niet-fysische structuren (bijv. door vacuüm toe te voegen) of vereisen extra, kostbare DFT-relaxaties.

2. Methodologie

De auteurs presenteren NEPMaker, een D-optimaliteit-gedreven actief leerframework dat is geïmplementeerd in de GPUMD-pakket (GPU-versnelde MD-engine) en specifiek is ontworpen voor NeuroEvolution Potentials (NEP).

De kernmethodologie omvat de volgende componenten:

• D-optimaliteit voor Onzekerheidsquantificatie:
  In plaats van ensemble-methoden of Bayesiaanse benaderingen (die rekenkundig zwaar zijn), gebruikt NEPMaker het D-optimaliteitscriterium. Dit meet de informatie-inhoud van een kandidaat-trainingsset via de determinant van de ontwerpmatrix in de descriptor-ruimte.

  • Een extrapolatiegraad ($\gamma$) wordt berekend voor elke atomaire omgeving. Als $\gamma \leq 1$, ligt de omgeving binnen de interpolatiezone van de trainingsdata. Als $\gamma > 1$, wordt het beschouwd als een extrapolatie (hoge onzekerheid).
  • Voor niet-lineaire potentialen (zoals NEP) wordt dit uitgebreid door de afgeleiden van de energie ten opzichte van de trainingsparameters te gebruiken (via de $\mathbf{B}$-vector).
  • De MaxVol-algoritme (geïmplementeerd op GPU met CuPy) selecteert een representatieve "actieve set" van trainingsdata om de basis te vormen voor deze berekening.

• Strategie voor Grote Cellen: Lokale Fragmentextractie met Geoptimaliseerde Randen:
  Om grote simulaties direct te integreren in het leerproces zonder de hele cel te labelen:

  1. Identificatie: Atomaire omgevingen met hoge $\gamma$-waarden worden on-the-fly geïdentificeerd tijdens de MD-simulatie.
  2. Extractie: Een lokaal periodiek fragment wordt uit de grote cel gehaald.
  3. Randoptimalisatie (Cruciaal): In tegenstelling tot eerdere methoden die fragmenten in vacuüm plaatsen (wat leidt tot onfysische randeffecten), optimaliseert NEPMaker de atomen aan de rand van het fragment.
     • Dit wordt gedaan door een onzekerheidsgebaseerde doelstelling te minimaliseren (gebaseerd op de $\gamma$-vector van de NEP), in plaats van dure DFT-berekeningen voor de randatomen.
     • Een hard-sphere potentiaal voorkomt dat externe atomen de doel-omgeving binnendringen.
     • Het rooster en de atoomposities worden simultaan geoptimaliseerd om ervoor te zorgen dat de randatomen dicht bij de trainingsverdeling blijven, terwijl de centrale (extrapolerende) omgeving behouden blijft.

• Workflow:
  Het proces is een iteratieve lus:

  1. Initieel trainen van een NEP-model.
  2. MD-simulaties uitvoeren en extrapolerende configuraties selecteren op basis van $\gamma$.
  3. Lokale fragmenten extraheren en randen optimaliseren.
  4. DFT-berekeningen uitvoeren voor deze geselecteerde fragmenten.
  5. De trainingsset updaten en het model hertrainen.
     Dit herhaalt zich totdat geen enkele extrapolatie meer wordt gedetecteerd.

3. Belangrijkste Bijdragen

• Schaalbaarheid: NEPMaker maakt actief leren mogelijk voor zeer grote simulatiecellen (tot 27.000+ atomen) door alleen lokale, onzekere omgevingen te labelen in plaats van volledige configuraties.
• Fysische Consistentie: De innovatieve strategie van het optimaliseren van randatomen binnen een periodieke cel elimineert artefacten die ontstaan door vacuüm-cutouts, wat leidt tot fysisch betekenisvollere trainingsdata.
• Efficiëntie: Door gebruik te maken van D-optimaliteit en GPU-versnelde algoritmen (MaxVol, GPUMD) is het proces zeer efficiënt en geschikt voor on-the-fly integratie in simulaties.
• Automatisering: Het framework (NEPMaker) automatiseert het volledige proces van data-extractie, selectie, DFT-labeling en modelhertraining.

4. Resultaten

De auteurs hebben het framework getest op drie representatieve systemen:

1. Smelten van Natrium (Na):

   • Een klein systeem gebruikt om de workflow te valideren.
   • Na 7 iteraties convergeerde het model. De berekende smeltpunt (350 K) kwam dicht in de buurt van de experimentele waarde (370 K).
   • Het model slaagde erin om stabiele trajecten te genereren zonder instabiliteit tijdens het opwarmen en afkoelen.

2. Vast-vast Fase-overgangen in CsPbI₃:

   • Een complex perovskiet-systeem met sterke anharmonische dynamica.
   • Na 23 iteraties (401 structuren) werd een robuust potentiaal ontwikkeld.
   • Simulaties met een supercel van 23.040 atomen reproduceerden correct de opeenvolging van fase-overgangen (orthorombisch $\gamma$ $\to$ tetragonaal $\beta$ $\to$ kubisch $\alpha$) bij de verwachte temperaturen (~280 K en ~400 K).

3. B4-B1 Fase-overgang in GaN:

   • Een systeem met sterke grootte-effecten, ideaal om de schaalbaarheid te testen.
   • Metadynamica-simulaties werden uitgevoerd op cellen van 2.048 en 27.648 atomen.
   • Het systeem identificeerde complexe overgangsmechanismen, waaronder de vorming van 5- en 6-gecoördineerde atomen en netwerkpatronen van strepen.
   • Het model convergeerde na respectievelijk 12 en 9 iteraties, wat aantoont dat het actief leren direct in grote supercellen kan plaatsvinden zonder voorafgaande kennis van de overgangspaden.

In alle gevallen daalde de Root Mean Square Error (RMSE) voor krachten en energieën systematisch en bereikte het model de gewenste nauwkeurigheid.

5. Betekenis

NEPMaker biedt een schaalbare en generieke oplossing voor het bouwen van betrouwbare machine learning potentialen voor complexe materialenystemen. Het lost het dilemma op tussen de noodzaak van grote simulatiecellen (voor fysisch correcte gedragingen zoals fase-overgangen) en de onhaalbare kosten van DFT-labeling.

Door extrapolatiefouten te minimaliseren en de robuustheid van het model te vergroten, stelt deze methode onderzoekers in staat om:

• Betrouwbare potentialen te bouwen "vanaf nul" voor systemen met defecten, interfaces en fase-overgangen.
• Grote-schaal MD-simulaties uit te voeren met near-first-principles nauwkeurigheid.
• Het proces volledig te automatiseren, waardoor de barrière voor het gebruik van MLP's in complexe dynamische processen wordt verlaagd.

De code is beschikbaar via de GitLab-repository, wat de reproduceerbaarheid en adoptie in de wetenschappelijke gemeenschap bevordert.