Score-based diffusion models for accurate crystal-structure inpainting and reconstruction of hydrogen positions

Technische Samenvatting: Score-gebaseerde diffusiemodellen voor nauwkeurige inpainting en reconstructie van waterstofposities in kristalstructuren

Probleemstelling
De nauwkeurige bepaling van de atomaire posities van waterstofatomen in kristallijne materialen blijft een aanzienlijke uitdaging in de computationele materiaalkunde. Hoewel waterstof overvloedig aanwezig is en cruciaal is voor toepassingen variërend van energieopslag tot de halfgeleiderindustrie, zorgt de lage verstrooiingskracht voor röntgenstraling en elektronen ervoor dat het moeilijk te lokaliseren is via standaard röntgendiffractie. Bijgevolg bevatten historische kristallografische databases (zoals MC3D, afgeleid van COD, ICSD en MPDS) vaak structuren waarbij de waterstofposities ofwel zijn weggelaten, ofwel via heuristieken zijn ingevoegd, ofwel met aanzienlijke onzekerheid zijn bepaald. Hoewel experimentele vooruitgang (bijv. kwantumkristallografie) en dure neutronendiffractie deze posities kunnen oplossen, vertrouwen bestaande databases nog steeds zwaar op onvolledige of benaderde gegevens. Het kernprobleem dat wordt aangepakt, is de reconstructie van deze ontbrekende waterstofposities, gegeven een bekende "host"-kristalstructuur (het niet-waterstof raamwerk), om nauwkeurige, stabiele en volledige kristalstructuren te genereren.

Methodologie
De auteurs stellen een generatieve aanpak voor die score-gebaseerde diffusiemodellen combineert met technieken aangepast uit de computer vision image inpainting.

1. Modelarchitectuur: De studie maakt gebruik van Microsofts MatterGen, een vooraf getraind score-gebaseerd diffusiemodel dat oorspronkelijk is ontworpen voor het genereren van nieuwe kristalstructuren. De auteurs hertrainen en passen dit model aan voor de specifieke taak van inpainting (het invullen van ontbrekende gegevens) in plaats van volledige generatie.
2. Inpainting-strategieën: Verschillende benaderingen worden vergeleken:
   • MatterGen Baseline: Het originele model toegepast op de taak met een vaste rooster en atoomtypen.
   • pos-only: Een model dat is hertraind om alleen atomaire posities te denoisen, waarbij het rooster en de typen vast blijven staan.
   • pos-only-RePaint: Het hertrainde model gecombineerd met het RePaint-algoritme, dat bekende regio's iteratief herbezet om ze te harmoniseren met de ingepainte regio's.
   • pos-only-TD (Time-Dependent): Een nieuwe adaptatie van het TD-Paint-concept uit de computer vision. Dit model is getraind om variabele ruisniveaus per site binnen een enkele structuur te verwerken. Het conditioneert het denoising-proces op "schone" bekende posities (nul ruis) terwijl het iteratief de ontbrekende waterstoflocaties voorspelt (hoge ruis). Dit stelt het model in staat om de bekende host-structuur direct te gebruiken zonder er ruis aan toe te voegen.
3. Workflow:
   • Start met een host-structuur (waterstoflocaties verwijderd).
   • Initialiseer willekeurig $N_H$ waterstoflocaties in de eenheidscel.
   • Pas het pos-only-TD diffusiemodel toe voor $N_{steps}$ iteraties om de waterstofposities te voorspellen.
   • Voer een beperkte relaxatie (constrained relaxation) uit van de waterstoflocaties met behulp van een Machine Learning Interatomic Potential (MLIP), specifiek NequIP, terwijl de host-atomen en de cel vast blijven staan.
   • Voer een volledige relaxatie uit van alle posities (inclusief host-atomen) met behulp van NequIP.
4. Evaluatiemetrieken: Succes wordt op twee manieren gedefinieerd:
   • Structurele Match: De voorspelde structuur komt overeen met de referentie (uit de database) binnen de toleranties van pymatgen's StructureMatcher.
   • Lower Energy of Structural (LES) Match: De voorspelling komt óf overeen met de structuur, óf vindt een configuratie die energetisch stabieler is dan de referentie (volgens DFT of MLIP).

Belangrijkste Resultaten
De methode werd geëvalueerd op twee datasets afgeleid van de MC3D-database:

• DFT Dataset: Structuren met bekende waterstofposities die zijn gerelaxeerd met behulp van Density Functional Theory (DFT).

• EXP Dataset: De oorspronkelijke experimentele structuren vóór de DFT-curatie.

• Prestatievergelijking: Het pos-only-TD model presteerde aanzienlijk beter dan de baseline MatterGen, de pos-only en de pos-only-RePaint benadering.

  • RePaint verbeterde de variantie maar verhoogde de computationele kosten (vereist ~1000 stappen versus 300) zonder de matching rate significant te verhogen.
  • Het pos-only-TD model bereikte een structurele matching rate van 88% op een subset waar een DFT-gebaseerde "pinball"-methode ongeveer 87% bereikte, maar met een efficiëntere globale optimalisatie aanpak.

• Succesratio's:

  • Bij het genereren van één enkele sample per structuur, bereikte de methode hoge matching rates.
  • Door meerdere samples te genereren (bijv. $k=10$ of $k=30$) en de meest stabiele configuratie te selecteren, oversteeg de LES matching rate de 97% voor de DFT+MLIP dataset en 97,2% voor de EXP+MLIP dataset.
  • Wanneer structuren die als "theoretisch" zijn gemarkeerd in de brondatabases werden uitgesloten, oversteeg de succesrate op de EXP-dataset de 99%.

• Stabiliteit en Generalisatie:

  • Veel "niet-overeenkomende" voorspellingen bleken energetisch stabieler te zijn dan de oorspronkelijke referentiestructuren, wat suggereert dat de experimentele referenties in de databases suboptimal of incorrect waren.
  • Het model demonstreerde zero-shot generalisatie naar structuren met tot wel 40 atomen per eenheidscel, ondanks dat het alleen getraind is op structuren met maximaal 20 atomen. Hoewel de prestaties licht afnamen voor grotere systemen, bleef de LES matching rate boven de 90%.

• Computationele Efficiëntie: De diffusie-aanpak is aanzienlijk sneller dan de DFT-gebaseerde pinball-methode, die kampt met een combinatorische explosie en hoge computationele kosten.

Betekenis en Claims
Het artikel beweert dat het overdragen van image inpainting-technieken (specifiek TD-Paint) naar materiaalkunde een snellere en nauwkeurigere voltooiing van host-structuren mogelijk maakt vergeleken met ongeconditioneerde diffusiemodellen of traditionele DFT-gebaseerde benaderingen.

• Database Curatie: De methode biedt een robuust hulpmiddel voor het cureren en uitbreiden van materiaaldatabases (zoals MC3D) door betrouwbaar de ontbrekende waterstofposities te reconstrueren, wat hiermee hoogwaardige screening van waterstofhoudende materialen mogelijk maakt.
• Ontdekking van Stabiele Configuraties: De aanpak reconstrueert niet alleen bekende structuren; het identificeert vaak configuraties die stabieler zijn dan de gerapporteerde experimentele databases, wat potentieel historische fouten of heuristische invoegingen corrigeert.
• Waterstof-Agnostische Transfereerbaarheid: De modellen zijn op een "waterstof-agnostische" manier getraind. De auteurs beweren dat deze architectuur gemakkelijk kan worden overgedragen naar andere inpainting-taken, zoals het intercaleren van ionen (bijv. Li, Na) in kathodematerialen of het voorspellen van muon-stopplaatsen, zonder dat hertraining nodig is.
• Fundament voor Toekomstig Werk: Het artikel positioneert deze methode als een fundament dat kan worden verfijnd voor grotere structuren of specifieke toepassingen, in plaats van een volledige hertraining te vereisen.

De auteurs benadrukken dat hun definitie van succes zowel structurele herwinning als de ontdekking van stabielere configuraties omvat, waarbij de laatste niet wordt gezien als een falen van de reconstructie, maar als de succesvolle voorspelling van een fysisch nauwkeurigere staat.