AtomBench: A Benchmarking Framework for Generative Crystal Reconstruction Models in Conventional Superconductors

Technische Samenvatting: AtomBench

Probleemstelling
Het artikel adresseert een kritiek gat in de benchmarking van generatieve modellen voor materiaalkunde: het gebrek aan een gestandaardiseerd, eerlijk kader voor het evalueren van kristalreconstructie (inverse design) taken. Terwijl veel modellen succes claimen in de novo generatie (het beoordelen van stabiliteit, uniciteit en nieuwheid), wordt het vermogen om accuraat een bekende kristalstructuur te reconstrueren vanuit gedeeltelijke informatie vaak over het hoofd gezien.

Een primair probleem dat wordt geïdentificeerd, is dat bestaande vergelijkingen frequent de architecturale prestaties verwarren met informatie-asymmetrie. Verschillende modellen worden vaak geëvalueerd onder condities waarbij zij ongelijke hoeveelheden informatie bezitten over de doelkristal (bijv. sommigen ontvangen alleen samenstelling, terwijl anderen samenstelling plus een latente embedding van de volledige structuur ontvangen). Dit maakt directe architecturale vergelijkingen ongeldig. Bovendien leunen standaard metrieken zoals "match rate" en "matched RMSD" op harde drempelwaarden (bijv. pymatgen StructureMatcher), wat een discontinue evaluatie creëert waarbij modellen alleen worden gescoord op de subset van structuren die ze toevallig matchen, wat systematische fouten in de meerderheid van de voorspellingen mogelijk maskeert.

Methodologie
De auteurs introduceren AtomBench, een uitbreidbaar, model-agnostisch framework ontworpen om generatieve modellen te benchmarken op een goed gedefinieerde kristalreconstructie-taak met behulp van conventionele supergeleiders.

1. Datasets: De studie maakt gebruik van twee door DFT gegenereerde datasets:

   • JARVIS Supercon-3D: 1.058 kristaal/$T_c$ paren, gedomineerd door O, Al en Ti, met diverse kristalsystemen.
   • Alexandria DS-A/B: 8.253 kristaal/$T_c$ paren, gedomineerd door Ti, Rh en Al, primair kubisch en tetragonaal.
   • Beide datasets gebruiken Density Functional Perturbation Theory (DFPT) met specifieke protocollen (bijv. $\mu^*$ waarden, pseudopotentialen).

2. Geregelde Modellen: Vier verschillende generatieve architecturen werden getraind en geëvalueerd:

   • AtomGPT: Een gefinetuned groot taalmodel (Mistral-7B) dat kristallen als tekst behandelt.
   • CDVAE: Een diffusie-variational autoencoder met SE(3)-equivariante graph neurale netwerken.
   • FlowMM: Een Riemanniaanse flow-matching netwerk.
   • MatterGen: Een joint-diffusion model met equivariante score netwerken.
   • Conditioning Varianten: Voor modellen die dit ondersteunen (AtomGPT, MatterGen), werden varianten getraind met en zonder conditionering op de supergeleidende kritische temperatuur ($T_c$).

3. Evaluatieprotocol:

   • Data Split: 10% van elk dataset werd apart gehouden voor testen.
   • Informatie-regimes: Modellen werden gegroepeerd op basis van de informatie die beschikbaar is vóór de voorspelling:
     • Full-structure embedding: CDVAE (ontvangt een latente vector van de volledige doelstructuur).
     • Samenstelling + $T_c$: AtomGPT/MatterGen ($T_c$-geconditioneerd).
     • Samenstelling alleen: FlowMM, AtomGPT, MatterGen (ongeconditioneerd).
   • Metrieken:
     • Lattice Parameters: Mean Absolute Error (MAE) en Kullback-Leibler Divergentie (KLD) voor distributies.
     • Atomaire Coördinaten:
       • Matched RMSD: Gemiddelde fout over structuren die succesvol zijn gematcht door StructureMatcher.
       • Continuous Corrected RMSD (ccRMSD): Een nieuwe metriek geïntroduceerd in dit werk. Het gebruikt de Average Minimum Distance (AMD) descriptor en de Chebyshev afstand om de lokale geometrische getrouwheid continu te meten over alle teststructuren, ongeacht of er een discrete match wordt gevonden. Dit elimineert de bias van het verwerpen van "moeilijk te matchen" structuren.

Belangrijkste Bijdragen

1. AtomBench Framework: Een open-source Python package (atombench) die de evaluatie van inverse design modellen standaardiseert en directe indiening bij de JARVIS-Leaderboard ondersteunt.
2. ccRMSD Metriek: De introductie van een continue, match-rate-onafhankelijke metriek die een robuustere beoordeling van lokale geometrische getrouwheid biedt dan traditionele matched RMSD.
3. Informatie-theoretische Benchmarking: Een rigoureus groeperen van modellen op basis van "conditionele entropie" regimes (hoeveelheid bekende informatie) om eerlijke architecturale vergelijkingen te garanderen.
4. Systematische Analyse: De eerste grootschalige vergelijking van deze specifieke architecturen op supergeleider-reconstructie, waarbij de impact van $T_c$ conditionering en kristalsysteem symmetrie wordt geanalyseerd.

Resultaten

• Prestaties per Metriek:
  • Atomaire Coördinaten: MatterGen behaalde de beste reconstructiegetrouwheid (laagste ccRMSD en matched RMSD), gevolgd door AtomGPT. CDVAE en FlowMM vertoonden significant hogere fouten.
  • Lattice Parameters: CDVAE was het meest accuraat in het reconstrueren van lattice parameters (laagste MAE en KLD), gevolgd door AtomGPT en MatterGen. FlowMM was het minst accuraat.
  • Snelheid vs. Accuratesse: FlowMM was het snelst tijdens inferentie maar minst accuraat. MatterGen bood de hoogste coördinatengetrouwheid maar tegen een hogere computationele kosten.
• Impact van $T_c$ Conditionering: Conditionering op de kritische temperatuur ($T_c$) verbeterde de reconstructiegetrouwheid voor zowel AtomGPT als MatterGen niet consistent, wat suggereert dat een enkele scalaire eigenschap weinig structurele informatie toevoegt bovenop de samenstelling in deze context.
• Kristalsysteem Trends: Reconstructiefout varieerde per kristalsysteem. Cubische systemen (hoge symmetrie, minder vrijheidsgraden) vertoonden de laagste fouten, terwijl monokliene en hexagonale systemen hogere fouten vertoonden, met name in de $c$ lattice parameter.
• Metriek Discrepantie: De studie benadrukte dat matched RMSD misleidend kan zijn; bijvoorbeeld had FlowMM een zeer lage match rate (<10%), waardoor de matched RMSD statistisch onbetrouwbaar was, terwijl ccRMSD een betekenisvolle foutinschatting voor de gehele dataset bood.

Betekenis en Claims
Het artikel beweert dat AtomBench een noodzakelijke correctie biedt aan het vakgebied door bloot te leggen hoe informatie-asymmetrie prestatie-metrieken kunstmatig kan opblazen. Door ccRMSD te introduceren, pleiten de auteurs voor een verschuiving van "match-of-verwerp" evaluatie naar continue getrouwheidsmaten die de volledige distributie van voorspellingen meenemen.

De auteurs stellen bescheiden dat hun bevindingen architecturen niet universeel rangschikken, maar eerder illustreren hoe reconstructiegetrouwheid varieert onder verschillende inferentie-informatie regimes. Zij benadrukken dat de keuze van het model afhangt van de specifieke toepassing:

• FlowMM voor high-throughput sampling waar snelheid prioritair is.
• CDVAE voor taken die een hoge nauwkeurigheid van lattice parameters vereisen.
• MatterGen voor taken die een hoge getrouwheid van atomaire coördinatenplaatsing vereisen.

Het werk concludeert dat hoewel huidige modellen (CDVAE, AtomGPT, MatterGen) nauwkeurigheidsniveaus bereiken die geschikt zijn voor het initialiseren van DFT-berekeningen, het veld continue metrieken zoals ccRMSD nodig heeft om generatieve modellen voor materiaaldiscovery correct te beoordelen en te verbeteren.