Computational references are not experiments: pre-registered validation of machine-learned sodium-cathode voltages

Technische Samenvatting: Pre-geregistreerde Validatie van Machine-Learned Natrium-Kathode Spanningen

Probleemstelling
Het veld van computationele materiaalkundige ontdekking, met name voor batterijkathodes, leunt zwaar op machine learning (ML) modellen die getraind en gevalideerd zijn tegen berekende referentiespanningen (typisch GGA- of GGA+U-waarden uit databases zoals de Materials Project). Een kritisch, vaak onbehandeld probleem is dat deze referentieschalen systematische fouten bevatten ten opplicate experimentele elektrochemische metingen. Bijgevolg kan een ML-model een hoge nauwkeurigheid bereiken ten opzichte van zijn trainingsreferenties, terwijl het faalt bij het voorspellen van de werkelijke spanningen in de echte wereld. Dit artikel onderzoekt dit "referentiefout"-probleem door een specifieke, gesloten-lus materiaal-screeningpipeline te onderwerpen aan een pre-geregistreerde validatie tegen experimenteel verankerde literatuurwaarden.

Methodologie
De studie maakt gebruik van een "pre-geregistreerd" wetenschappelijk protocol om post-hoc rationalisatie te elimineren. Voordat er enige data-analyse plaatsvond, committeerden de auteurs zich aan specifieke oordeel-drempels, een primaire metriek en gedefinieerde faalmodi.

1. Systeem onder Test (QME): Een gesloten-lus pipeline die draait op een enkele desktop, bestaande uit:

   • Generator: Creëert kandidaat Na-ion kathodes via prototype-substitutie in bekende frameworks.
   • Screen: Een Siamese multi-head Graph Neural Network (GNN) die de gemiddelde intercalatiespanningen voorspelt met Monte-Carlo dropout onzekerheid. Het model is primair getraind op Li-ion data (2814 grafen), met slechts 0,7% Na-chemie, wat extrapolatie vereist.
   • Triage: Een "prior-art" laag die kandidaten signaleert als hun compositie overeenkomt met bekende literatuur of databases.
   • Verificatie: Een lokale DFT-bank (PBE+U in Quantum ESPRESSO) die wordt gebruikt om top-selecties te verifiëren en de GNN te verfijnen.

2. Validatieprotocol:

   • Referentie Upgrade: In plaats van voorspellingen te vergelijken met de Materials Project (MP) berekende spanningen, hebben de auteurs een set Na-ion kathodes gecureerd met "quote-verankerde" experimentele gemiddelde spanningen uit de primaire literatuur.
   • Data Integriteit: Een menselijke audit verifieerde de fase-identiteit van kandidaten tegen de specifieke kristalstructuren die door het model worden gebruikt. Stoffen met fase-mismatches (bijv. amorf versus kristallijn) werden uitgesloten.
   • Metrieken: De primaire metriek was de bovenste 95% betrouwbaarheidsgrens van de bias-gecorrigeerde Mean Absolute Error (MAE) op een hold-out set.
   • Faalmodi: Pre-gedefinieerde condities (F1–F5) zouden worden geactiveerd als fouten niet-additief waren, steekproeven te klein waren, of als de experimentele set onvoldoende gecureerd was.

Belangrijkste Resultaten

1. Falen van de Screen tegen Experiment:

   • Op een gecureerde set van 6–7 bekende Na-ion kathodes was de ruwe Mean Absolute Error (MAE) 0,67 V.
   • De pre-geregistreerde primaire metriek (bovenste 95% betrouwbaarheidsgrens van de bias-gecorrigeerde MAE) was 1,09 V, wat de drempel van 0,50 V voor "screening-grade" prestaties ruim overschreed.
   • Niet-additieve Fout: De voorspellingsfout was sterk voltagesafhankelijk ($r = -0,94$). Het model overschatte laag-voltage stoffen en onderschatte hoog-voltage kobalt-polymorfen. Deze structuur maakte een eenvoudige additieve kalibratie ongeldig; het toepassen van een bias-correctie verhoogde de fout zelfs.

2. Dominantie van Referentiefout:

   • Een drieweg-vergelijking (Model Voorspelling vs. MP Referentie vs. Experiment) op twee NaCoPO$_4$ polymorfen onthulde dat de MP PBE+U referentie-waarden ongeveer 0,54 V lager waren dan de experimentele metingen.
   • De afwijking van het model ten opzichte van het experiment werd grotendeels gedreven door de trouw aan de foutieve referentieschaal. Het model reproduceerde succesvol de referentiefout en erfde een systematisch tekort van ~0,4–0,5 V ten opzichte van echte metingen.

3. Prior-Art Verzadiging:

   • De "ontdekkingsruimte" die door de generator werd beoogd, bleek verzadigd. Van de 78 chemisch geldige Na-substitutie kandidaten werd 70,5% gemarkeerd als reeds gepubliceerd.
   • Een vergelijkbare audit op een steekproef van de GNoME stabiele-materialen release toonde aan dat hoewel matching op titel-niveau weinig duplicaten vond, de eigen triage-laag van de pipeline (controle van compositie en structuur) significante overlap identificeerde met bekende literatuur. Dit suggereert dat "nieuwheid" in gegenereerde bibliotheken vaak een artefact is van onvolledige database-dekking in plaats van ware ontdekking.

4. Integriteit van Referentiedata:

   • Het cureerproces bracht significante identiteitsfouten in bestaande databases aan het licht, inclusief namespace-botsingen en fase-misidentificaties (bijv. het matchen van een literatuurspanning voor een amorfe fase aan een model dat een kristallijne fase voorspelt). Dit benadrukte dat de integriteit van referentiedata een beperkende factor is voor validatie, vaak belangrijker dan modelarchitectuur.

Betekenis en Claims
Het artikel claimt expliciet geen ontdekte materialen, geen gevalideerde screen, en geen gekalibreerde schaal. De primaire bijdrage is discipline en protocol:

• Validatie-discipline: Het demonstreert een rigoureus, pre-geregistreerd framework waarbij negatieve resultaten worden gerapporteerd zonder heronderhandeling. Elke kwantitatieve claim herleidt naar een gecommitteerd artefact (commit hashes, audit trails).
• Systemische Waarschuwing: Het biedt bewijs dat ML-modellen getraind op berekende spanningen de systematische fouten van die referenties overnemen, met name in transitie-metaal fosfaat-chemieën. De "benchmark" nauwkeurigheid tegen databases zoals Materials Project kan de werkelijke fout tegen experimenten aanzienlijk onderschatten.
• Herdefiniëren van Nieuwheid: Het voert aan dat automatische nieuwheidsclaims begrensd moeten worden door de "afwezigheid binnen de gestelde dekking" in plaats van absolute ontdekking, waarbij erkend wordt dat huidige databases incompleet zijn en dat er hoge basispercentages van bekende materialen voorkomen in gerichte substitutie-ruimtes.
• Zelfreflectie: De auteurs trekken hun Na-ion screen in, waarbij ze erkennen dat het niet "screening-grade" is. Ze hebben een pre-geregistreerdeerde kalibratie-audit van hun eigen DFT-bank tegen Li-ion koppels uitgevoerd, met het oordeel in afwachting, om te bepalen of hun interne schaal gecorrigeerd kan worden.

Samenvattend dient dit papier als een "negatief resultaat" casestudy, die stelt dat de beperkende factor voor het veld verschoven is van het genereren van kandidaten naar het beslissen welke claims vertrouwen verdienen, en dat huidige validatiepraktijken vaak falen om systematische fouten die geërfd zijn van computationele referenties bloot te leggen.