Reproducibility in Computational Materials Science: Lessons from 'A General-Purpose Machine Learning Framework for Predicting Properties of Inorganic Materials'

Dit artikel analyseert de reproduceerbaarheidsuitdagingen die worden ondervonden bij het proberen resultaten te repliceren vanuit een toonaangevend machine learning-kader in de materiaalkunde, identificeert vier hoofdcategorieën van problemen gerelateerd aan afhankelijkheden, versiebeheer, codeorganisatie en manuscriptreferenties, en stelt uitvoerbare oplossingen voor om de toegankelijkheid en bruikbaarheid van code voor de onderzoeksgemeenschap te verbeteren.

De kern

Stel je voor dat jij en een vriend proberen de lekkerste taart ter wereld te bakken. Je vriend, een beroemde bakker, publiceerde een receptenboek getiteld "Hoe maak je de perfecte taart". Ze namen een lijst met ingrediënten, een foto van de afgewerkte taart en een paar notities over hoe je het beslag moet mengen op. Je besluit het zelf te proberen om te zien of het net zo lekker smaakt als ze zeggen.

Echter, wanneer je begint met koken, loop je tegen een muur op. Hier is wat er gebeurde, gebaseerd op het verhaal in dit paper:

De ontbrekende receptkaarten

De beroemde bakker gaf je een "Model Building Script", wat lijkt op een basisinstructiekaart over hoe je het beslag moet mengen. Maar het deel van het boek dat liet zien hoe je dat beslag moest nemen en de specifieke uiteindelijke taart moest bakken (de "extensibility analysis") was volledig afwezig. Je moest raden hoe je het recept moest afmaken door alleen de vage beschrijvingen in het boek te lezen.

De kapotte oven (Afhankelijkheden)

Zelfs toen je probeerde de basisinstructies te volgen, bleek dat de oven een zeer specifiek, oud type gas vereiste dat niet langer bestaat. Het recept zei: "Gebruik Gas Type 7", maar dat gas is stopgezet en onveilig. Je moest op zoek naar een iets ander type gas (Type 8) om de oven überhaupt werkend te krijgen. Dit noemt het paper een "dependency issue" – de hulpmiddelen die nodig zijn om de code uit te voeren, zijn verouderd of moeilijk te vinden.

Het geheime ingrediënt (Willekeur)

Zodra je eindelijk de oven werkend had gekregen en de taart had gebakken, smaakte het niet goed. De taart van de bakker was zoet en luchtig; de jouwe was wat dichter. Je probeerde het nog tien keer te bakken, waarbij je niets veranderde behalve het exacte moment waarop je de oven inschakelde (de "random seed"). Elke keer bleek de taart iets anders.

Het paper ontdekte dat de bakker nooit had opgeschreven welk specifiek moment ze de oven inschakelden. Zonder dat kleine detail kun je hun taart nooit perfect nabakken. In de wereld van de informatica betekent dit dat, zelfs als je dezelfde code en data hebt, de interne "worpen met de dobbelsteen" van de computer het resultaat kunnen veranderen, waardoor het onmogelijk is om exact hetzelfde antwoord te krijgen zonder een registratie van die worp.

Het bewegend doel (Versiebeheer)

De bakker gaf later toe dat ze nog steeds hun keukengereedschap aan het aanpassen waren terwijl ze het boek schreven. De gereedschappen die ze gebruikten om de taart op de foto te bakken, kunnen verschillend zijn geweest van de gereedschappen die ze je in de doos gaven. Omdat ze geen dagboek hebben bijgehouden van welke versie van de gereedschappen ze op welke dag gebruikten, kun je niet weten of je falen komt doordat jij iets verkeerd hebt gedaan of doordat hun gereedschappen zijn veranderd.

De vier regels voor betere recepten

De auteurs van dit paper stellen vier eenvoudige regels voor om dit in de toekomst te voorkomen, met behulp van een "receptenboek"-analogie:

1. Noem de exacte gereedschappen: Zeg niet zomaar "gebruik een oven". Zeg "gebruik een model uit 2024 met een specifieke gasadapter". Als je dat niet kunt doen, zet dan de hele keuken in een verzegelde doos (zoals een "Docker container") zodat iedereen het exacte dezelfde setup kan openen en gebruiken.
2. Houd een versielogboek bij: Houd een dagboek bij van elke wijziging die je aanbrengt in je gereedschappen. Als je een garde of een oveninstelling verandert, schrijf het dan op. Op deze manier weet je, als de taart later anders smaakt, precies welke verandering de oorzaak was.
3. Breek het recept op in stappen: In plaats van één groot, verwarrend alinea met instructies, breek het recept op in kleine, duidelijke stappen: "Stap 1: Eieren kloppen", "Stap 2: Meel toevoegen". Dit maakt het voor iedereen makkelijker om mee te doen en op elk stadium hun werk te controleren.
4. Koppel de notities aan de stappen: In het boek, wanneer de bakker zegt "krachtig mengen", plaats dan direct daar een klikbare link die je naar de exacte regel code brengt waar dat mengen plaatsvindt. Dit verbindt het verhaal met het daadwerkelijke werk.

De conclusie

Het paper concludeert dat, hoewel het oorspronkelijke kader een geweldig idee was en de vakgebied van de materiaalkunde heeft geholpen, het ontbreken van deze eenvoudige "recept"-details het voor anderen onmogelijk maakte om de resultaten perfect na te bootsen. Door deze vier regels te volgen, kunnen wetenschappers ervoor zorgen dat wanneer ze hun ontdekkingen delen, anderen er daadwerkelijk op kunnen voortbouwen zonder verdwaald te raken in een doolhof van ontbrekende instructies en kapotte gereedschappen.

Technische samenvatting

Technische Samenvatting: Reproduceerbaarheid in de Computationele Materialenwetenschap

Probleemstelling
Ondanks de snelle integratie van machine learning (ML) in de ontdekking van materialen en de gelijktijdige trend naar open-source data, blijft een aanzienlijke barrière bestaan: het gebrek aan reproduceerbare praktijken onder ontwikkelaars van tools. Deze studie onderzoekt de specifieke uitdagingen die zich voordoen bij het proberen resultaten te reproduceren uit een baanbrekend werk, "A general-purpose machine learning framework for predicting properties of inorganic materials" van Ward et al. (2016). Hoewel de oorspronkelijke auteurs ruwe data en een script voor modelconstructie leverden, was de aanvullende informatie (SI) onvolledig. Specifiek ontbraken de scripts die nodig waren voor de "uitbreidbaarheidsanalyse" – de praktische toepassing van het kader om nieuwe materialen voor zonnecellen te identificeren. Bovendien bevatte de verstrekte documentatie misleidende afhankelijkheidsvereisten, en ontbrak er versiebeheer in de codebase, waardoor het onmogelijk was om te bepalen of de gedistribueerde software overeenkwam met de versie die werd gebruikt om de oorspronkelijke resultaten te genereren.

Methodologie
De auteurs probeerden het deel van de "uitbreidbaarheidsanalyse" van de studie van Ward et al. te repliceren, waarbij nieuwe ternaire verbindingen met geschikte bandgaps voor zonnecellen werden geïdentificeerd. De methodologie omvatte:

1. Herconstructie van de Omgeving: Pogingen om de Magpie-software (een Java-gebaseerde descriptor-generator) en zijn afhankelijkheden te installeren. De auteurs stuitten op incompatibiliteit tussen de gedocumenteerde Java 7-vereiste en moderne Java-versies, wat het gebruik van Java 8 noodzakelijk maakte.
2. Hercreatie van Scripts: Aangezien de scripts voor de uitbreidbaarheidsanalyse ontbraken in de SI, reconstrueerden de auteurs deze op basis van onnauwkeurige beschrijvingen in het manuscript en door overleg met een oorspronkelijke auteur.
3. Data-Verwerking: De auteurs gebruikten de verstrekte trainingsset (OQMD v1.0, ~300.000 verbindingen) en behandelden de vijf specifieke kandidaat-verbindingen die in Tabel 1 van het oorspronkelijke artikel werden vermeld als de testset, aangezien de data van de oorspronkelijke zoekruimte niet beschikbaar was.
4. Replicatie en Sensitiviteitstesten: De auteurs herbouwden de hiërarchische REPTree-modellen met behulp van de gereconstrueerde scripts. Om discrepanties tussen hun resultaten en de oorspronkelijke voorspellingen te onderzoeken, voerden ze een stabiliteitstest met willekeurige zaden uit, waarbij ze tien modellen genereerden met verschillende willekeurige zaden (inclusief het standaard Weka-zad) om de gevoeligheid van de voorspellingen voor initialisatie te beoordelen.

Belangrijkste Resultaten
De replicatie-inspanning onthulde dat de oorspronkelijke resultaten niet konden worden gereproduceerd:

• Afwijking in Voorspelling: De door de gerepliceerde modellen voorspelde bandgap-energieën weken aanzienlijk af van de waarden die in het oorspronkelijke artikel werden gerapporteerd.
• Gevoeligheid voor Willekeurig Zaad: De stabiliteitstest met willekeurige zaden toonde aan dat de voorspellingen sterk gevoelig waren voor het willekeurige zaad. De oorspronkelijke voorspellingen vielen buiten de verdeling van de gerepliceerde voorspellingen voor enkele verbindingen (bijv. Hf4S11Cl2), en in sommige gevallen lagen de oorspronkelijke waarden aan de extreme staart van de verdeling of zelfs volledig buiten de spreiding.
• Oorzaakanalyse: Het onvermogen om te repliceren werd toegeschreven aan het ontbreken van een geregistreerd willekeurig zaad, de afwezigheid van tussenliggende data (descriptoren, modellen) voor validatie, en de waarschijnlijkheid dat de Magpie-codebase actief in ontwikkeling was tijdens de uitvoering van de oorspronkelijke studie. De versie van de software die in de SI werd verstrekt, verschilde waarschijnlijk van de versie die werd gebruikt om de gepubliceerde resultaten te genereren.

Belangrijkste Bijdragen en Aanbevelingen
Op basis van deze bevindingen stelt het artikel vier tastbare actiepunten voor om de reproduceerbaarheid van toekomstige open-source tools in de materiaalinformatiek te verbeteren:

1. Verspreiden van Afhankelijkheden: Ontwikkelaars moeten voorbijgaan aan tekstuele lijsten van afhankelijkheden. De auteurs raden containerisatiestrategieën aan (bijv. Docker of Singularity) om de computationele omgeving te omhullen, zodat software-afhankelijkheden in de loop van de tijd compatibel en toegankelijk blijven.
2. Onderhouden en Volgen van Versies: De studie benadrukt de noodzaak van strikt versiebeheer (bijv. Git) en het bijhouden van Machine Learning Operations (MLOps) (bijv. MLFlow). Deze tools maken het systematisch loggen van codaversies, parameters en metrieken mogelijk, waardoor de traceerbaarheid van modelafstamming en de mogelijkheid om terug te keren naar specifieke experimentele staten worden gewaarborgd.
3. Toepassen van Sequentiële Coderingspraktijken: In plaats van monolithische, complexe invoerscripts moeten ontwikkelaars sequentiële coderingspraktijken aannemen, zoals Jupyter-notebooks. Het opsplitsen van workflows in discrete, zelfstandige cellen met beschrijvende markdown verbetert de duidelijkheid, verlaagt de leercurve en stelt gebruikers in staat om outputs op distincte controlepunten te valideren.
4. Verbeteren van Code-Duidelijkheid in Manuscripten: De auteurs suggereren het opnemen van aanklikbare pointers binnen de tekst van het manuscript die direct linken naar specifieke bestanden of regels code in de repository. Dit overbrugt de kloof tussen de geschreven methodologie en de praktische implementatie, waardoor ambiguïteit wordt verminderd.

Beteekenis
Het artikel concludeert dat hoewel het kader voorgesteld door Ward et al. succesvol een gegeneraliseerde aanpak voor materiaalinformatiek demonstreerde, de studie dient als een waarschuwing: reproduceerbaarheid vereist een doelbewuste, gestructureerde inspanning. Zonder proactieve maatregelen met betrekking tot afhankelijkheidsbeheer, versietracking en code-organisatie kunnen zelfs goedbedoelde initiatieven voor open science falen om reproduceerbaar te zijn. Door de aanbevolen praktijken te adopteren, kan de gemeenschap meer vertrouwen, transparantie en gemak van adoptie voor computationele hulpmiddelen voor materialenonderzoek bevorderen.