How good are universal MLIPs for alloys? A benchmark is only as trustworthy as its controls

Stel je een wereld voor waarin wetenschappers nieuwe supersterke legeringen kunnen ontwerpen voor straalmotoren of ultra-efficiënte batterijen zonder ooit een stuk metaal in een lab te hoeven smelten. In plaats daarvan gebruiken ze krachtige computersimulaties om te voorspellen hoe atomen zich zullen gedragen. De gouden standaard voor deze voorspellingen is een complexe wiskundige methode genaoms Density Functional Theory (DFT). Denk aan DFT als een meesterkok die het perfecte recept voor elk materiaal kan bereiden, maar het duurt uren om één enkel gerecht te maken. Het is accuraat, maar pijnlijk traag.

Om dit te versnellen, hebben onderzoekers "machine-geleerde interatomaire potentialen" (of MLIP's) ontwikkeld. Je kunt deze zien als sous-chefs. Ze hebben de recepten van de meesterkok zo grondig bestudeerd dat ze in een fractie van een seconde een maaltijd kunnen bereiden, met bijna dezelfde smaak. Deze AI-modellen worden steeds beter en steeds beter, en wetenschappers racen om te zien welke de beste is. Ze beoordelen ze meestal door naar een scorebord te kijken: het model dat de minste fouten maakt bij het voorspellen van energie, krijgt de eerste plek. Maar hier is de crux: wat als het scorebord zelf gemanipuleerd is? Wat als de "fouten" niet komen doordat de sous-chef slecht kan koken, maar omdat hij een andere maatbeker gebruikt dan de rechter?

Dit is precies het puzzelstuk waar een nieuwe studie van Gus Hart en Jacob Pursley zich mee bezighoudt. Ze besloten de leaderboards niet zomaar voor waar aan te nemen en begonnen als detectives te werk te gaan. Ze verzamelden veertien van de meest populaire AI-modellen en onderwierpen ze aan een test op een specifiek type materiaal: metallische legeringen. Maar in plaats van alleen hun energiescores te controleren tegen de gebruikelijke referentie, introduceerden ze een reeks "controles"—zoals een wetenschapper die eerst zijn eigen apparatuur controleert voordat hij een resultaat vertrouwt. Ze vroegen zich af: leren deze modellen daadwerkelijk de fysica van atomen, of memoriseren ze gewoon de specifieke regels en conventies van de database waarop ze zijn getraind?

De resultaten waren een schok. Het artikel stelt dat de huidige manier waarop we deze AI-modellen rangschikken diep gebrekkig is. De "winnaars" op de publieke leaderboards zijn vaak niet de winnaars omdat ze slimmer zijn; ze zijn de winnaars omdat ze toevallig dezelfde meetconventies hebben geërfd als de database waartegen ze werden getest. Wanneer de onderzoekers deze kunstmatige voordelen wegnamen, veranderden de ranglijsten drastisch. Sommige modellen die eruitzagen als mislukkingen bleken eigenlijk best goed, terwijl de "kampioenen" zagen dat hun voorsprong aanzienlijk kromp.

Hier is wat de studie daadwerkelijk ontdekte, uiteengezet aan de hand van het verhaal van het onderzoek:

Het "Maatbeker"-probleem
Stel je voor dat je een bakwedstrijd beoordeelt. De rechter zegt: "De winnaar is degene wiens taart het lichtst weegt." Maar het blijkt dat de weegschaal van de rechter gekalibreerd is om 50 gram zwaarder aan te geven dan hij zou moeten. Als een bakker toevallig dezelfde weegschaal gebruikt, ziet zijn taart er perfect uit. Als een andere bakker een andere weegschaal gebruikt, ziet zijn taart er slecht uit, zelfs als hij even groot is.

In de wereld van atomen is het "gewicht" de energie van het materiaal. De studie vond dat veel AI-modellen getraind zijn op een database (zoals de Materials Project) die een specifieke set regels gebruikt voor het berekenen van deze energieën. Wanneer de onderzoekers deze modellen testten tegen een volledig andere, onafhankelijke database (genaamd AFLOW), zagen de modellen er slecht uit. Maar toen de onderzoekers de modellen "herkalibreerden"—in feilen zeg: "Hé, gebruik dezelfde maatbeker als de nieuwe rechter"—verdwenen de fouten.

Bijvoorbeeld, een model genaamd CHGNet leek enorme fouten te maken (ongeveer 126 meV/atoom). Maar zodra de onderzoekers de "maatbeker"-mismatch herstelden, daalde de fout naar 73 meV/atoom. Meer dan de helft van zijn "falen" was slechts een verschil in boekhouding, niet een gebrek aan vaardigheid.

De "Relaxatie"-valstrik
Er was nog een trucje in de test. Wanneer de modellen gevraagd werden om de vorm van een atoomopstelling te voorspellen, mochten sommige modellen "relaxeren" (de atomen bewegen om de meest comfortabele positie te vinden), terwijl anderen gedwongen werden in exact dezelfde positie te blijven staan. Eén model, eqV2, was zo goed in het lezen van de gedachten van de rechter dat het nauwelijks bewoog. Het kreeg een hoge score omdat het geen werk hoefde te verrichten.

De onderzoekers realiseerden zich dat dit oneerlijk was. Ze voerden de test opnieuw uit zodat elk model vanuit dezelfde positie moest starten en evenveel werk moest verrichten. Toen ze dit deden, kromp de voorsprong van de "winnaar" met de helft. Het bleek dat het topmodel niet noodzakelijkerwijs beter was in fysica; het had gewoon een voorsprong gekregen door de manier waarop de test was opgezet.

De "Noise Floor"-realitycheck
De auteurs stelden ook een fundamentele vraag: Hoe goed kan een model maximaal zijn? Ze vergeleken drie verschillende, onafhankelijke databases van "perfecte" berekeningen (AFLOW, Alexandria en OQMD). Ze ontdekten dat zelfs deze perfecte databases niet perfect met elkaar overeenstemmen. Ze verschillen met ongeveer 6 tot 8 meV/atoom bij typische structuren, en tot wel 24–28 meV/atoom wanneer de situaties chaotischer worden.

Dit betekent dat er een "ruisvloer" (noise floor) is. Geen enkel AI-model kan accurater zijn dan de onenigheid tussen twee door mensen gemaakte, perfecte berekeningen. De studie vond dat de beste modellen nu deze vloer bereiken. Ze zijn zo goed als de referentiedata toelaat. Maar het artikel waarschuwt dat we ze niet veel fijner kunnen rangschikken dan dat. Als twee modellen slechts een fractie van een meV van elkaar verschillen, kan dat gewoon ruis zijn, en geen echt verschil in kwaliteit.

Het Mysterie van de "Slechte Referentie"
Een van de meest verrassende bevindingen betrof "slechte" data. De onderzoekers merkten op dat de AI-modellen voor ongeveer 15.000 structuren ogenschijnlijk volkomen fout waren en de doelstelling met enorme marges misten. Het leek erop dat de modellen falen; ze waren rampzalig.

Maar toen ze dieper keken, realiseerden ze zich dat de modellen eigenlijk gelijk hadden en de "rechter" (de referentiedatabase) fout zat. De modellen waren allemaal met elkaar eens, maar de referentiedatabase was een uitschieter. Door een "consensusdetector" te gebruiken (vragen wat de modellen denken en kijken of de rechter het daarmee eens is), ontdekten ze dat de meeste van deze "fouten" eigenlijk fouten in de referentiedata waren, en niet in de modellen. Nadat ze deze eruit filterden, daalde het aantal "slechte referenties" van 15.000 naar slechts 1.700.

De Echte Winnaars en Verliezers
Nadat alle controles waren toegepast—het corrigeren van de maatbekers, het gelijkstellen van de startposities en het filteren van slechte data—zag het leaderboard er heel anders uit.

• De modellen die getraind zijn op de nieuwere, grotere datasets (de "OMat"-generatie) presteerden over het algemeen beter en generaliseerden goed naar nieuwe, ongeziene structuren.
• De modellen getraind op oudere data (de "MP"-generatie) hadden meer moeite, maar sommige, zoals MACE-MPA, waren eigenlijk erg goed in het voorspellen van stabiliteit zodra de "maatbeker"-bias werd verwijderd.
• De "winnaar" van de ruwe energiescores, eqV2, deed het nog steeds goed, maar de voorsprong was niet zo massaal als het leek. Sterker nog, wanneer er gekeken werd naar andere belangrijke eigenschappen zoals hoe stijf het materiaal is (elasticiteit) of hoe goed het voorspelt welke vormen stabiel zijn, veranderden de ranglijsten volledig.

De Conclusie
Het artikel concludeert dat een benchmark alleen betrouwbaar is als de controles kloppen. Je kunt niet simpelweg naar één getal op een scorebord kijken en een winnaar uitroepen. De "beste" model hangt volledig af van wat je probeert te meten. Als je wilt weten welk model het beste is in het voorspellen van energie, wint er één. Als je wilt weten welk model het beste is in het voorspellen van stabiliteit, wint een ander.

De auteurs betogen dat het vakgebied moet stoppen met het najagen van één enkel "beste" model en moet overgaan op het gebruik van een "vector" van metrieken—een lijst van verschillende scores die het hele verhaal vertellen. Ze suggereren ook dat de volgende generatie modellen niet alleen moet proberen een lager foutgetal te halen; ze moeten worden getest tegen onafhankelijke data, gekalibreerd tegen de "ruisvloer" van menselijke berekeningen, en beoordeeld op hun vermogen om de rommelige, echte chemie aan te kunnen die niet slechts een herhaling is van de trainingsdata.

Kortom, de AI-modellen worden ongelooflijk goed—zo goed dat ze nu tegen de grenzen van onze eigen menselijke berekeningen aanlopen. Maar om te weten wie er werkelijk de beste is, moeten we stoppen met valsspelen met onze maatbekers en naar het grotere geheel gaan kijken.