🔬 materials science

Comparative study of ensemble-based uncertainty quantification methods for neural network interatomic potentials

Deze studie evalueert systematisch ensemble-gebaseerde onzekerheidskwantificeringsmethoden voor neurale netwerkinteratomaire potentialen en onthult dat voorspellende precisie vaak faalt om betrouwbaar nauwkeurigheid aan te geven in out-of-distribution regimes, waarbij deze frequent afvlakt of afneemt naarmate de fouten groeien, waardoor de fundamentele beperkingen van het gebruik van onzekerheidsschattingen als proxies voor nauwkeurigheid in grootschalige materiaalsimulaties worden benadrukt.

Oorspronkelijke auteurs: Yonatan Kurniawan (Department of Physics and Astronomy, Brigham Young University, Provo, Utah, USA), Mingjian Wen (Institute of Fundamental and Frontier Sciences, University of Electronic Science and

Gepubliceerd 2026-07-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yonatan Kurniawan (Department of Physics and Astronomy, Brigham Young University, Provo, Utah, USA), Mingjian Wen (Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China, Chengdu, China), Ellad B. Tadmor (Department of Aerospace Engineering and Mechanics, University of Minnesota, Minneapolis, Minnesota, USA), Mark K. Transtrum (Cross Stream Consulting, Springville, UT, USA)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Computers leren raden hoe atomen zich gedragen

Stel je voor dat je een computer probeert te leren hoe je het gedrag van een materiaal (zoals diamant of grafiet) kunt voorspellen. Om dit te doen, heeft de computer een "regelboek" nodig dat een Interatomaal Potentieel wordt genoemd.

Traditioneel gebruikten wetenschappers twee soorten regelboeken:

Het "Supernauwkeurige" Regelboek (Kwantumfysica): Het is ongelooflijk precies, maar het kost een supercomputer jaren om slechts een paar atomen te berekenen. Het is te traag voor grote projecten.
Het "Snelle & Simpele" Regelboek (Klassieke Fysica): Het is erg snel, maar maakt vaak fouten omdat het te simpel is.

Machine Learning (ML) is het nieuwe middenpad. Het is als een student die het "Supernauwkeurige" regelboek duizenden keren leest en vervolgens leert om zijn eigen "Snelle & Simpele" versie te schrijven die bijna net zo goed is, maar die binnen seconden draait. Dit worden Machine Learning Interatomic Potentials (MLIPs) genoemd.

Het Probleem: De "Zelfverzekerde Dwaas"

Het belangrijkste probleem waar dit artikel een oplossing voor zoekt, is vertrouwen.

Wanneer een student (de AI) leert van een tekstboek, is hij erg goed in het beantwoorden van vragen die exact lijken op de vragen in het boek. Dit wordt "In-Distribution" (ID) genoemd. Als je vraagt: "Wat is de energie van een diamantatoom bij kamertemperatuur?" en de AI zag dat tijdens de training, zal hij het waarschijnlijk goed hebben.

Maar wat gebeurt er als je een vraag stelt die de AI nooit eerder heeft gezien? Misschien vraag je naar een diamant onder extreme druk, of een vreemde vorm die de AI nog nooit is tegengekomen? Dit wordt "Out-of-Distribution" (OOD) genoemd.

De vraag in dit artikel is: Kan de AI ons vertellen wanneer hij aan het gokken is?

In de wereld van AI gebruiken we Onzekerheid als een "vertrouwensmeter".

Hoge Onzekerheid: "Ik weet het niet zeker. Ik kan ernaast zitten." (Dit is goed! Het waarschuwt ons om voorzichtig te zijn.)
Lage Onzekerheid: "Ik weet het 100% zeker!" (Dit is goed als het antwoord juist is, maar gevaarlijk als het antwoord onjuist is.)

Het doel van het onderzoek is om te zien of de "vertrouwensmeter" van de AI echt werkt wanneer de AI wordt gedwongen om te gokken op nieuwe, vreemde data.

Het Experiment: De "Studiegroep"-analogie

Om dit te testen, trainden de onderzoekers niet slechts één AI. Ze trainden 100 verschillende versies van dezelfde AI. Zie dit als een studiegroep van 100 studenten die allemaal hetzelfde tekstboek hebben bestudeerd, maar die elk net iets andere dingen hebben geleerd omdat ze op verschillende manieren aantekeningen hebben gemaakt.

Ze gebruikten vier verschillende manieren om deze "studiegroep" (Ensembles) te creëren:

Bootstrap: Elke student een iets andere set oefenopgaven geven (het herverdelen van de data).
Dropout: Tijdens de test willekeurig sommige studenten vertellen om "hun mond te houden" (delen van hun kennis negeren), zodat de groep moet vertrouwen op verschillende ideeën.
Random Initialization: Elke student een ander beginbrein (willekeurige gewichten) geven voordat ze überhaupt begonnen met studeren.
Snapshots: Op een bepaald moment een foto maken van het brein van één student tijdens de studiesessie en die foto's behandelen als verschillende studenten.

De onderzoekers vroegen de 100 studenten vervolgens om het gedrag van koolstofatomen in drie vormen te voorspellen: Diamant, Grafiet en Grafeen.

De Resultaten: De "Zelfverzekerde Dwaas" slaat weer toe

Dit is wat ze ontdekten, simpel uitgelegd:

1. Wanneer de AI in zijn "Comfortzone" zit (In-Distribution)

Wanneer de vragen vergelijkbaar waren met wat de AI heeft bestudeerd, werkte de "vertrouwensmeter" redelijk goed. Als de AI onzeker was, kwam dat meestal omdat het antwoord daadwerkelijk moeilijk was. Als de AI zelfverzekerd was, had hij het meestal goed. De verschillende studiegroepen (ensembles) presteerden hier vergelijkbaar.

2. Wanneer de AI naar de rand wordt gedreven (Out-of-Distribution)

Dit is waar het vreemd en gevaarlijk werd. De onderzoekers vroegen de AI om te voorspellen wat er gebeurt als je de materialen extreem uitrekt of samenperst (zoals een diamant samendrukken tot hij pieklein is).

De AI zat ernaast. (De voorspellingen kwamen niet overeen met de werkelijkheid).
De AI zei: "Ik weet het 100% zeker!" (De onzekerheidsmeter bleef laag).

Dit is het "Zelfverzekerde Dwaas"-probleen. De AI is met vol overtuiging feiten aan het verzinnen.

3. De Contraintuïtieve Wending

Normaal gesproken zou je verwachten dat naarmate de AI verder af komt te staan van wat hij weet, zijn "vertrouwensmeter" omhoog zou gaan (hij zou moeten zeggen: "Ho, wacht even, dit is vreemd, ik weet het niet zeker!").

Maar het onderzoek vond het tegenovergestelde.
Naarmate de AI verder en verder in het onbekende werd gedreven (extreem uitrekken of samenpersen), ging zijn zelfvertrouwen niet omhoog. Sterker nog, het ging soms zelfs omlaag of bleef het vlak.

Analogie: Stel je een bestuurder voor die alleen ooit op een rechte snelweg heeft gereden. Als je hem plotseling vraagt om op een steile, ijzige bergpas te rijden, zou een slimme bestuurder zeggen: "Ik weet niet hoe ik dit moet doen!"
De AI-bestuurder: In plaats daarvan zegt de AI-bestuurder: "Ik ben een expert!" en blijft hij met 100 km/u doorrijden, ook al is hij bijna bij een crash. De "onzekerheid" nam juist af terwijl de situatie gevaarlijker werd.

Waarom gebeurt dit?

De onderzoekers probeerden te achterhalen waarom de AI zo zelfverzekerd wordt als hij het fout heeft. Ze hadden een paar theorieën:

Het "Verzadigde Brein": De AI gebruikt een wiskundige functie (zoals een schakelaar die alleen volledig "aan" of volledig "uit" kan staan). Wanneer de input te extreem wordt, blijft de schakelaar gewoon op "aan" hangen, waardoor de AI denkt dat hij het antwoord perfect kent, ook al is hij slechts aan het gokken.
Het "Groepsdenken"-effect: Hoewel ze 100 verschillende AI-modellen hadden, begonnen ze bij een totaal nieuwe situatie allemaal dezelfde foute gok te doen. Omdat ze het met elkaar eens waren, dacht het systeem: "Nou, als 100 van ons het eens zijn, dan zullen we het wel goed hebben!"

De Conclusie

Het artikel concludeert dat we de "vertrouwensmeter" van de AI niet blindelings kunnen vertrouwen wanneer deze voorspellingen doet over zaken die hij nog niet eerder heeft gezien.

Als de AI zegt: "Ik weet het niet zeker", is dat waarschijnlijk een goede waarschuwing.
Maar als de AI zegt: "Ik weet het 100% zeker", kan hij liegen. Hij kan met grote zelfverzekerdheid iets voorspellen dat volkomen onjuist is.

De auteurs waarschuwen dat wetenschappers zeer voorzichtig moeten zijn bij het gebruik van deze AI-tools voor grote, nieuwe experimenten. Alleen omdat de computer zegt dat hij accuraat is, betekent niet dat hij dat ook is, vooral niet wanneer de computer wordt gevraagd om iets te doen waar hij niet op getraind is.

Belangrijkste les: In de wereld van de AI-materiaalkunde is precisie (zelfvertrouwen) niet gelijk aan accuratesse (waarheid). Je kunt tegelijkertijd heel precies en volkomen onjuist zijn.