Does System Size Matter in Uncertainty Quantification for Machine Learning Interatomic Potentials?
Deze studie toont aan dat veelvoorkomende methoden voor onzekerheidsaggregatie bij machine learning-interatomaire potentialen een duidelijke afhankelijkheid van systeemgrootte vertonen, wat onthult dat niet-groottebewuste drempelwaarden de detectie van out-of-distribution data compromitteren en de noodzaak voor groottebewuste kalibratie in grootschalige atomistische simulaties motiveert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de zoektocht naar nieuwe materialen vertrouwen wetenschappers op een krachtig hulpmiddel genaamd machine learning interatomaire potentialen. Dit zijn computerprogramma's die getraind zijn om te voorspellen hoe atomen zullen gedragen en interageren, wat fungeert als een kortere route naar de ongelooflijk complexe en trage berekeningen van de kwantumfysica. In plaats van de volledige vergelijkingen voor elk afzonderlijk atoom op te lossen in een simulatie, leren deze programma's van een kleinere set hoogwaardige gegevens en passen ze die kennis vervolgens toe op enorme systemen, waardoor onderzoekers miljoenen atomen over lange perioden kunnen simuleren. Om deze simulaties veilig en nauwkeurig te houden, gebruiken de programma's een ingebouwd alarmsysteem genaamd onzekerheidskwantificering. Dit systeem geeft een signaal wanneer de computer een situatie tegenkomt die hij nog nooit eerder heeft gezien, zoals een vreemde rangschikking van atomen of een defect in een kristal, wat aangeeft dat de voorspelling mogelijk onbetrouwbaar is en dat een striktere, tragere berekening nodig is.
Jarenlang was een standaardpraktijk om deze alarmsignalen op dezelfde manier te behandelen, ongeacht de grootte van het bestudeerde systeem. Of een simulatie nu een kleine cluster van atomen betreft of een massief blok materiaal, onderzoekers zouden simpelweg de onzekerheidsscores van alle individuele atomen middelen of naar de hoogste individuele score kijken om te beslissen of de hele structuur veilig was. De aanname was dat een hoge score hetzelfde betekende in een kleine doos als in een reusachtige een. Echter, een nieuwe studie daagt dit langgekoesterde geloof uit, door te onthullen dat de grootte van het systeem zelf bepaalt hoe deze alarmsignalen zich gedragen, wat potentieel ervoor zorgt dat het vangnet faalt op het moment dat het het hardst nodig is: in de grootste, meest complexe simulaties.
De onderzoekers zetten zich in om te testen of deze onzekerheidsscores vergelijkbaar blijven naarmate het aantal atomen in een simulatie groeit. Ze gebruikten verschillende soorten machine learning-modellen om diverse materialen te simuleren, waaronder een metaallegering, water in vloeibare vorm en ijs. In elk geval maakten ze twee versies van hetzelfde materiaal: één die perfect en bekend was voor de computer (in-distributie), en één die een specifiek defect bevatte, zoals een ontbrekend atoom of een andere fase van materie, waar de computer niet op getraind was (out-of-distributie). Vervolgens draaiden ze simulaties op deze materialen, waarbij ze het aantal atomen geleidelijk verhoogden van enkele tientallen tot enkele honderden, en observeerden hoe de onzekerheidsscores veranderden.
Wat ze vonden was een duidelijke en verrassende splitsing in gedrag, afhankelijk van hoe de scores werden berekend. Wanneer de onderzoekers de onzekerheid van alle atomen in het systeem middelden, bleef de score stabiel voor perfecte materialen, maar daalde deze naarmate het systeem groter werd als het een defect bevatte. Dit gebeurde omdat de weinige atomen nabij het defect werden verdund door de duizenden perfecte atomen eromheen, waardoor het gemiddelde er misleidend veilig uitzag. In contrast hiermee, wanneer zij naar de hoogste individuele onzekerheidsscore in het systeem keken, was het gedrag precies het tegenovergestelde. Voor perfecte materialen bleef deze hoogste score stijgen naarmate het systeem groter werd, simpelweg omdat een groter systeem meer kansen heeft om een zeldzame, licht ongewone lokale rangschikking van atomen tegen te komen. Echter, voor materialen met een echt defect, bleef deze hoogste score vlak en steeg deze niet met de grootte mee.
Deze divergentie creëert een gevaarlijk blind gebied. In een klein systeem produceert een echt defect een hoge onzekerheidsscore die duidelijk afsteekt tegen de lage scores van een perfect materiaal. Maar in een groot systeem stijgt de hoogste score van het perfecte materiaal zo hoog dat het net zo onzeker begint te lijken als het defecte materiaal. De kloof verdwijnt, en de computer kan het verschil niet meer zien tussen een zeldzame maar onschuldige fluctuatie in een perfect kristal en een echt, gevaarlijk defect. De studie suggereert dat dit gebeurt vanwege een statistisch principe: naarmate je meer monsters trekt uit een distributie, wordt de meest extreme waarde die je vindt van nature groter. Een groter systeem reikt simpelweg verder in de staart van zijn eigen normale gedrag, waardoor het zeldzamere lokale omgevingen naar boven haalt die de computer licht onbekend vindt, ook al is het materiaal fundamenteel hetzelfde.
Om te begrijpen of deze stijgende scores in grote, perfecte systemen daadwerkelijk waarschuwden voor iets belangrijks, volgden de onderzoekers de specifieke atomen die de hoogste onzekerheid veroorzaakten. Ze ontdekten dat deze atomen inderdaad zich in ongebruikelijke lokale omgevingen bevonden en hogere fouten vertoonden dan atomen in kleinere systemen. Logischerwijs zou een standaard leerlus deze structuren moeten signaleren voor hertraining, om de computer nieuwe gegevens te voeren om de fouten te herstellen. Echter, toen de onderzoekers dit daadwerkelijk deden, leverde het hertrainen van het model op deze grote, gemarkeerde structuren bijna geen verbetering op. Het model bleef koppig onnauwkeurig op deze specifieke atomen.
In een onthullende vergelijking trainden de onderzoekers het model op kleine structuren die bewust onbekend waren ontworpen, in plaats van op grote structuren die slechts statistisch zeldzaam waren. Deze aanpak was veel effectiever. Het hertrainen op deze kleine, duidelijk out-of-distributie structuren verbeterde de prestaties van het model aanzienlijk en dichte de kloof tussen perfecte en defecte materialen. De studie concludeert dat de huidige methode om een enkele, vaste drempelwaarde te gebruiken om onzekerheid over alle systeemgroottes te beoordelen, gebrekkig is. Het suggereert dat de manier waarop deze modellen worden getraind, waarbij de fouten over alle atomen worden gemiddeld, ervoor zorgt dat ze een paar slechte appels in een grote ton kunnen negeren, waardoor het standaard alarmsysteem onbetrouwbaar wordt voor massale simulaties.
De bevindingen wijzen op een noodzakelijke verschuiving in hoe deze simulaties worden beheerd. De onderzoekers stellen voor dat toekomstige systemen "groottebewust" moeten zijn, wat betekent dat ze rekening moeten houden met het feit dat onzekerheid van nature schaalt met het aantal atomen. Ze testten een voorlopige methode om de onzekerheidsscores achteraf aan te passen om deze groottebias te verwijderen, maar ontdekten dat dit moeilijk te doen was zonder per ongeluk echte waarschuwingen over echte defecten te maskeren. De weg vooruit ligt waarschijnlijk in het ofwel ontwikkelen van nieuwe manieren om deze scores te kalibreren zodat ze vergelijkbaar zijn over verschillende groottes, of het veranderen van het trainingsproces zelf om ervoor te zorgen dat zeldzame, foutgevoelige atomen niet worden opgeofferd voor het belang van de algehele nauwkeurigheid. Totdat deze aanpassingen zijn doorgevoerd, kunnen de veiligheidsmechanismen in grootschalige materiaalsimulaties stilzwijgend falen, niet in staat om onderscheid te maken tussen de ruis van een groot systeem en het signaal van een echt probleem.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.