A single design choice determines whether machine learning models of materials make physically impossible predictions

In de zoektocht naar nieuwe materialen vertrouwen wetenschappers al lang op een krachtige kortere weg: het gebruik van de regels van symmetrie om te voorspellen hoe een kristal zich zal gedragen. Kristallen zijn geen willekeurige hopen atomen; het zijn hooggeordende structuren waarin atomen zich in precieze patronen herhalen. Vanwege deze orde dicteren de wetten van de fysica dat bepaalde eigenschappen op specifieke manieren moeten reageren. Als een kristal bijvoorbeeld exact hetzelfde lijkt wanneer je het door zijn centrum ondersteboven draait — een eigenschap die bekendstaat als centrosymmetrie — dan kan het geen elektriciteit genereren wanneer het wordt samengedrukt. Dit is niet een kwestie van het materiaal zwak te zijn of de meting onnauwkeurig te zijn; het is een harde regel van de natuur. Als een kristal deze centrale symmetrie bezit, moet de elektrische respons exact nul zijn.

Decennialang hebben onderzoekers complexe computersimulaties gebaseerd op kwantummechanica gebruikt om deze eigenschappen te berekenen. Tegenwoordig neemt echter een snellere methode het stokje over: machine learning. Deze kunstmatige intelligentiemodellen worden getraind om materiaaleigenschappen te voorspellen door te leren van enorme databases van bekende kristallen. Ze worden het primaire instrument voor de ontdekking van nieuwe stoffen voor batterijen, zonnecellen en elektronica. De hoop is dat deze modellen de regels van symmetrie kunnen leren zoals een menselijke natuurkundige dat doet, of misschien zelfs beter, door patronen in de data te vinden die mensen misschien missen. Maar deze snelheid brengt een risico met zich mee: als het model de fundamentele wetten van symmetrie niet strikt naleeft, kan het voorspellen dat een kristal iets kan doen wat de natuur verbiedt, zoals het genereren van elektriciteit wanneer dat fysiek onmogelijk is.

Een recente studie door onderzoekers van Texas A&M University en andere instellingen onthult een opvallend gebrek in de manier waarop veel van deze populaire machine learning-modellen zijn gebouwd. Het team ontdekte dat of een model deze absolute wetten van de fysica respecteert, niet wordt bepaald door hoeveel data het ziet of hoe lang het wordt getraind. In plaats daarvan wordt het beslist door één enkele, kleine ontwerpkeuze die wordt gemaakt voordat de training zelfs begint. Die keuze is of de interne "features" van het model — de wiskundige bouwstenen die het gebruikt om de vorm van een kristal te begrijpen — een specifieke label dragen genaamd "pariteit". Pariteit is een manier om bij te houden hoe een vorm verandert wanneer deze in een spiegel wordt gereflecteerd of binnenstebuiten wordt gekeerd. De onderzoekers ontdekten dat als een model dit label mist, het wiskundig onbekwaam is om de exacte nul te voorspellen die door symmetrie vereist is, ongeacht hoe hard het probeert. Het zal altijd een kleine, niet-nul waarde produceren, wat een fysiek onmogelijke voorspelling vertegenwoordigt.

Om dit te bewijzen, stelden de onderzoekers een rigoureuze test op met behulp van een eigenschap genaamd de piëzo-elektrische tensor, die meet hoeveel elektriciteit een kristal produceert wanneer het wordt samengedrukt. Ze richtten zich op tweeduizend verschillende kristallen die bekend staan als centrosymmetrisch, wat betekent dat ze een centrum van symmetrie hebben. Volgens de wetten van de fysica moet de piëzo-elektrische respons voor al deze kristallen exact nul zijn. Het team nam verschillende van de meest geavanceerde machine learning-modellen die in het veld worden gebruikt en creëerde twee versies van elk. De ene versie werd gebouwd met de pariteitslabels geïncludeerd, terwijl de andere versie zonder de pariteitslabels werd gebouwd, identiek aan de andere op elk ander punt. Ze trainden beide versies vervolgens op dezelfde data en vroegen hen de piëzo-elektrische respons van de tweeduizend centrosymmetrische kristallen te voorspellen.

De resultaten waren spectaculair en onmiddellijk. De modellen met de pariteitslabels voorspelden een waarde van nul voor elk kristal, tot aan de grenzen van de computerprecisie. Ze identificeerden correct dat deze materialen geen elektriciteit konden produceren. In schril contrast hiermee faalden de modellen zonder de pariteitslabels spectaculair. Ze voorspelden een niet-nul elektrische respons voor 90 tot 96 procent van de kristallen. Deze voorspellingen waren geen kleine foutjes; ze waren vaak even groot als de werkelijke elektrische responsen van materialen die wel elektriciteit kunnen genereren. Het verschil tussen de twee groepen was niet een kwestie van een paar decimalen; het was een gat van zes grootheden, wat betekent dat de "foutieve" modellen een miljoen keer waarschijnlijker waren om een fysiek onmogelijke gebeurtenis te voorspellen dan de "juiste" modellen.

De onderzoekers testten vervolgens of training het probleem kon oplossen. Ze voedden de "foutieve" modellen extra data, specifiek door voorbeelden van centrosymmetrische kristallen met het juiste nul-label te tonen, in de hoop dat de modellen de regel zouden leren. Het werkte niet. Zelfs nadat ze duizenden voorbeelden hadden gezien waar het antwoord nul was, bleven de modellen niet-nul waarden voorspellen. Ze konden dichter bij nul komen, maar ze konden nooit de exacte nul bereiken die door de wetten van de fysica vereist is. De studie toonde ook aan dat het simpelweg middelen van de resultaten van een model en zijn spiegelbeeld het probleem niet oploste, omdat de onderliggende structuur van het model zelf blind was voor de symmetrieregel.

Deze bevinding heeft diepgaande implicaties voor het vakgebied van de materiaalkunde. Het suggereert dat de betrouwbaarheid van een machine learning-model niet alleen afhangt van de nauwkeurigheid bij standaardtests, maar van de structurele bekwaamheid om de fysieke realiteit te representeren. De onderzoekers auditeerden achttien verschillende machine learning-architecturen die momenteel in gebruik zijn en ontdekten dat precies de helft van hen de noodzakelijke pariteitslabels mist. Dit betekent dat een aanzienlijk deel van de instrumenten die wetenschappers gebruiken om nieuwe materialen te ontdekken, fundamenteel onbekwaam is om de juiste voorspelling te doen voor een grote klasse van kristallen. Het probleem is niet dat deze modellen slecht zijn in leren; het is dat hun ontwerp voorkomt dat ze deze specifieke waarheid kunnen leren.

De studie benadrukte ook een groeiende trend in het veld waarbij wetenschappers een vooraf getraind model nemen, dat de algemene structuur van atomen al heeft geleerd, en daar een nieuwe "head" aan koppelen om een specifieke eigenschap te voorspellen. De onderzoekers toonden aan dat als het oorspronkelijke model zonder pariteitslabels is gebouwd, de nieuwe eigenschapsvoorspeller die fout zal erven. Het maakt niet uit hoe zorgvuldig het nieuwe onderdeel is ontworpen; als het fundament de symmetrie-label mist, zal de hele structuur falen om de wetten van de fysica te respecteren. Dit betekent dat de beslissing om dit label toe te voegen of uit te sluiten wordt genomen "upstream", vaak door de makers van het basismodel, en dat het stilzwijgend de geldigheid dicteert van elke voorspelling die iemand later met dat model maakt.

Uiteindelijk betoogt het artikel dat voor machine learning echt betrouwbaar kan zijn in de wetenschap, de wetten van de fysica in de structuur van het model moeten zijn ingebakken, en niet alleen geleerd uit data. De onderzoekers stellen een eenvoudige controle voor: voordat men een model vertrouwt om een eigenschap te voorspellen die vanwege symmetrie nul zou moeten zijn, kan men dit in enkele seconden testen door een spiegelreflectie toe te passen op een willekeurige kristalstructuur. Als het model een niet-nul waarde voorspelt, mist het de noodzakelijke pariteitslabel en kan het voor die taak niet vertrouwd worden. Dit is geen suggestie voor verbetering, maar een vereiste voor fysieke validiteit. De studie concludeert dat de aanwezigheid of afwezigheid van dit enkele label bepaalt of een model een instrument voor ontdekking is of een bron van onmogelijke voorspellingen, en dat dit een detail is dat gerapporteerd en geverifieerd moet worden voor elk model dat wordt gebruikt in de zoektocht naar nieuwe materialen.