Probing out-of-distribution generalization in machine learning for materials
Deze studie onthult dat veelvoorkomende heuristische evaluaties in machine learning voor materiaalkunde vaak de generaliseerbaarheid en de voordelen van neurale schaling overschatten omdat ze primair interpolatie binnen het trainingsdomein testen in plaats van werkelijke extrapolatie buiten de distributie, waarbij het vergroten van de hoeveelheid data of modelgrootte afnemende of nadelige rendementen oplevert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de zoektocht naar nieuwe materialen hebben wetenschappers steeds vaker de wending genomen naar kunstmatige intelligentie om het proces te versnellen. Stel je een enorme bibliotheek voor die miljoenen recepten bevat voor verschillende stoffen, elk met unieke eigenschappen zoals sterkte, geleidbaarheid of hoeveel energie het kost om ze te vormen. Traditioneel betekende het vinden van een nieuw materiaal het testen van één recept na het andere in een laboratorium, een traag en kostbaar streven. Machine learning biedt een kortere route: door de bestaande bibliotheek te bestuderen, kan een computer de regels van de chemie leren en de eigenschappen voorspellen van materialen die hij nog nooit eerder heeft gezien. Het ultieme doel is om modellen te bouwen die werkelijk algemeen zijn, wat betekent dat ze nauwkeurige voorspellingen kunnen doen over compleet nieuwe soorten materie, en niet alleen over stoffen die lijken op wat ze al eerder hebben bestudeerd. Dit vermogen om met het onbekende om te gaan, is cruciaal voor het oplossen van wereldwijde uitdagingen, van het creëren van betere batterijen tot het ontwerpen van efficiëntere zonnepanelen. Er blijft echter een hardnekkige vraag bestaan over hoe goed deze digitale hulpmiddelen daadwerkelijk werken wanneer ze geconfronteerd worden met het werkelijk onbekende.
Een team van onderzoekers zette zich schar toe om de grenzen van deze machine learning-modellen in het vakgebied van de materiaalkunde te testen. Ze wilden weten of de modellen werkelijk de diepe wetten van de natuur leerden of dat ze simpelweg patronen memoriseerden die toevallig leken op nieuwe ontdekkingen. Om dit te doen, ontwierpen ze een massaal experiment met meer dan 700 verschillende uitdagingen. In elke uitdaging trainden ze een computermodel op een grote collectie bekende materialen en vroegen het vervolgens om de eigenschappen te voorspellen van een specifieke groep materialen die volledig afwezig waren in de trainingsdata. Deze groepen werden gedefinieerd door specifieke regels, zoals "alle materialen die een bepaald element bevatten" of "alle materialen met een specifieke kristalvorm". De onderzoekers testten een breed scala aan modellen, variërend van eenvoudige, gevestigde algoritmen tot complexe, moderne neurale netwerken die het menselijk brein nabootsen.
De resultaten waren verrassend. In de overgrote meerderheid van deze 700 uitdagingen presteerden de modellen uitzonderlijk goed, zelfs wanneer de testmaterialen elementen of structuren bevatten die ze tijdens de training nooit waren tegengekomen. Eenvoudige modellen, die gebruikmaken van basisregels voor besluitvorming, presteerden vaak net zo goed als de meest geavanceerde deep learning-systemen. Dit hoge niveau van succes suggereerde dat de modellen niet zozeer moeite hadden met het generaliseren naar nieuwe chemie als voorheen gedacht. De onderzoekers groeven echter dieper om te begrijpen waarom dit gebeurde. Ze ontdekten dat de definitie van "nieuw" in deze tests vaak misleidend was. Hoewel de testmaterialen technisch gezien verschillend waren in hun chemische ingrediënten, bevonden ze zich vaak in dezelfde algemene buurt in de wiskundige ruimte die de modellen gebruiken om materialen te begrijpen. Met andere woorden, de modellen begaven zich niet werkelijk in het onbekende; ze vulden simpelweg de gaten op tussen wat ze al wisten.
Om dit te bewijzen, bracht het team het wiskundige landschap in kaart waar deze materialen zich bevinden. Ze ontdekten dat voor de taken waarbij de modellen slaagden, de nieuwe materialen zich feitelijk omringd hielden door de trainingsdata, waardoor de modellen veilige gokken konden doen op basis van nabijgelegen voorbeelden. Maar toen ze keken naar de weinige taken waarbij de modellen faalden, ontdekten ze dat de testmaterialen werkelijk geïsoleerd waren, ver weg van enige data die de modellen hadden gezien. Dit onderscheid onthulde een kritiek gebrek in de manier waarop het vakgebied succes meet. Veel van de tests die werden gevierd als bewijs voor het vermogen van een model om met het onbekende om te gaan, waren in feite slechts tests voor het vermogen om te interpoleren, of het voorspellen van het middengebied tussen bekende punten. De modellen vertoonden geen magisch vermogen om te extrapoleren naar de verre uithoeken van de chemische ruimte; ze verbondenen simpelweg de punten in een regio die ze al begrepen.
De studie daagde ook een populair idee in de kunstmatige intelligentie aan, bekend als schaling. De heersende overtuiging is dat als je simpelweg de trainingsdataset groter maakt of het model langer laat trainen, het vermogen om te generaliseren altijd zal verbeteren. De onderzoekers testten dit door de modellen steeds meer data te voeren. Voor de gemakkelijke taken, waarbij de nieuwe materialen dicht bij de oude lagen, verbeterde de prestatie inderdaad met meer data. Maar voor de werkelijk moeilijke taken, waarbij de materialen ver buiten de trainingszone lagen, hielp het toevoegen van meer data of trainingstijd niet. In sommige gevallen maakte het de modellen zelfs slechter, waardoor ze overfitten op de bekende data en hun vermogen verloren om correct te raden over het onbekende. Dit suggereert dat de belofte dat opschalen alle problemen met generalisatie zal oplossen, overdreven is wanneer het gaat om werkelijk nieuwe materialen.
De onderzoekers concludeerden dat het vakgebied voorzichtiger moet zijn in de manier waarop het generalisatie definieert en test. De huidige methoden, die vertrouwen op eenvoudige regels om trainingsdata van testdata te scheiden, creëren vaak illusies van succes. Ze laten zien dat modellen goed zijn in waar ze goed in zijn, maar ze bewijzen niet noodzakelijkerwijs dat deze modellen de werkelijk moeilijke, onvoorziene uitdagingen aankunnen die de toekomstige wetenschappelijke doorbraken zullen aandrijven. De studie zegt niet dat machine learning faalt; het suggereert eerder dat we de verkeerde vragen hebben gesteld. Door te erkennen dat veel van onze "moeilijke" tests eigenlijk vrij eenvoudig zijn voor de modellen, kunnen wetenschappers nu focussen op het ontwerpen van werkelijk uitdagende opdrachten. Deze verschuiving zal helpen om de echte hiaten in ons begrip te identificeren en de ontwikkeling van modellen te sturen die werkelijk door de onontgonnen gebieden van de materiaalkunde kunnen navigeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.