Materials representations organize transferable supervision for chemical extrapolation
Dit artikel으로 toont aan dat vooraf getrainde kristalgraaf-representaties effectief elementen kunnen rangschikken op basis van de overdraagbare supervisie die hun verbindingen bieden voor chemische extrapolatie, waarbij ze traditionele metrieken voor gelijkenis tussen elementeigenschappen overtreffen en een geïnformeerde datasetbeoordeling mogelijk maken zonder dat daarvoor labels van de doel-eigenschap vereist zijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De zoektocht naar nieuwe materialen is vaak een spel van onderbouwde gissingen. Wetenschappers moeten voorspellen hoe een stof zich zal gedragen—of het elektriciteit geleidt, energie opslaat of hitte kan weerstaan—lang voordat ze het in een laboratorium kunnen synthetiseren. Om dit te versnellen, gebruiken onderzoekers computermodellen die getraind zijn op bekende gegevens om deze voorspellingen te doen. Deze modellen worden echter geconfronteerd met een aanzienlijke hindernis wanneer ze gevraagd wordt de eigenschappen van geheel nieuwe soorten chemie te raden, specifiek verbindingen die elementen bevatten die het model nog nooit eerder heeft gezien. Als een model alleen over ijzer en koolstof heeft geleerd, kan het dan betrouwbaar het gedrag voorspellen van een verbinding die een zeldzaam element bevat dat het nog nooit is tegengekomen? De uitdaging ligt in het uitzoeken welke van de bekende materialen in de trainingsdata daadwerkelijk nuttig zijn om het model iets te leren over deze onbekenden.
Een team van onderzoekers aan het National Institute for Materials Science in Japan heeft een manier ontwikkeld om deze vraag te beantwoorden zonder de uiteindelijke eigenschappen van de doelmaterialen te hoeven kennen. Ze ontdekten dat de manier waarop een computermodel chemische gegevens "ziet" en organiseert, bepaalt welke bekende verbindingen de beste leraren zijn voor nieuwe, onbekende verbindingen. Door de geometrische structuur te analyseren van hoe materialen in het geheugen van een computer worden gerepresenteerd, ontdekten ze dat een model andere elementen kan rangschikken op basis van hoeveel hun verbindingen het model zouden helpen leren. Deze rangschikking werkt zelfs voordat het model is getraind op een specifieke eigenschap, wat suggereert dat de structuur van de data zelf de sleutel is tot succesvolle voorspelling.
In dit onderzoek richtten de onderzoekers zich op twee verschillende manieren waarop computers chemische verbindingen representeren. De eerste methode vertrouwt op handmatig vervaardigde regels, waarbij wetenschappers handmatig specifieke atomaire eigenschappen selecteren, zoals de grootte van een atoom of de elektrische aantrekkingskracht, om een beschrijving van een materiaal op te bouwen. De tweede methode gebruikt een vooraf getraind neuraal netwerk, een type kunstmatige intelligentie dat zijn eigen beschrijvingen leert door miljoenen verbindingen te bestuderen. De onderzoekers testten beide methoden door een eenvoudige vraag te stellen: als we alle verbindingen die een specifiek element bevatten uit de trainingsdata verwijderen, welke andere elementen moeten we dan in de trainingsset houden om het model te helpen de eigenschappen van dat ontbrekende element te raden?
Om het antwoord te vinden, gebruikten ze een techniek genaamd "leave-one-element-out". Ze namen een enorme database van bekende materialen en verstopten tijdelijk alle verbindingen die een specif kind element bevatten, zoals magnesium, om als doelwit te dienen. Vervolgens verdeelden ze de resterende verbindingen in groepen op basis van welke andere elementen ze bevatten. Gebruikmakend van de twee verschillende representatiemethoden, rangschikten ze deze groepen om te zien welke het meest vergelijkbaar waren met de verborgen magnesiumverbindingen in de interne kaart van de computer. Ze trainden vervolgens voorspellingsmodellen op de hoogst gerangschikte groepen en testten hoe goed die modellen de eigenschappen van de verborgen magnesiumverbindingen konden raden.
De resultaten toonden een duidelijk en consistent patroon. Wanneer de onderzoekers de hoogst gerangschikte groepen verbindingen uitsloten van de trainingsdata, stortte het vermogen van het model om de eigenschappen van het verborgen element te voorspellen in. De fout bij het voorspellen van vormingsenergie, een maat voor stabiliteit, schoot met ongeveer 100 tot 110 millielectronvolt per atoom omhoog, en de fout bij het voorspellen van de bandgap, die gerelateerd is aan elektrische geleidbaarheid, nam met 42 tot 85 millielectronvolt toe. In contrast hiermee had het verwijderen van de laagst gerangschikte groepen bijna geen effect op de prestaties van het model. Dit bewees dat het rangschikkingssysteem succesvol had geïdentificeerd welke bekende chemieën de meest waardevolle lessen boden voor het leren over het onbekende.
De twee representatiemethoden organiseerden deze supervisie echter op zeer verschillende manieren. De handmatige methode, die steunt op vooraf gedefinieerde atomaire eigenschappen, rangschikte de nuttige verbindingen op basis van hoe vergelijkbaar de elementen waren in termen van hun basis fysieke kenmerken, zoals elektronegativiteit of atomaire straal. Dit komt overeen met de traditionele chemische intuïtie, waarbij elementen in dezelfde kolom van het periodiek systeem naar verwachting vergelijkbaar gedrag vertonen. Het vooraf getrainde neurale netwerk produceerde daarentegen een rangschikking die niet overeenkwam met deze traditionele gelijkenissen. In plaats daarvan rangschikte het elementen op basis van de geometrische richting waarin hun verbindingen verschoven binnen de interne representatieruimte van de computer. In dit geleerde beeld werden elementen die binnen complexe verbindingen vergelijkbaar gedrag vertonen, gegroepeerd, zelfs als hun basisatomaire eigenschappen zeer verschillend waren.
De onderzoekers ontdekten dat deze geleerde rangschikking veel effectiever was dan het vertrouwen op groepen in het periodiek systeem of eenvoudige eigenschapsgelijkenis. Wanneer zij de top-gerangschikte elementen uit de lijst van het neurale netwerk gebruikten om hun modellen te trainen, waren de voorspellingen aanzienlijk nauwkeuriger dan wanneer zij elementen gebruikten die simpelweg in dezelfde periodieke groep zaten. Dit suggereert dat het neurale netwerk iets diepers vastlegt over hoe elementen interageren binnen een verbinding, in plaats van alleen hoe ze er in isolatie uitzien. De studie toonde aan dat deze rangschikking robuust was; het bleef standhouden bij verschillende databases, verschillende soorten materiaaleigenschappen en verschillende machine learning-algoritmen.
Misschien wel het belangrijkste is dat de onderzoekers hebben aangetoond dat deze rangschikking kan worden bepaald voordat er überhaupt een eigenschapsmodel wordt getraind. Omdat de rangschikking alleen afhangt van de geometrische structuur van de materiaalrepresentaties en niet van de specifieke doel-eigenschap, kunnen wetenschappers beoordelen welke delen van een dataset het meest nuttig zullen zijn voor een nieuw ontdekkingsproject zonder eerst dure experimenten of complexe berekeningen te hoeven uitvoeren. Deze capaciteit stelt onderzoekers in staat om hiaten in hun data te identificeren en te prioriteren welke nieuwe verbindingen ze moeten labelen en bestuderen. Als de top-gerangschikte bron-elementen zwak gerelateerd zijn aan de doelchemie, suggereert dit dat de huidige manier van het representeren van de data mogelijk moet veranderen. Als de top-gerangschikte elementen wel aanwezig zijn maar niet gelabeld, vertelt dit wetenschappers precies waar ze hun inspanningen op moeten richten om nieuwe gegevens te verzamelen.
De bevindingen bieden een nieuw perspectief op hoe machine learning omgaat met het onbekende. In plaats van alle bekende data als even nuttig te behandelen, laat de studie zien dat de waarde van een datapunt volledig afhangt van hoe het model gestructureerd is om het te interpreteren. Door te begrijpen hoe deze representaties supervisie organiseren, kunnen wetenschappers hun datasets beter ontwerpen en de juiste instrumenten kiezen voor het verkennen van nieuwe chemische gebieden. Deze aanpak gaat verder dan simpelweg hopen dat een model goed zal generaliseren; het biedt een concrete methode om te identificeren welke bekende materialen het model daadwerkelijk zullen leren hoe het met het onbekende moet omgaan, waardoor het proces van chemische ontdekking verandert in een meer geleide en efficiënte onderneming.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.