Measuring trainable degrees of freedom in materials graph neural networks: a random-subspace intrinsic dimension analysis

In de zoektocht naar het ontwerpen van betere materialen hebben wetenschappers zich gericht op een krachtig nieuw hulpmiddel: kunstmatige intelligentie die de onzichtbare architectuur van materie kan "zien". Deze systemen, bekend als graph neurale netwerken, behandelen een materiaal niet als een solide blok, maar als een kaart van atomen die verbonden zijn door bindingen, vergelijkbaar met een metrosysteem waarbij stations atomen zijn en rails de chemische verbindingen tussen hen vormen. Door deze kaarten te bestudelen, leert de computer hoe een materiaal zal reageren—of het elektriciteit geleidt, hoe hard het is om te verpletteren, of hoe het vibreert. Jarenlang was de enige manier om te beoordelen of een van deze AI-modellen goed was, door naar de eindscore te kijken: hoe dicht de voorspelling van het model bij de werkelijke, in een laboratorium gemeten waarde lag. Als de fout klein was, werd het model als een succes beschouwd. Maar dit enkele getal verbergt een cruciaal mysterie. Het vertelt ons niet hoe het model het antwoord daadwerkelijk heeft geleerd, of hoeveel van zijn eigen interne "denkkracht" het nodig had om daar te komen.

Een team van onderzoekers aan de King Abdullah University of Science and Technology besloot achter het gordijn te kijken. Ze wilden niet alleen het eindresultaat begrijpen, maar ook het pad dat het model had afgelegd om daar te komen. Stel je een student voor die een toets maakt. Als twee studenten allebei een A halen, nemen we aan dat ze even slim zijn. Maar wat als de ene student elke enkele feit uit het tekstboek moest memoriseren om dat A te halen, terwijl de andere slechts een paar kernconcepten hoefde te begrijpen? De eerste student is fragiel; als je een paar pagina's uit hun tekstboek verwijdert, falen ze. De tweede student is robuust; zij kunnen nog steeds slagen, zelfs met een veel kleiner boek. De onderzoekers realiseerden zich dat huidige AI-modellen voor materialen vaak worden behandeld als de eerste student. We weten dat ze het juiste antwoord geven, maar we weten niet of ze vertrouwen op een uitgestrekt, complex web van verbindingen of dat ze het probleem met een veel eenvoudiger brein zouden kunnen oplossen. Om dit te ontdekken, ontwikkelden ze een nieuwe manier om deze modellen te testen door hun vermogen om te leren doelbewust te beperken.

Het team nam drie populaire AI-modellen die worden gebruikt voor het voorspellen van materiaaleigenschappen en dwong hen om te leren met slechts een fractie van hun beschikbare "denkruimte". Normaal gesproken hebben deze modellen honderdduizenden verstelbare knoppen die ze kunnen draaien om hun voorspellingen te verbeteren. De onderzoekers vergrendelden de meeste van deze knoppen en lieten de modellen slechts een kleine, willekeurige selectie van deze knoppen aanpassen. Ze begonnen met een zeer kleine selectie—slechts een flinterdunne strook van de totale beschikbare ruimte—en keken hoe de modellen presteerden. Vervolgens ontgrendelden ze langzaam meer knoppen, waardoor de modellen meer vrijheid kregen om te leren, totdat ze toegang hadden tot hun volledige capaciteit. Door te meten hoe de prestaties van de modellen verbeterden naarmate ze deze vrijheden herwonnen, konden de onderzoekers een "herstelcurve" voor elke taak tekenen. Deze curve onthulde een verborgen waarheid: sommige materiaaleigenschappen zijn gemakkelijk te leren en vereisen zeer weinig mentale inspanning, terwijl andere ongelooflijk moeilijk zijn en de volledige kracht van het hele brein van het model eisen.

De resultaten toonden aan dat verschillende materialen op verrassend verschillende manieren gedrag vertonen. Het voorspellen of een metaal magnetisch is of het berekenen van de volumetrische stijfheid bleek relatief eenvoudig te zijn. Deze modellen konden bijna perfecte nauwkeurigheid herstellen, zelfs wanneer ze slechts ongeveer vijf tot tien procent van hun totale verstelbare parameters mochten gebruiken. Het was alsof deze taken konden worden opgelost met een kleine, gefocuste set regels. Het voorspellen van de energie die nodig is om een materiaal te vormen of de grootte van de elektronische bandgap was echter veel moeilijker. Deze taken vertoonden een sterke afhankelijkheid van het specifieke ontwerp van het AI-model. Eén model, genaamd ALIGNN, kon het probleem van de vormingsenergie oplossen met slechts vijftien procent van zijn capaciteit, terwijl de andere twee modellen de helft van hun parameters moesten ontgrendelen om hetzelfde niveau van nauwkeurigheid te bereiken. Dit suggereerde dat de manier waarop een model is gebouwd diepgaand uitmaakt voor bepaalde taken, en dat de eindscore van een model alleen niet het hele verhaal vertelt over de efficiëntie ervan.

De meest opvallende bevinding kwam uit de studie naar hoe materialen vibreren, bekend als fonon-voorspelling. Deze taak was het meest gevoelig voor de beperking van de leervrijheid. Naarmate de onderzoekers meer van de parameters van het model vergrendelden, verslechterde de prestaties van de modellen over het algemeen aanzienlijk. De gedragingen varieerden echter per architectuur: één model, DimeNet++, was minder accuraat in absolute termen dan het best presterende model, ALIGNN, maar vertoonde een minder uitgesproken gemiddelde daling in prestaties over een deel van de dimensionale sweep. Dit contrast benadrukte een afweging: het model met de laagste eindfout was niet noodzakelijkerwijs degene die het minst verslechterde wanneer de leervrijheid werd beperkt. Dit gaf aan dat het voorspellen van trillingen een hoog gecoördineerde inspanning vereist over het gehele netwerk van de parameters van het model. Het is geen taak die kan worden opgelost met een paar slimme trucjes; het vereist de volledige, onbelemmerde toegang tot de gehele optimalisatieruimte van het model. Bovendien vonden de onderzoekers dat deze gevoeligheid varieerde per hoeveelheid data waarop het model werd getraind. Voor het voorspellen van bandgaps maakte het toevoegen van meer data de taak juist moeilijker voor het model om met beperkte middelen op te lossen, waarbij een groter deel van de parameters van het model nodig was om dezelfde nauwkeurigheid te bereiken. Dit suggereert dat naarmate de data complexer wordt, het model meer van zijn interne machinerie moet ontgrendelen om de nieuwe informatie te kunnen verwerken.

De studie daagde ook een algemeen aanvaarde aanname over hoe deze modellen opschalen uit. Wanneer de onderzoekers de modellen groter maakten door hun omvang te vergroten, ontdekten ze dat het absolute aantal parameters dat nodig is om een probleem op te lossen, in directe verhouding tot de grootte van het model groeide. Een model dat twaalf keer groter was, had ongeveer twaalf keer zoveel verstelbare knoppen nodig om zijn volledige potentieel te bereiken. Dit betekent dat het simpelweg groter maken van een model niet automatisch zorgt voor meer efficiëntie; het geeft het alleen een grotere poel van middelen om uit te putten. Het fractie van het model dat nodig is om het probleem op te lossen bleef ongeveer gelijk, maar de totale hoeveelheid "denkkracht" die vereist was, nam toe. Deze bevinding suggereert dat de complexiteit van de taak verbonden is aan de specifieke manier waarop het model is gebouwd, in plaats van een vaste eigenschap van het materiaal zelf te zijn.

Uiteindelijk biedt dit werk een nieuwe lens voor het begrijpen van kunstmatige intelligentie in de wetenschap. Het laat zien dat een hoge score op een toets niet de enige maatstaf is voor de kwaliteit van een model. Een model dat een hoge score bereikt door bijna al zijn beschikbare middelen te gebruiken, is fundamenteel anders dan een model dat dezelfde score bereikt met een fractie van zijn capaciteit. De eerste is fragiel en kan moeite hebben wanneer het geconfronteerd wordt met nieuwe of licht afwijkende data, terwijl de tweede robuust en efficiënt is. Door in kaart te brengen hoeveel vrijheid een model nodig heeft om verschillende materiaaleigenschappen te leren, kunnen wetenschappers nu het juiste instrument voor de taak kiezen, betere datasets ontwerpen en de ware complexiteit van de fysieke wereld die ze proberen te simuleren, begrijpen. De eindscore vertelt ons wat het model kan doen, maar deze nieuwe methode vertelt ons hoe het het doet, waardoor de verborgen architectuur van het leren zelf wordt onthuld.