Can end-to-end learning from raw electronic structure explain magnetic anisotropy?

Stel je voor dat je een piepkleine, ultra-krachtige magneet probeert te bouwen van slechts enkele atomen. Om een dergelijk apparaat bruikbaar te maken voor het opslaan van gegevens of het uitvoeren van kwantumcalculaties, moet de magneet koppig zijn; hij moet zijn oriëntatie stevig vasthouden tegen elke externe duw. Deze koppigheid wordt magnetische anisotropie genoemd. Dit is de reden waarom een kompasnaald naar het noorden wijst in plaats van vrij rond te draaien. In de microscopische wereld van enkelvoudige atomen hangt deze eigenschap af van een delicate, onzichtbare dans van elektronen. Deze elektronen hebben een specifieke energie en spin, en ze interageren met de atoomkern op een manier die de richting van de magneet vergrendelt. Het voorspellen van exact hoe sterk deze vergrendeling zal zijn voor een nieuwe, op maat gemaakte atomaire magneet, is ongelooflijk moeilijk. Het vereist meestal massieve supercomputers om complexe vergelijkingen voor elk afzonderlijk atoom op te lossen, een proces dat traag en duur is.

Wetenschappers hebben onlangs geprobeerd computers te leren deze magnetische vergrendelingen te voorspellen met een andere aanpak: machine learning. In plaats van de computer een reeks vooraf geschreven regels te geven over hoe atomen zich gedragen, voeden ze de computer met ruwe data over de energieniveaus van de elektronen en laten ze de computer zelf de patronen ontdekken. Deze methode is flexibel en snel, maar komt met een verborgen valstrik. Omdat de computer zelf leert, kan hij een kortere route vinden die werkt voor de testdata, maar die de werkelijke wetten van de fysica niet weerspiegelt. Twee verschillende computermodellen kunnen beide de magnetische sterkte perfect voorspellen, terwijl het ene model naar de juiste fysieke aanwijzingen kijkt en het andere slechts een trucje uit het hoofd heeft geleerd. De grote vraag is: wanneer een machine learning-model het juiste antwoord geeft, begrijpt het dan ook de fysica die erachter zit, of is het gewoon een goede gok?

Een team van onderzoekers zette zich in om dit mysterie op te lossen door twee verschillende soorten kunstmatige intelligentiemodellen te testen op hetzelfde probleem. Ze wilden zien of deze modellen de ware relatie tussen de elektronische energieniveaus en de magnetische anisotropie van piekleine magneten gemaakt van paren zware metaalatomen op een laag koolstof konden leren. De onderzoekers vroegen de modellen niet alleen om een voorspelling te doen; ze bouwden een rigoureuze test om te zien waar de modellen naar "keken" binnen de data. Ze vergeleken een model dat informatie verwerkt als een reeks woorden met een ander model dat de data scant als een camera die een landschap scant. Beide modellen werden getraind op dezelfde ruwe elektronische data, die beschrijft hoeveel elektronen aanwezig zijn op elk energieniveau.

De resultaten toonden aan dat beide modellen inderdaad erg goed waren in het voorspellen van de magnetische sterkte en een vergelijkbare nauwkeurigheid bereikten op de data waarop ze getraind waren. Echter, toen de onderzoekers in de modellen keken om te zien welke delen van de elektronische data het belangrijkst waren, ontdekten ze iets verrassends. De twee modellen keken niet naar exact dezelfde kenmerken. Hoewel ze het over enkele belangrijke gebieden eens waren, met name de energieniveaus vlak bij de grens tussen bezette en onbezette elektronentoestanden, vertrouwden ze ook op verschillende details om tot hun conclusies te komen. Het ene model kan zich richten op een specifieke piek in de data, terwijl het andere model zich richt op de vorm van de dal naast die piek. Dit bewees dat zelfs wanneer twee modellen even accuraat zijn, ze kunnen vertrouwen op verschillende, en soms tegenstrijdige, interne logica.

Om te begrijpen welk model de waarheid sprak, voerden de onderzoekers een reeks gecontroleerde experimenten uit. Ze namen de ruwe elektronische data en pasten deze kunstmatig aan door kleine hoeveelheden energie toe te voegen of te verwijderen op specifieke plaatsen, en observeerden vervolgens hoe de modellen reageerden. Ze ontdekten dat de modellen niet altijd het eens waren over hoe deze veranderingen de magnetische sterkte zouden beïnvloeden. Soms zorgde het veranderen van een specifiek elektronisch kenmerk ervoor dat het ene model een sterkere magneet voorspelde, terwijl het andere model een zwakkere voorspelde. Dit onthulde dat de modellen niet alleen dezelfde fysieke realiteit lazen, maar dat ze verschillende functionele relaties hadden geleerd. De studie toonde aan dat het simpelweg hebben van een model dat goed voorspelt, niet genoeg is om de uitleg ervan te vertrouwen. De onderzoekers concludeerden dat je, om echt te begrijpen wat een machine learning-model heeft geleerd over de fysieke wereld, niet kunt vertrouwen op één enkele uitleg. In plaats daarvan moet je verschillende modellen vergelijken, de voorspellingen controleren aan de hand van gevestigde fysieke theorieën en testen hoe ze reageren wanneer je de data doelbewust verandert. Pas wanneer al deze verschillende bewijslijnen in dezelfde richting wijzen, kunnen we er zeker van zijn dat het model een werkelijke fysieke signatuur heeft ontdekt in plaats van een statistisch toeval.

Het team testte ook of het geven van een kleine hint vanuit de bekende fysica de modellen zou helpen om te generaliseren naar nieuwe situaties. Ze voegden een berekende bijdrage toe op basis van de standaard perturbatietheorie — een goed begrepen methode voor het schatten van magnetische effecten — aan de inputdata. Hoewel dit de prestaties op de data die ze al hadden gezien niet drastisch veranderde, hielp het hen wel om beter te presteren wanneer ze werden geconfronteerd met geheel nieuwe typen atomaire magneten die verschilden van de trainingsset. Deze verbetering was echter niet universeel; het hing sterk af van het type model dat werd gebruikt en van de specifieke taak die het model moest oplossen. Deze bevinding suggereert dat hoewel het injecteren van bekende fysica kan helpen, dit het probleem niet automatisch oplost dat modellen de verkeerde dingen kunnen leren.

Uiteindelijk laat dit werk zien dat end-to-end leren van ruwe elektronische data inderdaad kandidaat-signaturen van magnetische anisotropie kan identificeren zonder dat daar menselijk ontworpen shortcuts voor nodig zijn. Maar de weg naar een geloofwaardig, microscopisch begrip van deze signatures is geen rechte lijn. Het vereist een convergentie van bewijs: controleren of verschillende modelarchitecturen het met elkaar eens zijn, verifiëren of de geïdentificeerde patronen overeenkomen met de fysieke theorie, en bevestigen dat de modellen logisch reageren op gecontroleerde veranderingen in de data. De onderzoekers ontdekten dat hoewel deze modellen krachtige instrumenten voor ontdekking kunnen zijn, hun interne redenering zorgvuldig moet worden onderzocht. Zonder deze meerlagige verificatie riskeren we een voorspelling van een model te accepteren als een fysieke waarheid, terwijl het in feite een slimme, maar uiteindelijk misleidende patroonherkenning kan zijn.