Discovery of Interpretable Physical Laws in Materials via Language-Model-Guided Symbolic Regression

Dit artikel introduceert een raamwerk dat grote taalmodellen gebruikt om de zoekruimte voor symbolische regressie met een factor $10^5$ te verkleinen, waardoor interpreteerbare en nauwkeurige fysische wetten voor perovskietmaterialen efficiënter kunnen worden ontdekt.

De kern

De Schatzoeker met een Slimme Kompas: Hoe AI Wiskundige Formules Ontdekt in Materialen

Stel je voor dat je een enorme berg schatten moet vinden in een uitgestrekt, mistig landschap. Deze schatten zijn de wiskundige formules die uitleggen hoe materialen werken (bijvoorbeeld waarom een steen hard is of waarom een zonnepaneel licht opvangt).

Vroeger was dit zoeken erg lastig. Wetenschappers gebruikten methoden die als een blinde muis door de mist liepen. Ze probeerden elke mogelijke combinatie van getallen en variabelen. Het probleem? Ze vonden vaak formules die wel goed werkten om de data te voorspellen, maar die geen zin hadden in de echte wereld. Het was alsof ze een formule vonden die zei: "De hardheid van een steen hangt af van de kleur van de wolken en de prijs van banaan." Het klopt misschien statistisch, maar het is fysisch onzinnig.

De Oplossing: LangLaw (De Slimme Kompas)

In dit paper introduceren de auteurs LangLaw. Dit is een slimme samenwerking tussen twee soorten kunstmatige intelligentie:

1. De Symbolische Regressie (De Muis): Dit is de krachtige rekenmachine die alle mogelijke wiskundige formules kan bouwen.
2. De Grote Taalmodel (LLM) (De Ervarte Gids): Dit is een AI die miljoenen boeken en wetenschappelijke artikelen heeft gelezen. Hij weet hoe de natuurwetten werken.

Hoe werkt het? Een Analogie uit het Dagelijks Leven

Stel je voor dat je een recept wilt vinden voor de perfecte taart.

• De oude methode (Blinde Muis): Je gooit willekeurig ingrediënten in een kom. Soms heb je suiker, soms zout, soms asfalt. Je proeft het. Als het toevallig lekker smaakt, houd je het recept vast. Maar het recept is een raadsel en je snapt niet waarom het werkt.
• De nieuwe methode (LangLaw): Je hebt een kookmeester (de LLM) bij de hand.
  • De kookmeester kijkt naar je lijst met ingrediënten (zoals atoomgrootte of elektriciteit).
  • Hij zegt: "Stop! Asfalt en zout hebben niets met taart te maken. Laten we alleen kijken naar suiker, bloem en eieren."
  • Hij geeft de rekenmachine (de muis) een lijst met alleen de betekenisvolle ingrediënten.
  • De rekenmachine bouwt nu alleen formules met die goede ingrediënten.
  • Als de rekenmachine een recept vindt, kijkt de kookmeester weer: "Hm, dit werkt goed, maar het is te ingewikkeld. Laten we de volgende keer proberen dit en dat te combineren."

Door deze samenwerking vinden ze niet alleen een recept dat werkt, maar een eenvoudig, logisch recept dat je echt begrijpt.

Wat hebben ze ontdekt?

De auteurs hebben deze methode getest op drie belangrijke gebieden in de materialenwetenschap:

1. De Hardheid van Kristallen (Bulk Modulus): Ze vonden een simpele formule die uitlegt hoe makkelijk een materiaal samendrukt. In plaats van een ingewikkelde wiskundige soep, vonden ze een lineaire relatie die logisch is: hoe "zacht" de elektronenwolk is, hoe makkelijker het materiaal vervormt.
2. De Kleur van Licht (Band Gap): Voor materialen die licht in elektriciteit omzetten, vonden ze een formule die veel korter en duidelijker is dan eerdere versies. Het bleek dat bepaalde atoom-eigenschappen de sleutel waren, en de AI wist precies welke.
3. Brandstofproductie (OER): Voor het maken van schone brandstof vonden ze een formule die laat zien dat de vorm van de atoomstructuur belangrijker is dan eerder werd gedacht.

Waarom is dit zo belangrijk?

• Minder Ruis: De oude methoden zochten in een ruimte die 100.000 keer groter was dan nodig. LangLaw snijdt die ruimte drastisch kleiner door alleen naar de "zinvolle" dingen te kijken.
• Verstaanbaar: De formules zijn niet alleen nauwkeurig, maar ook interpreteerbaar. Wetenschappers kunnen er hun hoofd bij neigen en zeggen: "Ah, dat klopt! Dat is hoe de natuur werkt."
• Kleine Datasets: Vaak zijn er in de wetenschap maar weinig meetpunten (te duur om te meten). Pure datamodellen (zoals Deep Learning) falen dan vaak, maar omdat LangLaw gebruikmaakt van de "kennis" van de AI, werkt het zelfs met weinig data heel goed.

Conclusie

Dit paper laat zien dat AI niet alleen een "zwarte doos" hoeft te zijn die antwoorden geeft zonder uitleg. Door een slimme gids (de taal-AI) te laten samenwerken met een krachtige rekenmachine, kunnen we de fundamentele wetten van de natuur weer begrijpelijk en helder maken. Het is alsof we de mist in het landschap hebben laten verdwijnen en nu precies weten waar de schatten liggen.

Technische samenvatting

Probleemstelling

Het nauwkeurig voorspellen van fysische eigenschappen is een kerndoel in de materialenwetenschap. Hoewel diepe leermethoden (zoals Graph Neural Networks) uitstekende prestaties leveren, functioneren ze als "black boxes": ze kunnen geen onderliggende fysische mechanismen verklaren of inzicht bieden in de oorzaken van bepaalde eigenschappen.

Symbolische regressie (SR) is een alternatief dat expliciete wiskundige formules probeert te vinden die data beschrijven. Echter, traditionele SR-methoden (zoals genetische programmering of SINDy) hebben te kampen met een combinatorische explosie. Omdat ze vaak geen voorafgaand fysisch inzicht hebben, zoeken ze blind door een enorme ruimte van mogelijke variabelen en formules. Dit leidt vaak tot complexe, onfysische formules die statistisch goed passen bij de data, maar geen echte fysische betekenis hebben of de onderliggende wetten niet onthullen.

Daarnaast zijn Large Language Models (LLM's) tot nu toe beperkt geweest in het direct analyseren van complexe, hoogdimensionale numerieke patronen in materialenwetenschap, ondanks hun rijke kennis van wetenschappelijke concepten.

Methodologie: Het LangLaw Framework

De auteurs introduceren LangLaw, een raamwerk dat de kracht van Symbolische Regressie combineert met het wetenschappelijke kennisvermogen van Large Language Models (LLM's). Het doel is om de zoekruimte van SR intelligent te sturen in plaats van blind te zoeken.

Het proces werkt als een iteratieve lus:

1. LLM-analyse: De LLM (in dit geval Intern-S1, een multimodaal fundamenteel model) analyseert de beschrijvingen van invoerfeatures (zoals elektronegativiteit, atoomstraal, ionisatiepotentiaal).
2. Zoekruimte-beperking: Gebaseerd op zijn wetenschappelijke kennis, selecteert de LLM de fysiek relevante variabelen en filtert hij variabelen weg die statistisch kunnen correleren maar fysisch onzin zijn. Dit verkleint de effectieve zoekruimte met een factor van ongeveer $10^5$.
3. Symbolische Regressie: Een SR-engine (geïmplementeerd met PySR) voert de zoektocht uit binnen deze beperkte ruimte om kandidaat-formules te genereren.
4. Experience Pool & Feedback: De resultaten van elke iteratie (formules, parameters, fouten) worden opgeslagen in een "Experience Pool". De LLM analyseert deze historische data om te leren welke variabele combinaties effectief zijn, en verfijnt vervolgens de instructies voor de volgende ronde.
5. Pareto-front: Het systeem zoekt naar formules die een optimale balans vinden tussen nauwkeurigheid en complexiteit (de Pareto-front).

Kernbijdragen

• Integratie van LLM en SR: Het is een van de eerste methoden die LLM's niet gebruikt als eind-tot-eind regressiemotor, maar als een intelligente gids die de zoekruimte van SR fysiek onderbouwd beperkt.
• Efficiëntie: Door de zoekruimte drastisch te verkleinen, wordt het probleem van de combinatorische explosie opgelost, wat leidt tot snellere en meer betrouwbare ontdekkingen.
• Interpreteerbaarheid: Het systeem produceert formules die niet alleen nauwkeurig zijn, maar ook fysiek interpreteerbaar en eenvoudig, in tegenstelling tot de complexe "spaghetti-code" van traditionele SR.

Resultaten

Het framework werd getest op drie representatieve datasets voor materiaaleigenschappen:

1. Bulk Modulus (Perovskieten):

   • LangLaw ontdekte een lineaire formule die de bulk modulus ($B_0$) relateert aan elektronenaffiniteit, ionisatiepotentiaal en elektronegativiteit.
   • De formule is fysiek interpreteerbaar: de eerste term meet de "zachtte" van de elektronenwolk, en de tweede term corrigeert voor ionische bindingen.
   • Generalisatie: Bij testen op Out-of-Distribution (OOD) data (nieuwe perovskiet-samenstellingen) presteerde de LangLaw-formule aanzienlijk beter dan eerdere methoden (HI-SISSO), met veel lagere voorspellingsfouten.

2. Bandgap (Loos-vrije dubbele perovskieten):

   • Er werd een formule gevonden die de bandgap relateert aan valentie-elektronen en ionstralen.
   • De formule bleek vergelijkbaar met eerdere SISSO-resultaten, maar was aanzienlijk beknopter en behield dezelfde nauwkeurigheid. De analyse toonde aan dat bepaalde complexe termen in eerdere formules eigenlijk als constanten konden worden behandeld.

3. OER-activiteit (Zuurstofontwikkelingsreactie):

   • LangLaw vond een formule die de activiteit relateert aan geometrische factoren (tolerantie-factor en octaëdrische factor).
   • De analyse toonde aan dat de tolereantie-factor ($t$) een verwaarloosbare invloed had, wat leidde tot nog eenvoudigere formules die alleen op de octaëdrische factor ($\mu$) leunden, maar met hogere nauwkeurigheid dan eerdere GPSR-methoden.

Vergelijking met andere methoden:

• Tegenover Deep Learning (CGCNN, ALIGNN): LangLaw presteerde beter, vooral bij kleine datasets en OOD-data. Deep learning modellen vertoonden overfitting bij beperkte data.
• Tegenover andere LLM-methoden (LLM-SR): De door LangLaw gevonden formules waren minder complex en hadden lagere voorspellingsfouten dan die van LLM-SR, wat aantoont dat de gids-functie van de LLM cruciaal is.

Betekenis en Impact

Deze studie markeert een belangrijke stap in de toepassing van AI in de wetenschap:

• Van Predictor naar Ontdekker: Het toont aan dat LLM's meer kunnen zijn dan alleen tekstgeneratoren of voorspellers; ze kunnen fungeren als kennis-gestuurde zoekmachines die fundamentele fysische relaties helpen ontdekken.
• Data-efficiëntie: De methode is bij uitstek geschikt voor materialenwetenschap, waar data vaak schaars is door de hoge kosten van experimenten en simulaties.
• Interpreteerbare Ontwikkeling: Het biedt onderzoekers een praktisch instrument om "black box" data om te zetten in begrijpelijke, mechanisme-gedreven wetten, wat essentieel is voor het ontwerpen van nieuwe materialen op een fundamenteel niveau.

Kortom, LangLaw overbrugt de kloof tussen de data-gedreven kracht van AI en de fysieke inzichtelijkheid die nodig is voor echte wetenschappelijke doorbraken.