Composition-Weighted Symbolic Regression for General-Purpose Property Prediction

Dit artikel introduceert een compositie-gewogen symbolische regressie-raamwerk dat hybride zoekalgoritmen combineert met max/min-operatoren om interpreteerbare, analytische uitdrukkingen te genereren voor het voorspellen van diverse materiaaleigenschappen rechtstreeks op basis van chemische samenstelling, waarbij concurrente nauwkeurigheid wordt behaald ten opzichte van black-box-modellen terwijl chemisch betekenisvolle elementaire trends worden blootgelegd.

De kern

Stel je voor dat je een chef bent die probeert de exacte receptuur voor een perfecte taart te achterhalen. Meestal gebruiken wetenschappers die proberen te voorspellen hoe een materiaal zich zal gedragen (zoals of het elektriciteit geleidt of hoe hard het is) twee hoofdbenaderingen:

1. De "Blauwdruk"-benadering: Ze kijken naar de gedetailleerde 3D-structuur van de atomen (de blauwdruk). Dit is zeer nauwkeurig, maar vereist dat je de blauwdruk kent, die vaak ontbreekt of te duur is om te bouwen.
2. De "Black Box"-benadering: Ze kijken alleen naar de lijst met ingrediënten (de chemische formule) en voeren deze in bij een gigantisch, complex computerbrein (een neurale netwerken). Dit brein geeft een correct antwoord, maar niemand weet hoe het daar gekomen is. Het is alsof de chef zegt: "Het smaakt goed", maar weigert je het recept te vertellen.

Dit artikel introduceert een nieuwe methode genaamd Composition-Weighted Symbolic Regression. Denk hierbij aan een slimme, transparante receptzoeker die alleen kijkt naar de lijst met ingrediënten, maar er toch in slaagt de daadwerkelijke wiskundige receptuur voor de eigenschappen van het materiaal op te schrijven.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het idee van de "Gewogen Ingrediënten"

In plaats van alleen maar ingrediënten op te sommen, kiest de methode een "score" of "gewicht" toe aan elk element (zoals Koolstof, IJzer of Zuurstof).

• De Analogie: Stel je voor dat je soep maakt. Het recept is niet alleen "voeg wortelen toe". Het is "voeg 2 delen wortelen, 0,5 delen zout en -1 deel suiker toe (omdat je het niet zoet wilt)".
• De computer leert deze specifieke gewichten voor elk element automatisch. Het komt erachter dat voor een "hard" materiaal IJzer misschien een hoge positieve score krijgt, terwijl het voor een "zacht" materiaal een negatieve score kan krijgen.

2. Het "Wiskundige Recept" (Symbolische Regressie)

Zodra de computer de ingrediëntengewichten heeft, raadt het niet zomaar het antwoord. Het zoekt naar de daadwerkelijke wiskundige formule die die gewichten met het eindresultaat verbindt.

• De Analogie: In plaats van een black box die zegt "Resultaat: 5", schrijft het uit: Resultaat = (Gewicht van IJzer × 2) + (Gewicht van Koolstof ÷ 3).
• Dit heet "Symbolische Regressie". Het vindt de vergelijking zelf, waardoor de voorspelling interpreteerbaar wordt. Je kunt de formule lezen en de logica begrijpen.

3. De "Veiligheidsvoorzieningen" (Max/Min-operatoren)

Materialen hebben fysieke regels. Bijvoorbeeld, een "bandgap" (een maat voor hoe goed een materiaal elektriciteit blokkeert) kan nooit negatief zijn. Een waarschijnlijkheid (zoals "kans dat dit een metaal is") moet tussen 0 en 1 liggen.

• De Analogie: Stel je voor dat een thermostaat een harde stop heeft zodat het niet onder het vriespunt kan gaan, of een snelheidsmeter die geen negatieve snelheid kan tonen.
• Deze methode bouwt die "veiligheidsvoorzieningen" direct in de wiskunde in met behulp van Max en Min functies. Als de wiskunde probeert een negatieve bandgap te berekenen, fungeert de "Max"-functie als een vloer en zegt: "Nee, dit kan minimaal nul zijn." Dit zorgt ervoor dat de resultaten altijd fysiek zinvol zijn.

4. Het "Zoekteam" (Hybride algoritme)

Het vinden van het perfecte recept en de perfecte gewichten is als het zoeken naar een speld in een hooiberg. De auteurs gebruikten een slim team van twee zoekers:

• De Ontdekker (Monte Carlo Tree Search): Dit deel verkent verschillende paden, zoals een wandelaar die verschillende paden in een bos probeert om het beste uitzicht te vinden.
• De Verfijner (Genetische Programmering): Dit deel fungeert als een kweekprogramma. Het neemt de beste "recepten" die tot nu toe zijn gevonden, mengt ze en past ze aan om ze nog beter te maken.
• De Coach (Op gradiënten gebaseerde optimalisatie): Zodra een veelbelovend recept is gevonden, komt een coach in actie om de cijfers (de gewichten) precies af te stemmen, zodat de wiskunde zo nauwkeurig mogelijk is.

Wat hebben ze gevonden?

De auteurs hebben deze methode getest op een standaardset materiaaldata (MatBench).

• Nauwkeurigheid: Het presteerde bijna even goed als de gigantische "Black Box"-computerhersenen, zelfs al gebruikt het veel minder "parameters" (het is veel eenvoudiger).
• Gladheid: Bij het voorspellen van eigenschappen voor nieuwe mengsels van materialen (zoals het mengen van twee halfgeleiders) springen de "Black Box"-modellen soms wild rond of geven ze onrealistische, gekartelde resultaten. Deze nieuwe methode produceert een gladde, continue curve, zoals een goed getekende lijn op een grafiek, wat veel realistischer is voor hoe materialen zich eigenlijk gedragen.
• Chemisch inzicht: Toen ze keken naar de "gewichten" die de computer had geleerd, bleken deze overeen te komen met echte chemie. Bijvoorbeeld, elementen die chemisch vergelijkbaar zijn (zoals die in dezelfde kolom van het Periodiek Systeem) kregen vergelijkbare scores. De computer "herontdekte" chemische patronen op zichzelf zonder dat het werd verteld wat ze waren.

De Haken (Beperkingen)

De auteurs zijn eerlijk over de nadelen:

• Complexiteit: Soms is het "recept" dat de computer vindt nog steeds zeer ingewikkeld en moeilijk voor een mens om te lezen, zelfs al is het wiskundig expliciet.
• Niet perfect: De zoekmethode is zeer goed, maar garandeert niet dat het elke keer het absolute beste mogelijke antwoord heeft gevonden.
• Data-hongerig: Als je niet genoeg data hebt, kan de computer te creatief worden en een complex recept uitvinden dat past bij de data maar de realiteit niet weerspiegelt (overfitting).

Samenvatting

Kortom, dit artikel presenteert een tool die fungeert als een detective-chemicus. Het kijkt naar een lijst met ingrediënten, achterhaalt de verborgen wiskundige regels die het gedrag van het materiaal sturen, en schrijft een duidelijke, logische formule op. Het overbrugt de kloof tussen de hoge nauwkeurigheid van complexe AI en het duidelijke inzicht van traditionele wetenschap.

Technische samenvatting

Technische Samenvatting: Compositie-gewogen Symbolische Regressie voor Algemeen Toepasbare Eigendomsvoorspelling

Probleemstelling
Huidige machinelearningbenaderingen voor de voorspelling van materiaaleigenschappen worden over het algemeen ingedeeld in structuurgebaseerde en compositiesgebaseerde methoden. Hoewel structuurgebaseerde modellen (bijvoorbeeld Equiformer, TACE) hoge nauwkeurigheid bereiken door gebruik te maken van atomaire configuraties, worden ze beperkt door de frequente onbeschikbaarheid, onzekerheid of hoge rekenkosten van structurele data. Compositiesgebaseerde methoden bieden een oplossing door eigenschappen rechtstreeks te voorspellen op basis van chemische formules, waardoor snelle screening mogelijk wordt. Echter, de meeste bestaande compositiesgebaseerde modellen vertrouwen op neurale netwerken of black-box-architecturen die gebrek hebben aan fysische interpreteerbaarheid. De centrale uitdaging die door dit werk wordt aangepakt, is hoe concurrerende voorspellende nauwkeurigheid kan worden behouden terwijl transparante, chemisch betekenisvolle analytische relaties worden herwonnen zonder te vertrouwen op vooraf gedefinieerde beschrijvers of voorafgaande fysische aannames.

Methodologie
De auteurs stellen een compositie-gewogen symbolische regressie-kader voor dat gezamenlijk analytische functionele vormen en taakafhankelijke elementaire wegingen leert. De kernformulering drukt een materiaaleigenschap $P$ uit als:
$$P = F(x; \theta), \quad x_k = \sum_i w_{k,i} c_i$$
waarbij $c_i$ de fractie van de elementaire samenstelling voorstelt, $w_{k,i}$ leerbare elementaire gewichten zijn, en $F$ een analytische functie is die via symbolische regressie wordt geïdentificeerd. De variabelen $x$ stellen compositie-gewogen gemiddelden van latente elementaire eigenschappen voor.

Belangrijke methodologische componenten omvatten:

1. Uitgebreide Operatorset: De zoekruimte omvat standaard continue operators (exp, log, vermenigvuldiging, optelling) naast niet-gladde operators, specifiek max en min. Deze opname stelt het model in staat om op natuurlijke wijze fysische beperkingen af te dwingen, zoals niet-negatieve bandgaps of begrenste classificatiekansen $[0, 1]$, waardoor regressie- en classificatietaken binnen één enkel symbolisch formalisme worden verenigd.
2. Hybride Optimalisatie-algoritme: Om de vergrote zoekruimte (die zowel symbolische structuren als hoogdimensionale elementaire gewichten omvat) te navigeren, maken de auteurs gebruik van een hybride Monte Carlo Tree Search (MCTS) en Genetische Programmering (GP)-kader.
   • MCTS-GP Integratie: De methode combineert de gerichte exploratie van MCTS met de "stap-springende" capaciteiten van GP. In tegenstelling tot eerdere implementaties die kandidaat-wachtrijen op veel knopen opslaan, behoudt deze aanpak alleen de globale expressiewachtrij op de wortelknoop, waarbij alle genetische operaties (mutatie, kruising) op deze gedeelde populatie worden uitgevoerd om het geheugenverbruik te verminderen.
   • Op Gradient Gebaseerde Verfijning: Voor continue parameteroptimalisatie (elementaire gewichten $w$ en symbolische coëfficiënten $\theta$) maakt het kader gebruik van het Limited-memory Broyden–Fletcher–Goldfarb–Shanno (L-BFGS) algoritme. Een multi-start-strategie wordt toegepast om om te gaan met de niet-gladheid die wordt geïntroduceerd door max/min-operators, waardoor robuustheid tegen lokale minima wordt gewaarborgd.
   • Parallelisme: Zowel de GP- als de MCTS-fasen worden geparalleliseerd om de rekenefficiëntie te verbeteren, met batchverwerking voor expressiegeneratie en parameteroptimalisatie.

Belangrijkste Resultaten
Het kader werd geëvalueerd op drie representatieve MatBench-taken: voorspelling van bandgaps (regressie), classificatie van metalliciteit en classificatie van glasvorming.

• Benchmarksprestaties: Het model behaalde concurrerende nauwkeurigheid ten opzichte van state-of-the-art black-box-modellen (waaronder CrabNet, MODNet en grote taalmodellen zoals Darwin en GPTChem), terwijl het aanzienlijk minder trainbare parameters gebruikte (ongeveer $10^2$ versus $10^6$ tot $10^9$ voor neurale netwerken).
  • Bandgap: Gemiddelde Absolute Fout (MAE) van 0,471, vergeleken met 0,287 voor het 7B-parameter Darwin-model en 0,331 voor CrabNet.
  • Metalliciteit: ROC-AUC van 0,873, vergelijkbaar met MODNet (0,916) en CrabNet (niet gerapporteerd).
  • Glasvorming: ROC-AUC van 0,816, vergelijkbaar met MODNet (0,960) en RF-SCM (0,859).
• Interpreteerbaarheid en Periodieke Trends: Het model slaagde erin expliciete analytische expressies te herwinnen (bijvoorbeeld $F_{gap} = x_1 \exp[-\exp(\max(x_2, \min(x_0, x_1)))]$). De geleerde elementaire gewichten vertoonden chemisch betekenisvolle periodieke trends. Zo vertoonden halogenen een specifiek gewichtpatroon dat consistent is met hun rol bij het stabiliseren van isolerende omgevingen, terwijl overgangsmetalen patronen vertoonden die geassocieerd zijn met metaalbinding.
• III–V Halfgeleiderlegeringen: Bij toepassing op het voorspellen van bandgaps voor III–V ternaire legeringen, produceerde het symbolische model gladde, continue compositiesafhankelijke trends. In tegenstelling hieraan vertoonden op neurale netwerken gebaseerde modellen (Darwin, CrabNet, MODNet) discontinuïteiten of fluctuaties in gebieden met schaarse trainingsdata. De symbolische aanpak bood fysisch consistente interpolatie, waarbij correcte globale trends werden gereproduceerd, zoals de afname van de bandgap van AlAs tot InSb.

Betekenis en Claims
Het artikel claimt een schaalbare en interpreteerbare route te bieden voor materiaalontdekking en eigenschapsscreening. De primaire betekenis ligt in:

1. Vereniging van Regressie en Classificatie: Door het opnemen van max/min-operators, behandelt het kader begrenste uitkomsten en fysische beperkingen (bijvoorbeeld niet-negativiteit) direct binnen de geleerde expressie, waardoor de noodzaak voor taakspecifieke outputlagen wordt weggenomen.
2. Datagedreven Functionele Ontdekking: De methode leert zowel de functionele vorm als elementaire representaties rechtstreeks uit data, waardoor de bias van handgemaakte beschrijvers wordt vermeden.
3. Fysische Consistentie: De resulterende gesloten-vorm expressies zorgen voor glad gedrag over continue composieruimten, wat een duidelijk voordeel biedt ten opzichte van black-box-modellen voor interpolatie en extrapolatie in data-schaarse regimes.

Beperkingen
De auteurs erkennen verschillende beperkingen:

• Interpreteerbaarheid versus Complexiteit: Hoewel expressies expliciet zijn, kunnen uiterst nauwkeurige oplossingen algebraïsch complex zijn, waardoor verdere analyse vereist is om fysische inzichten te extraheren.
• Optimalisatiebenadering: De hybride MCTS-GP-strategie garandeert geen globale optimaliteit, en de op gradient gebaseerde fase is inherent lokaal.
• Overfitting: In regimes met weinig data kan de flexibiliteit van symbolische regressie leiden tot overmatig complexe expressies die ruis in plaats van onderliggende fysische trends aanpassen.
• Functionele Ruimte: De huidige operatorset kan ontoereikend zijn voor sterk multischaal of scherp discontinu verschijnselen, zoals complexe gedragingen aan fasegrenzen.