GoodRegressor: A Hierarchical Inductive Bias for Navigating High-Dimensional Compositional Space

Dit artikel introduceert GoodRegressor, een hiërarchisch framework voor symbolische regressie dat door middel van dieptegestuurde expansie van niet-lineaire beschrijvers hoge voorspellende nauwkeurigheid bereikt in complexe wetenschappelijke ruimtes terwijl het de fysieke interpretatiebehoudt.

De kern

🧪 GoodRegressor: De "Slimme Bouwmeester" voor Wetenschap

Stel je voor dat je een enorme doos met Lego-blokjes hebt. Deze blokjes vertegenwoordigen alle mogelijke eigenschappen van een materiaal (zoals hoe zwaar het is, hoe groot de atomen zijn, of hoe sterk ze aan elkaar zitten). Je doel is om een nieuw, supermateriaal te bouwen dat bijvoorbeeld elektriciteit heel goed geleidt of hitte vasthoudt.

Het probleem? Er zijn miljarden manieren om die blokjes te stapelen. Als je gewoon wat willekeurig blokken op elkaar zet, krijg je misschien een toren die omvalt (een slecht model). Als je een supercomputer laat proberen alle mogelijke combinaties, duurt het langer dan het leven van het universum.

Deze paper introduceert GoodRegressor, een slimme nieuwe manier om die Lego-toren te bouwen. Het is een soort "architect" die niet blindelings probeert, maar een slimme strategie gebruikt.

1. Het Dilemma: Transparant vs. Krachtig

In de wetenschap hebben we vaak twee soorten modellen:

• De "Witte Doos" (White-box): Dit is als een simpele instructie: "Doe 1 blok hier, 2 blokjes daar." Je ziet precies hoe het werkt, maar het is vaak te simpel voor complexe problemen. Het is als proberen een kasteel te bouwen met alleen rechte bakstenen.
• De "Zwarte Doos" (Black-box): Dit zijn de moderne AI-modellen (zoals neurale netwerken). Ze kunnen een perfect kasteel bouwen, maar niemand weet hoe ze het deden. Het is als een magiër die tovert, maar de formule geheimhoudt. Wetenschappers willen weten waarom iets werkt, niet alleen dat het werkt.

GoodRegressor probeert het beste van beide werelden: een model dat net zo sterk is als de zwarte doos, maar waar je de bouwplannen (de formule) volledig kunt zien.

2. De "Ladder" van Complexiteit

De auteur gebruikt een prachtig beeld: Jacob's Ladder (Jakobs Ladder).
Stel je voor dat complexiteit een ladder is.

• Beneden: Simpele lijnen (1 blok + 1 blok).
• Midden: Iets ingewikkelder (1 blok x 2 blokjes).
• Boven: Zeer ingewikkeld (blokjes die in elkaar grijpen, vermenigvuldigen en delen).

De meeste methoden proberen willekeurig op de ladder te klimmen. GoodRegressor klimt echter stap voor stap en telt elke tree nauwkeurig. Het controleert de "diepte" van de interacties.

De grote ontdekking:
Je zou denken: "Hoe hoger je klimt, hoe beter het resultaat." Maar dat is niet waar!

• Bij sommige materialen (zoals NASICONs, gebruikt in batterijen) is de ladder niet erg hoog nodig. Een simpele structuur werkt al prima.
• Bij andere materialen (zoals supergeleiders) moet je diep de ladder op om de juiste formule te vinden.
• Als je te hoog klimt (te complex), begint het model te "hallucineren" en wordt het onnauwkeurig.

GoodRegressor vindt precies de optimale tree op de ladder voor elk specifiek probleem. Het is alsof je voor elke klus de perfecte gereedschapskist kiest: niet te simpel, maar ook niet overbodig complex.

3. Hoe werkt het? (De "Lexicografische" Strategie)

Stel je voor dat je een enorme bibliotheek moet doorzoeken om één specifiek boek te vinden.

• De oude methode: Je rent willekeurig door de gangen, hopend dat je het boek tegenkomt. Soms vind je het, soms niet.
• GoodRegressor: Deze methode gebruikt een alfabetisch systeem. Het sorteert alle mogelijke boeken (combinaties) in een vaste volgorde. Het verdeelt de zoektocht over duizenden computers (zoals duizenden bibliothecarissen die elk een stukje van de rij aflopen).

Dit zorgt ervoor dat ze geen enkele mogelijkheid missen, maar wel heel snel en georganiseerd werken, zelfs als er $10^{400}$ mogelijke boeken zijn (een getal dat groter is dan het aantal atomen in het heelal!).

4. De Resultaten: Materiaalontdekking

De auteur testte deze methode op drie verschillende "speelvelden":

1. Oxygen-ion geleiders: Hier bleek dat de "optimale tree" op de ladder erg specifiek was. Als je te simpel of te complex bouwt, faalt het. GoodRegressor vond de perfecte balans en voorspelde nieuwe, betere materialen.
2. NASICONs (Batterijen): Hier was de ladder minder hoog nodig. De structuur was eenvoudiger.
3. Supergeleiders: Hier was de ladder weer erg hoog en complex. GoodRegressor slaagde erin de verborgen patronen te vinden die andere modellen misten.

Het mooie resultaat:
Het model vond niet alleen goede voorspellingen, maar leverde ook formules op die chemici kunnen begrijpen. Bijvoorbeeld: "Als je de atomen kleiner maakt en de lading anders verdeelt, dan wordt de geleiding beter." Dit is goud waard voor wetenschappers die nieuwe materialen willen ontwerpen.

🎯 Conclusie in één zin

GoodRegressor is een slimme, transparante AI die weet precies hoe complex een natuurkundig probleem is, en bouwt daarop een voorspellingsformule die niet alleen nauwkeurig is, maar ook verklaart waarom het werkt, net als een meesterbouwer die je het blauwdruk van zijn kasteel laat zien.

Het is een stap in de richting van interpretable AI: kunstmatige intelligentie die we niet alleen gebruiken als een zwarte doos, maar die ons helpt de geheimen van de natuur te ontrafelen.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "GoodRegressor: A Hierarchical Inductive Bias for Navigating High-Dimensional Compositional Space" in het Nederlands.

1. Het Probleem

Wetenschappelijke kunstmatige intelligentie (AI) staat vaak voor een fundamenteel dilemma: het afwegen tussen voorspellende prestaties en interpreteerbaarheid.

• Black-box modellen (zoals neurale netwerken, random forests en gradient boosting) bieden vaak hoge voorspellingsnauwkeurigheid, maar hun interne representaties zijn ondoorzichtig en moeilijk te vertalen naar fysisch inzicht.
• Witte-doos modellen (zoals lineaire regressie of eenvoudige symbolische regressie) bieden expliciete functionele vormen die analytisch interpreteerbaar zijn, maar missen vaak de expressiviteit om complexe, niet-lineaire en hiërarchisch verweven interacties tussen beschrijvende variabelen (descriptoren) vast te leggen.
• In materialenwetenschappen ontstaan macroscopische eigenschappen vaak uit een explosief groot aantal mogelijke combinaties van beschrijvende variabelen. De zoekruimte voor mogelijke symbolische uitdrukkingen kan astronomisch groot zijn (bijvoorbeeld $\sim 10^{457}$ structuren), wat het vinden van de optimale oplossing met conventionele methoden (zoals stochastische mutatie) computatierisicovol en vaak ondoenlijk maakt.

2. Methodologie: GoodRegressor

De auteur introduceert GoodRegressor, een raamwerk voor symbolische regressie dat een hiërarchische inductieve bias met expliciete diepteregeling implementeert. In plaats van te vertrouwen op willekeurige stochastische mutatie, bouwt dit systeem niet-lineaire interacties systematisch op via een lexicografisch geordende expansie.

De kerncomponenten van de methodologie zijn:

• Expliciete Diepteregeling: Interactiediepte fungeert als een controleerbare as voor de expressiviteit van het model. Het algoritme bouwt modellen op door stapsgewijs het aantal actieve variabelen ($n_t$) te verminderen en tegelijkertijd de complexiteit van de interacties (diepte) te verhogen. Dit dwingt het model om afhankelijkheden te vinden in plaats van alleen additieve termen.
• Het Algoritme (Run-through, Swap, Transit, Pick):
  1. Run-through: Het zoekruimte wordt lexicografisch verdeeld over meerdere CPU-kernen. Elke kern scant een interval van mogelijke combinaties en selecteert het model met de beste validatie-$R^2$ dat voldoet aan strikte statistische voorwaarden (F-test en t-test, $p < 0.05$).
  2. Swap: Lokale verfijning waarbij de minst significante variabelen worden vervangen door inactieve variabelen om de fit te verbeteren.
  3. Transit: Toepassing van scalaire transformaties (zoals $\log$, $\exp$, $\sin$, $\text{erf}$) op de actieve variabelen om niet-lineaire effecten te vangen.
  4. Pick: Het beste model wordt geselecteerd en het proces wordt herhaald met één minder actieve variabele, maar dan vanuit een uitgebreide kandidatenpool. Deze pool bevat niet alleen de oorspronkelijke beschrijvers, maar ook hun transformaties en interacties (vermenigvuldiging/deling). Hierdoor wordt de zoekruimte rijker naarmate het model compacter wordt.
• Bagging (Ensembling): Het volledige proces wordt $N_f$ keer (meestal 10) herhaald met verschillende train-validatie splits. De individuele modellen worden gestacked tot een consensusmodel ($M_{f, \text{ensemble}}$) om overfitting te verminderen en de robuustheid te verhogen.

3. Belangrijkste Bijdragen

• Hiërarchische Inductieve Bias: Het introduceren van interactiediepte als een expliciete structuurparameter in plaats van een bijproduct van stochastische zoekprocessen.
• Beheersing van Combinatorische Explosie: Het vermogen om zoekruimtes van de orde $10^{457}$ tractabel te maken door middel van gestructureerde, lexicografische expansie en strikte statistische filters.
• Empirische Taxonomie van Complexiteit: Het aantonen dat verschillende wetenschappelijke systemen unieke "handtekeningen" hebben in termen van hun optimale interactiediepte. Dit biedt een nieuwe manier om de hiërarchische complexiteit van datasets te diagnosticeren.
• Interpreteerbaarheid met Prestaties: Het bereiken van prestaties die gelijk zijn aan of beter zijn dan state-of-the-art black-box modellen, terwijl het behoud van een expliciete, analytisch afleidbare functionele vorm.

4. Resultaten

Het framework werd getest op drie complexe materialenstelsels:

1. Oxygen-ion geleiders (483 datapunten):

   • GoodRegressor presteerde beter dan alle concurrenten (inclusief XGBoost, LightGBM, SISSO, PySR) voor het voorspellen van activeringsenergie ($E_a$) en de pre-exponentiële factor ($A$).
   • $R^2 \approx 0.726$ voor $E_a$ (tegenover max 0.667 voor anderen).
   • Er werd een duidelijke "optimale venster" gevonden voor de interactiediepte ($n_t$ tussen 13 en 18). Dieper dan dit venster leidde tot overfitting.
   • Het model onthulde fysisch betekenisvolle interacties, zoals de rol van ladingsonderdrukking en packing density.

2. NASICONs (Na-ion geleiders, 180 datapunten):

   • Het model presteerde opnieuw superieur ($R^2 \approx 0.862$).
   • In tegenstelling tot oxygen-ion geleiders, bleek de optimale diepte hier al bij een lagere complexiteit ($n_t \approx 20$) te liggen.
   • Dit suggereert dat de beschrijversrelaties in NASICONs minder hiërarchisch verweven zijn en dat diepe interacties minder cruciaal zijn voor deze specifieke eigenschap.

3. Supergeleidende oxiden (1.358 datapunten):

   • Het model bereikte een $R^2 \approx 0.536$ (zonder kristalstructuurinformatie), wat vergelijkbaar is met de beste black-box modellen en beter dan witte-doos baselines.
   • Er werd een breed, maar duidelijk optimaal venster waargenomen ($13 \le n_t \le 17$).
   • Het uitschakelen van hiërarchische interacties leidde tot een significante prestatiedaling, wat aantoont dat sterke, verweven hiërarchische structuren essentieel zijn voor het modelleren van supergeleiding.

Algemene bevindingen:

• Niet-monotone prestaties: Prestaties nemen niet lineair toe met diepte; er is een systeemafhankelijk optimum.
• Reproduceerbaarheid: De gestapelde ensemble-modellen tonen hoge reproduceerbaarheid en stabiliteit.
• Materiaalontwerp: Het model slaagde erin om veelbelovende nieuwe materialen te identificeren (bijv. een La-Si-Al apatiet voor iongeleiding en Hg/Ag-gedoteerde supergeleiders) met voorspelde eigenschappen die aanzienlijk beter zijn dan bestaande experimentele waarden.

5. Betekenis en Conclusie

Dit werk verschuift het paradigma van symbolische regressie van een louter algoritmische concurrentie naar een kwestie van ontwerp van inductieve bias. Het toont aan dat voor wetenschappelijke systemen met diep verweven niet-lineaire interacties, gestructureerde hiërarchische constructie niet optioneel is, maar noodzakelijk.

GoodRegressor biedt een principieel pad naar interpreteerbare AI in hoge dimensionale ruimtes. Het stelt onderzoekers niet alleen in staat om data nauwkeurig te benaderen, maar ook om de hiërarchische complexiteit van fysische fenomenen te diagnosticeren en te begrijpen. De "interactiediepte" fungeert hierbij als een nieuwe structuur-as om te bepalen hoe complex een wetenschappelijk systeem werkelijk is, wat nieuwe inzichten biedt voor het ontwerpen van materialen en het begrijpen van fundamentele fysica.