🤖 machine learning

Bayesian Symbolic Regression with Entropic Reinforcement Learning

Dit artikel introduceert ERRLESS, een schaalbare Bayesiaanse symbolische regressiemethode die entropie-geregulariseerd reinforcement learning gebruikt om te samplen uit de posterieure verdeling van algebraïsche expressies, waardoor effectieve onzekerheidskwantificering mogelijk wordt en concurrerende, interpreteerbare resultaten worden geproduceerd op benchmarks zoals Feynman.

Oorspronkelijke auteurs: Oussama Boussif, Mohammed Mahfoud, Younesse Kaddar, Moksh Jain, Sida Li, Damiano Fornasiere, Xiaoyin Chen, Yoshua Bengio, Esmeralda S. Whitammer

Gepubliceerd 2026-08-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Oussama Boussif, Mohammed Mahfoud, Younesse Kaddar, Moksh Jain, Sida Li, Damiano Fornasiere, Xiaoyin Chen, Yoshua Bengio, Esmeralda S. Whitammer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een vermist persoon te zoeken, probeer je de verborgen wiskundige regel te vinden die verklaart hoe de wereld werkt. Dit is de taak van Symbolische Regressie. Waar standaard wiskundige hulpmiddelen lijken op een kleermaker die alleen de knopen op een bestaand pak kan aanpassen (het bijstellen van getallen in een vaste formule), is symbolische regressie als een meesterkleermaker die geheel nieuwe pakken kan uitvinden, door verschillende stoffen (wiskundige operaties zoals optellen, sinus of vierkantswortels) aan elkaar te naaien om perfect bij de data te passen.

Echter, echte wereldgegevens zijn rommelig. Ze zijn ruisachtig, als een radiosignaal vol statische storingen, en vaak schaars, als proberen de melodie van een liedje te raden op basis van slechts drie noten. Als je slechts één "beste" formule vindt, kun je misleid worden door de statische storing. Hier komt Bayesiaans denken om de hoek kijken. In plaats van in te zetten op één enkel antwoord, houdt een Bayesiaanse detective een hele bibliotheek aan mogelijke theorieën bij, waarbij aan elke wordt een waarschijnlijkheid wordt toegekend op basis van hoe goed deze bij de aanwijzingen past. Dit stelt hen in staat om te zeggen: "Ik ben vrij zeker dat het deze formule is, maar er is een kleine kans dat het die andere is," wat cruciaal is wanneer data schaars is. De grote uitdaging is altijd geweest: hoe zoek je efficiënt door de oneindige bibliotheek van mogelijke wiskundige formules om de juiste mix van waarschijnlijkheden te vinden zonder de weg kwijt te raken?

Maak kennis met ERRLESS, een nieuwe benadering geïntroduceerd door Oussama Boussif en collega's, die deze zoektocht behandelt als een videogame. Stel je voor dat een robot leert om een complexe Lego-structuur te bouwen, maar in plaats van alleen te proberen één perfecte toren te bouwen, leert het om veel verschillende torens te bouwen, waarbij het begrijpt welke het meest waarschijnlijk de "ware" structuur zijn gezien de aanwijzingen. De onderzoekers noemen hun methode ERRLESS (Entropy-Regularized Reinforcement Learning for Expression Structure Sampling).

Zo werkt het in de echte wereld van data: Het team heeft een neuraal netwerk (een type AI) geleerd om als een bouwer te fungeren. Deze bouwer raadt niet alleen; hij construeert wiskundige expressies stap voor stap, zoals het samenstellen van een zin woord voor woord. Maar er is een addertje onder het gras: de bouwer moet strikte natuurkundige regels volgen. Net zoals je niet "meters" aan "seconden" kunt toevoegen om een betekenisvol resultaat te krijgen, wordt de AI geprogrammeerd om elke wiskundige combinatie af te wijzen die de wetten van fysieke eenheden schendt. Dit gebeurt via een "bottom-up" benadering, waarbij de AI eerst kleine, geldige stukjes bouwt en deze aan elkaar klikt, zodat elke stap logisch is voordat er verder wordt gegaan.

De AI leert via een proces genaamd Reinforcement Learning, wat lijkt op het trainen van een hond met snoepjes. Elke keer dat de AI een formule bouwt die goed bij de data past, krijgt het een "beloning" (een traktatie). Maar hier komt de slimme draai: de onderzoekers wilden niet alleen dat de AI de enkele beste formule vindt. Ze wilden dat de AI de hele "bibliotheek" aan mogelijkheden verkent. Hiervoor gebruikten ze een techniek genaamd Maximum-Entropy Reinforcement Learning. Denk hierbij aan het vertellen aan de AI: "Zoek niet alleen naar het ene beste pad; verken zoveel mogelijk verschillende paden, maar zorg ervoor dat je de meest veelbelovende paden vaker bezoekt." Dit zorgt ervoor dat de AI niet vastloopt op één idee, maar in plaats daarvan de volledige "kaart" van waarschijnlijke formules leert kennen.

De resultaten zijn zeer veelbelovend. Wanneer getest op de Feynman Symbolic Regression Database — een beroemde collectie van 100 natuurkundige formules van de legendarische natuurkundige Richard Feynman — presteerde ERRLESS competitief ten opzichte van de beste bestaande methoden. Het slaagde erin om korte, gemakkelijk leesbare formules te vinden die even nauwkeurig waren als de complexe formules die door andere algoritmen worden gevonden. Belangrijker nog, omdat het de onzekerheid vastlegt (het Bayesiaanse perspectief), kon ERRLESS beter omgaan met ruisachtige data. In tests waar data schaars en vol ruis was, produceerde ERRLESS een "posterior predictive mean" (een soort gemiddelde van al zijn beste gokken) die nauwkeuriger was dan een leidende concurrent genaamd PySIPS. Terwijl PySIPS soms in de war raakte door wilde, onwaarschijnlijke gokken die zijn gemiddelde vertekenden, hield ERRLESS zijn gokken realistisch, wat zorgde voor een betrouwbaardere voorspelling.

Het artikel benadrukt ook dat ERRLESS ongelooflijk snel is. In tegen tegenstelling tot andere methoden, die moeten stoppen om de getallen in een formule herhaaldelijk te verfijnen (een traag, rekenintensief proces), leert ERRLESS om zowel de structuur van de formule als de getallen erin allemaal tegelijk te raden. Dit maakt het een orde van grootte sneller dan veel van zijn rivalen.

De auteurs zijn echter voorzichtig met de bewering dat dit een wondermiddel is voor elk probleem. Ze merken op dat hoewel ERRLESS uitstekend is in het modelleren van de distributie van mogelijke antwoorden, het nog steeds moeite kan hebben met extreem complexe doelexpressies. Ze wijzen er ook op dat hun methode afhankelijk is van een specifieke set wiskundige operatoren en dat toekomstig werk erop kan gericht zijn de AI zijn eigen operatoren te laten uitvinden of deze ideeën toe te passen op differentiaalvergelijkingen.

Kortom, dit artikel suggereert dat door de regels van de natuurkunde te combineren met een slimme, verkennende AI-trainingsmethode, we een systeem kunnen bouwen dat niet alleen een formule vindt, maar ook het landschap van mogelijke formules begrijpt. Het is een stap richting machines die niet alleen getallen verwerken, maar ook de onzekerheid en de schoonheid begrijpen van de wetten die ons universum beheersen.

Technische Samenvatting: Bayesiaanse Symbolische Regressie met Entropische Versterkingslering (ERRLESS)

Probleemstelling

Symbolische Regressie (SR) beoogt een algebraïsche uitdrukking te ontdekken die inputs naar outputs mapt, doorgaans gerepresenteerd als een abstracte syntactische boom (AST) geconstrueerd uit een bibliotheek van operatoren. Terwijl standaard SR-algoritmen zich richten op het vinden van één enkele "best passende" uitdrukking (vaak een afweging tussen complexiteit en fit), faalt dit punt-schatting aspect in het vastleggen van epistemische onzekerheid. In wetenschappelijke omgevingen die gekenmerkt worden door beperkte en ruisige data, kan een enkele uitdrukking onbetrouwbaar zijn, en wordt de onzekerheid die voortvloeit uit datascarciteit verborgen.

Bestaande Bayesiaanse benaderingen voor SR proberen deze onzekerheid te modelleren door een prior te definiëren over expressiestructuren en parameters, wat een posterior distributie induceert gegeven de data. Echter, traditionele methoden die vertrouwen op Reversible-Jump Markov Chain Monte Carlo (MCMC) of Sequential Monte Carlo (SMC) zijn vaak afhankelijk van handmatig ontworpen proposal-distributies en zijn computationeel te duur om op te schalen.

Methodologie: ERRLESS

De auteurs stellen ERRLESS voor (Entropy-Regularized Reinforcement Learning for Expression Structure Sampling), een schaalbaar framework dat het samplingproces ammortiseert met behulp van een neurale policy getraind via maximum-entropie versterkingslering (RL).

1. Bottom-Up Generatie Omgeving

In tegenstelling tot de meeste deep SR-methoden die een top-down generatie gebruiken (het samplen van operatoren vóór operanden), gebruikt ERRLESS een bottom-up (postorder) generatieproces.

Sequentiële Besluitvorming: Een expressieboom wordt gegenereerd als een sequentie van tokens (Reverse Polish Notation). De policy samplet tokens één voor één.
Constraint Handhaving: Deze bottom-up aanpak maakt onmiddellijke handhaving van restricties mogelijk. Omdat operanden (bladeren) eerst worden gespecificeerd, kunnen nieuw toegevoegde operatoren direct worden gecontroleerd op dimensionale geldigheid (compatibiliteit van fysieke eenheden) en structurele geldigheid (bijv. het voorkomen van redundante composities zoals $\sqrt{x^2}$ of het nesten van trigonometrische functies) voordat de operator wordt toegevoegd.
Toestandsruimte: De omgeving houdt de huidige gedeeltelijke sequentie bij, waardoor alleen geldige voortzettingen worden gesampled, wat het zoekproces effectief inkadert.

2. Maximum-Entropy Reinforcement Learning

De kerninnovatie is het formuleren van de Bayesiaanse SR-taak als een RL-probleem waarbij het doel is om te samplen uit de posterior distributie $p(T, \theta, \sigma | D)$ .

Beloningsfunctie: De beloning $R(T, \theta, \sigma)$ wordt gedefinieerd als de ongenormaliseerde log-posterior:
$R(T, \theta, \sigma) = \log P(T) + \log p(\theta, \sigma | T) + \sum_{i=1}^N \log \mathcal{N}(y_i; f_{T,\theta}(x_i), \sigma^2)$
Doelstelling: De policy $\pi_\phi$ wordt getraind om de entropie-geregulariseerde doelstelling te maximaliseren:
$\max_\phi \left( \mathbb{E}_{(T,\theta,\sigma) \sim \pi_\phi}[R(T, \theta, \sigma)] + H[\pi_\phi] \right)$
Het maximaliseren van deze doelstelling minimaliseert de Kullback-Leibler (KL) divergentie tussen de geleerde policy en de ware posterior.
Trainingsalgoritme: De auteurs maken gebruik van de Trajectory Balance (TB) doelstelling, een kernverliesfunctie voor Generative Flow Networks (GFlowNets). Dit maakt off-policy training mogelijk, waarbij de policy leert van een replay buffer van trajecten gegenereerd door een behavior policy, waarbij de padconsistentie tussen de initiële staat en de terminale beloning wordt geoptimaliseerd.

3. Policy Architectuur

De policy wordt geparametriseerd door een Transformer-gebaseerde architectuur:

Input: De sequentie van tokens die tot nu toe zijn gegenereerd.
Heads: Het netwerk geeft drie onderscheidende distributies uit:
1. Action Head: Logits voor het volgende token (operator, variabele, constante of terminatie).
2. Constant Head: Parameters voor een Gaussian Mixture Model (GMM) om reële constanten $\theta$ te samplen.
3. Noise Head: Parameters voor een Log-Normal mixture om de ruisvariantie $\sigma$ te samplen.

Belangrijkste Bijdragen

Nieuw Generatieproces: Een bottom-up omgeving voor SR die dimensionale analyse en structurele restricties direct integreert in het generatieproces, wat de zoekruimte aanzienlijk verkleint.
End-to-End Bayesiaanse Formulering: De eerste formulering van Bayesiaanse SR (inclusief inferentie van scalaire parameters) als een enkel policy-leerprobleem met behulp van maximum-entropie RL, waardoor expliciete per-kandidaat parameterfitting wordt vermeden.
Schaalbare Posterior Sampling: Een methode die efficiënt kan samplen uit de posterior distributie over expressies en parameters, wat onzekerheidskwantificatie mogelijk maakt.

Experimentele Resultaten

De auteurs evalueerden ERRLESS op drie benchmarks: een synthetische dataset, de Feynman Symbolic Regression Database, en een Blackbox benchmark.

Posterior Modellering Accuratesse (Synthetische Data): Vergeleken met PySIPS (een SMC baseline), produceerde ERRLESS een posterior predictieve mean met een significant hogere coëfficiënt van determinatie ( $R^2$ ). PySIPS faalde vaak op de posterior mean omdat een staart van divergerende samples het gemiddelde domineerde, terwijl ERRLESS eindige, goed gedefinieerde posterior samples produceerde.
Feynman Benchmark: ERRLESS behaalde een competitieve AUC-score van 0.924, waarmee het andere RL-gebaseerde methoden zoals DSR (0.873) en PhySO (0.893), evenals de Bayesiaanse baseline BSR (0.702), overtrof. Het toonde superieure robuustheid over variërende ruisniveaus ( $\gamma \in \{0.001, 0.01, 0.1\}$ ).
Complexiteit vs. Accuratesse: Hoewel leidende evolutionaire methoden soms hoge fit-scores bereikten, produceerden ze vaak overly complexe uitdrukkingen. ERRLESS behield een gunstige balans, waarbij het korte, interpreteerbare uitdrukkingen produceerde.
Efficiëntie: ERRLESS was een orde van grootte sneller dan de meeste learning-gebaseerde concurrenten. Deze versnelling wordt toegeschreven aan de ammortisatie van parameteroptimalisatie; de neurale policy leert parameters direct te samplen, waardoor de noodzaak voor een innerlijke optimalisatieloop (bijv. least squares fitting) die vereist is door andere methoden, wordt geëlimineerd.

Betekenis en Claims

Het artikel claimt dat ERRLESS er succesvol in is geslaagd de kloof te overbruggen tussen de interpreteerbaarheid van symbolische regressie en de onzekerheidskwantificatie van Bayesiaanse inferentie. Door gebruik te maken van maximum-entropie RL, vermijdt de methode de computationele knelpunten van traditionele MCMC/SMC-benaderingen, terwijl het een volledige posterior distributie biedt in plaats van een enkele punt-schatting.

De auteurs benadrukken dat het Bayesiaanse perspectief bijzonder waardevol is in settings met schaarse en ruisige data, waar de posterior predictieve mean van ERRLESS beter presteert dan single-point estimates. Het werk demonstreert dat het mogelijk is om een policy te leren die zowel expressiestructuren als hun parameters gelijktijdig samplet, wat een schaalbaar pad biedt naar geautomatiseerde wetenschappelijke ontdekking waarbij onzekerheid expliciet gemodelleerd wordt.

Beperkingen opgemerkt door de auteurs: Prestaties kunnen degraderen bij zeer complexe target-expressies. Toekomstig werk suggereert om de sampler te conditioneren op temperatuurparameters om de balans tussen complexiteit en accuratesse beter te beheren, en om de aanpak uit te breiden om te ammortiseren over datasets of om operator-bibliotheken te ontdekken.