🤖 machine learning

Are you sure? A Comprehensive and Comprehensible Survey of Uncertainty Quantification in Symbolic Regression

Deze survey adresseert de kritieke kloof in onzekerheidskwantificering (UQ) voor symbolische regressie door essentiële concepten te introduceren, de bestaande literatuur over frequentistische, Bayesiaanse en modelselectie-benaderingen te beoordelen, en de noodzaak voor verder onderzoek te benadrukken om betrouwbare besluitvorming in de echte wereld mogelijk te maken.

Oorspronkelijke auteurs: Julia Reuter, Fabricio Olivetti de Franca

Gepubliceerd 2026-06-08

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Julia Reuter, Fabricio Olivetti de Franca

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen met behulp van een reeks aanwijzingen (data). Je doel is om de perfecte "regel" of "formule" te vinden die verklaart hoe die aanwijzingen bij elkaar passen. Dit is wat Symbolic Regression (SR) doet: het zoekt door een enorme bibliotheek van wiskundige functies om de ene te vinden die jouw data het beste beschrijft.

Echter, in de echte wereld zijn aanwijzingen zelden perfect. Ze kunnen veegjes hebben, gemeten zijn met een trillende hand, of simpelweg inherent willekeurig zijn. Hier komt Uncertainty Quantification (UQ) om de hoek kijken. Denk aan UQ als de "vertrouwensmeter" van de detective. In plaats van alleen te zeggen: "De regel is $y = 2x$ ", zegt een goede detective met UQ: "De regel is waarschijnlijk $y = 2x$ , maar ik ben slechts 95% zeker, en het echte antwoord zou ergens tussen $1.8x$ en $2.2x$ kunnen liggen."

Dit artikel is een uitgebreide survey (een grote review) over hoe onderzoekers momenteel proberen deze "vertrouwensmeters" voor Symbolic Regression te bouwen. De auteurs stellen dat hoewel SR steeds beter wordt in het vinden van regels, het nog steeds erg slecht is in het vertellen ons hoeveel we die regels moeten vertrouwen.

Hier is een uitsplitsing van de hoofdideeën van het artikel met behulp van eenvoudige analogieën:

1. De twee soorten "twijfel"

Het artikel legt uit dat er twee hoofdoorzaken zijn waarom een detective onzeker kan zijn:

De "onordelijke aanwijzingen" (Aleatorische onzekerheid): Stel je voor dat je de hoogte van een stuiterende bal probeert te meten. Hoe vaak je de meting ook uitvoert, de bal zal elke keer anders stuiteren. Dit is ruis die je niet kunt elimineren, zelfs niet met meer data. UQ helpt je inzien: "Hé, de bal is gewoon chaotisch; ik kan de exacte stuiter niet voorspellen, alleen het gemiddelde."
De "ontbrekende kennis" (Epistemische onzekerheid): Stel je voor dat je probeert een geheime code te raden, maar je hebt slechts drie aanwijzingen. Je kent de regel niet omdat je nog niet genoeg voorbeelden hebt gezien. Dit is een gebrek aan kennis. Als je meer aanwijzingen krijgt, kun je deze twijfel verminderen. UQ helpt je inzien: "Ik gok hier omdat ik nog niet genoeg data heb gezien."

2. Drie manieren om vertrouwen te meten

Het artikel ordent de huidige methoden in drie "scholen van denken" over hoe je die vertrouwensmeter berekent:

A. De Frequentistische benadering (De "Herhaal het experiment"-club)

De analogie: Stel je voor dat je een cake bakt en die smaakt perfect. Om te weten of hij echt perfect is of gewoon geluk had, bak je hem 100 keer. Als hij 95 keer heerlijk smaakt, ben je zelfverzekerd.
Hoe het werkt: Deze methoden gaan ervan uit dat er één "ware" regel bestaat, maar dat onze data ruis bevat. Ze gebruiken wiskunde (zoals Fisher Informatie) om naar de vorm van de "heuvel" te kijken waar het beste antwoord zich bevindt.
- Scherpe piek: Als de heuvel een scherpe spike is, weet je precies waar de top zit (hoge vertrouwensgraad).
- Vlak plateau: Als de heuvel een platte tafel is, zou je overal op de tafel kunnen staan en nog steeds "correct" zijn (lage vertrouwensgraad).
Tools: Ze gebruiken Betrouwbaarheidsintervallen (een bereik voor de getallen in de regel) en Voorspellingsintervallen (een bereik voor toekomstige voorspellingen). Ze gebruiken ook Conformal Prediction, wat als een vangnet werkt dat garandeert dat je gok een bepaald percentage van de tijd juist zal zijn, zonder dat je ervan uit moet gaan dat de data een specifiek patroon volgt.

B. De Bayesiaanse benadering (De "Update je overtuiging"-club)

De analogie: Stel je voor dat je begint met een vermoeden (een prior belief) over wat de regel zou kunnen zijn. Naarmate je nieuwe aanwijzingen krijgt, update je je vermoeden. Je zoekt niet alleen naar één beste regel; je houdt een hele "wolk" van mogelijke regels in je hoofd, elk met een waarschijnlijkheid van waarheid.
Hoe het werkt: In plaats van één enkel antwoord te vinden, proberen deze methoden de volledige "wolk" van mogelijkheden in kaart te brengen.
- Geloofwaardigheidsintervallen (Credible Intervals): Dit is de Bayesiaanse versie van een betrouwbaarheidsinterval. Het zegt: "Er is een kans van 90% dat de ware regel binnen deze box valt."
- De uitdaging: Het berekenen van deze "wolk" is moeilijk. Het artikel bespreekt methoden zoals MCMC (Markov Chain Monte Carlo), wat lijkt op een dronkenmans wankelende loop die uiteindelijk het hele gebied in kaart brengt, en SMC (Sequential Monte Carlo), dat een zwerm deeltjes gebruikt om het gebied efficiënter te verkennen.
Innovatie: Sommige onderzoekers proberen deze methoden niet alleen te gebruiken om de getallen in de regel te vinden, maar om de vorm van de regel zelf te vinden (bijv. is het een lijn? een curve? een boom?).

C. Modelselectie (De "Kies de beste detective"-club)

De analogie: Je hebt 10 verschillende theorieën over het mysterie. Sommige zijn simpel (één verdachte), andere zijn complex (een complot waarbij 50 mensen betrokken zijn). Hoe kies je de juiste zonder in een complottheorie te trappen die de data té perfect beschrijft (overfitting)?
Hoe het werkt: Dit gedeelte kijkt naar methoden zoals MDL (Minimum Description Length). Denk aan dit als een "compressiespel". De beste regel is de regel die de data uitlegt met de minste woorden (bits). Als een regel te complex is, is het alsof je een boek probeert te comprimeren tot één enkele zin—daarbij gaat de betekenis verloren. Deze methoden straffen overmatig complexe regels af om te voorkomen dat de detective wordt misleid door willekeurige ruis.

3. Wat de survey heeft gevonden

De auteurs hebben veel onderzoeksartikelen bekeken en een paar belangrijke zaken vastgesteld:

Het is een nieuw gebied: Slechts een handvol artikelen (voornamelijk uit de laatste jaren) doet hier daadwerkelijk onderzoek naar. De meeste Symbolic Regression-onderzoek richt zich alleen op het vinden van het "beste" antwoord, waarbij wordt genegeerd hoe onzeker we over dat antwoord moeten zijn.
Bayesiaans is populair: Omdat Symbolic Regression zo flexibel is, is het moeilijk om de "Frequentistische" wiskunde te gebruiken (die uitgaat van eenvoudige, stabiele regels). Daarom gebruikt de meeste nieuwe research Bayesiaanse methoden om de complexiteit aan te pakken.
Het "Structuur"-probleem: Het is makkelijk om de onzekerheid te berekenen voor de getallen in een formule (zoals de "2" in $2x$ ). Het is veel, veel moeilijker om de onzekerheid te berekenen voor de vorm van de formule (is het $x^2$ of $x^3$ ?). Het artikel benadrukt dat hoewel sommige onderzoekers proberen dit op te lossen, het nog steeds een grote uitdaging is.
Het "Ruis"-probleem: Soms is de data zelf rommelig (de x-as heeft fouten, niet alleen de y-as). De meeste standaardmethoden negeren dit, maar een paar geavanceerde artikelen beginnen dit te corrigeren.

De kern van de zaak

De auteurs concluderen dat Symbolic Regression momenteel "blind" is voor zijn eigen onzekerheid. Het is als een GPS die je vertelt linksaf te slaan, maar je niet vertelt of de weg eigenlijk afgesloten is of dat de kaart verouderd is.

De auteurs roepen de wetenschappelijke gemeenschap op om te stoppen met alleen zoeken naar de "beste" wiskundige regel en te beginnen met het bouwen van tools die ons kunnen vertellen hoeveel we die regel kunnen vertrouwen. Zij geloven dat we zonder deze "vertrouwensmeter" deze krachtige AI-tools niet veilig kunnen gebruiken voor beslissingen in de echte wereld waar fouten kostbaar zijn.

Technische Samenvatting: Een Uitgebreid en Begrijpelijk Overzicht van Onzekerheidskwantificatie in Symbolische Regressie

Probleemstelling

Symbolische Regressie (SR) is een klasse van zoekalgoritmen die ontworpen is om wiskundige functies te ontdekken die de onderliggende relaties in datasets accuraat vastleggen. Ondanks recente vooruitgang wordt de adoptie van SR in real-world besluitvormingsprocessen beperkt door een gebrek aan ondersteuning voor Onzekerheidskwantificatie (Uncertainty Quantification, UQ). Bij regressieanalyse is UQ cruciaal voor het beoordelen van de betrouwbaarheid van modellen, het voorkomen van overfitting door rekening te houden met dataruis (aleatorische onzekerheid), en het bieden van inzichten voor besluitvorming.

SR staat voor twee primaire bronnen van onzekerheid:

Aleatorische Onzekerheid: Intrinsieke willekeur of meetonnauwkeurigheid in het proces van datageneratie. Dit is onherleidbaar, maar kan gekwantificeerd worden om de door ruis geïnduceerde ondergrens van de fout te schatten.
Epistemische Onzekerheid: Een gebrek aan kennis over het ware model. Dit omvat:
- Modelonzekerheid: Het risico dat het ware model $h^*$ niet aanwezig is in de hypotheseruimte $\mathcal{H}$ .
- Benaderingsonzekerheid: Onzekerheid over de vraag of een specifieke hypothese $h$ de beste is binnen $\mathcal{H}$ , vaak gedecomposed in parameteronzekerheid (onzekerheid in aanpasbare parameters $\theta$ ) en structurele onzekerheid.

Terwijl de traditionele SR-literatuur zich richt op efficiënte traversering van de multimodale zoekruimte, worden onzekerheden vaak niet expliciet geadresseerd. Dit overzicht beoogt essentiële UQ-concepten te introduceren en de huidige literatuur te beoordelen om het bewustzijn te vergroten en de ontwikkeling van betrouwbare UQ-methoden voor SR te bevorderen.

Methodologie en Theoretische Fundamenten

Het artikel structureert de review rond drie onderzoeksrichtingen: Frequentistisch, Bayesiaans en Modelselectie. Het legt een theoretische basis met behulp van likelihoodfuncties en Fisher-informatie.

1. Statistische Fundamenten

Likelihood en Fisher-informatie: De survey definieert de likelihoodfunctie $L_N(\theta)$ en de log-transformatie daarvan. Het maakt gebruik van de Hessiaan-matrix van de log-likelihood om de zekerheid van parameters te schatten. De negatieve Hessiaan komt overeen met de geobserveerde Fisher-informatie, waarbij kleine informatiewaarden duiden op vlakke likelihood-oppervlakken (hoge onzekerheid) en scherpe pieken duiden op precieze schatting.
Frequentistische Benaderingen: Deze behandelen parameters als vast maar onbekend. UQ wordt bereikt via Betrouwbaarheidsintervallen (Confidence Intervals, CI) voor parameters en Voorspellingsintervallen (Prediction Intervals, PI) voor outputs. Het artikel beschrijft de berekening van standaardfouten met behulp van de inverse Hessiaan en bespreekt Conformal Prediction (CP) als een distributievrije methode die dekking garandeert voor uitwisselbare data, in contrast met traditionele PIs die steunen op Gaussische aannames.
Bayesiaanse Methoden: Deze behandelen parameters als willekeurige variabelen met distributies. UQ wordt bereikt via Geloofwaardigheidsintervallen (Credible Intervals, CrI) afgeleid van de posterior distributie $p(h|D) \propto p(h)p(D|h)$ . Het artikel bespreekt Markov Chain Monte Carlo (MCMC) en Sequential Monte Carlo (SMC) als methoden om intratabele posteriors te benaderen. Het behandelt ook Bayesian Model Averaging (BMA) om benaderingsonzekerheid te hanteren.
Modelselectie: De survey beoordeelt principes zoals de Bayes Factor, Fractional Bayes Factor (FBF) (om onjuiste priors te behandelen), en het Minimum Description Length (MDL) principe, dat de balans vindt tussen modelcomplexiteit en datafit door de codelengte te minimaliseren.

2. Survey van SR-specifieke UQ-literatuur

De auteurs hebben 18 relevante artikelen onderzocht (11 Bayesiaans, 4 niet-Bayesiaans, 3 modelselectie) uit peer-reviewed tijdschriften, conferenties en preprints.

Bayesiaanse Benaderingen in SR

Sequential Monte Carlo (SMC): Een reeks werken (Bomarito et al., Leser et al.) integreert SMC in Genetic Programming (GP) voor SR. Zij stellen een probabilistische herformulering voor van lokale optimalisatie en selectie. De methode schat de Normalized Marginal Log Likelihood (NMLL) om modellen te vergelijken. Het gebruikt SMC om integralen over parameters te benaderen, waarbij multimodale posteriors beter worden afgehandeld dan Laplace-benaderingen. Recent werk breidt dit uit naar het marginaliseren over discrete modelstructuren direct, waarbij de populatie van symbolische modellen als een gewogen posterior wordt behandeld.
Structurele Priors: Guimera et al. en Bartlett et al. introduceren informatieve priors over modelstructuren. Guimera et al. gebruiken operatorfrequenties uit een corpus (Wikipedia) om priors te definiëren, terwijl Bartlett et al. taalmodellen (n-grams) gebruiken om knoop-probabiliteiten conditioneel op voorouders te modelleren, met als doel de context in expressietrees te vangen.
X-as Onzekerheid: Bartlett en Desmond formuleren likelihoods die meetfouten in onafhankelijke variabelen ( $x$ ) incorporeren, waarbij de ware waarden worden gemarginaliseerd om een gemodificeerde likelihoodfunctie af te leiden.
Ensemble Methoden: Agapitos et al. stellen Bayesian Model Averaging voor over een populatie van diverse modellen om benaderingsonzekerheid te verklaren.
Lineaire Bayesiaanse Bossen: Roy et al. stellen HierBOSSS voor (een bos van lineair gecombineerde symbolische bomen) en VaSST (gebruikmakend van variational inference met 'soft' symbolische bomen). Deze benaderingen maken gebruik van conjugatie voor lineaire coëfficiënten, maar vertrouwen op mean-field benaderingen voor boomstructuren. De auteurs merken beperkingen op wat betreft de lineariteitsaanname en potentiële inconsistenties in de experimentele replicatie.
Post-hoc MCMC: Zhao en Zhao passen MCMC toe op het uiteindelijke model gevonden door SR om geloofwaardigheidsintervallen voor coëfficiënten en voorspellingen te berekenen.

Niet-Bayesiaanse Benaderingen

Kwantielregressie: Hoekstra en Hengst vervangen de SR-fitnessfunctie door een pinball loss om conditionele kwantielen te schatten, wat effectief voorspellingsintervallen genereert.
Profile Likelihood: de Franca en Kronberger gebruiken profile likelihood om asymmetrische betrouwbaarheidsintervallen voor parameters en voorspellingen te berekenen, waarbij zij afhankelijkheden tussen parameters vastleggen die delta-methode benaderingen missen.
Bootstrapping: Manzi en Vasile passen bootstrapping toe om meerdere samples te genereren, SR-modellen te fitten en de distributies van parameters te visualiseren via histogrammen om structurele en parametrische onzekerheid te beoordelen.
Terminale Symbolen voor Ruis: Schmidt en Lipson introduceren een willekeurig terminaal symbool om niet-lineaire ruisrelaties direct binnen de expressie te modelleren, waarbij het bereik van voorspellingsintervallen wordt geoptimaliseerd.
Conformal Prediction in SR: Thuong et al. integreren CP ofwel post-hoc op het beste model, ofwel door de intervalbreedte in de fitnessfunctie op te nemen, waarbij zij vonden dat post-hoc toepassing betere resultaten gaf.

Modelselectie

MDL in SR: Iba et al. en Nikolaev passen MDL toe op polynomiale modellen (STROGANOFF) en exhaustieve zoekopdrachten, waarbij codelengte wordt gebruikt om complexiteit te bestraffen. Bartlett et al. stellen een gedetailleerde DL-metriek voor genummerde expressies voor die rekening houdt met functionele complexiteit en parametrische precisie via discretisatie.

Belangrijkste Resultaten en Bevindingen

Recentheid: Slechts 3 van de 18 onderzochte papers werden gepubliceerd vóór 2020, wat aangeeft dat UQ in SR een snel opkomend veld is.
Methodologische Diversiteit: Hoewel traditionele UQ-methoden (zoals CI's) bestaan, is de directe toepassing ervan op SR zeldzaam. De meeste onderzochte werken (ca. 60%) maken gebruik van Bayesiaanse benaderingen, waarbij gebruik wordt gemaakt van sampling-methoden (MCMC, SMC) om inherent UQ te bieden.
SMC vs. Laplace: SMC-gebaseerde methoden voor SR (Bomarito et al.) tonen een superieur vermogen om multimodale posteriors te vatten vergeleken met Laplace-benaderingen, hoewel tegen een hogere computationele kosten.
Structurele Priors: Het incorporeren van structurele priors (bijv. gebaseerd op taalmodellen of operatorfrequenties) helpt bij modelselectie en vermindert overfitting, hoewel ze mogelijk nieuwe expressies die niet in de trainingscorpus aanwezig zijn, beperken.
Beperkingen van Huidige Methoden:
- Veel Bayesiaanse SR-methoden (bijv. VaSST) vertrouwen op mean-field benaderingen die afhankelijkheden tussen knopen negeren, wat potentieel tot suboptimale globale structuren leidt.
- Lineaire Bayesiaanse bossen zijn beperkt tot modellen die lineair zijn in hun parameters.
- Sommige voorgestelde methoden (bijv. HierBOSSS, VaSST) kampen met uitdagingen wat betreft experimentele replicatie en code-consistentie.
- Frequentistische benaderingen worstelen met SR omdat flexibele SR-modellen gemakkelijk kunnen overfitten, waardoor ze ongeschikt zijn als onbevooroordeelde schatters die vereist zijn voor bepaalde variantieberekeningen.

Betekenis en Claims

Het artikel claimt de eerste survey te zijn die het probleem van UQ in Symbolische Regressie duidelijk adresseert. De primaire betekenis ligt in:

Het overbruggen van de kloof: Het verbindt gevestigde statistische UQ-concepten (frequentistisch en Bayesiaans) met de specifieke uitdagingen van SR, zoals de discrete aard van modelstructuren en multimodale zoekruimtes.
Categorisering: Het organiseert de gefragmenteerde literatuur in drie coherente onderzoeksrichtingen: frequentistisch, Bayesiaans en modelselectie.
Het belichten van onderbelichte gebieden: De auteurs concluderen dat UQ in SR grotendeels onderbelicht blijft en dat het belang ervan systematisch wordt onderschat.
Toekomstige Richting: Het artikel betoogt dat toekomstig werk de gevestigde UQ-methoden voor SR moet adopteren, gekoppeld aan een zorgvuldige analyse van data en ruis, om betrouwbare modellen voor real-world besluitvorming te ontwikkelen. Het benadrukt dat hoewel UQ "gratis" kan komen in sampling-gebaseerde benaderingen, de huidige implementaties aanzienlijke beperkingen hebben wat betreft computationele kosten, structurele priors en het afhandelen van multimodaliteit.