🤖 machine learning

Are you sure? A Comprehensive and Comprehensible Survey of Uncertainty Quantification in Symbolic Regression

Diese Übersicht adressiert die kritische Lücke in der Unsicherheitsquantifizierung (UQ) für die symbolische Regression, indem sie wesentliche Konzepte einführt, die bestehende Literatur über frequentistische, bayessche und Modellauswahl-Ansätze überprüft und die Notwendigkeit weiterer Forschung hervorhebt, um eine zuverlässige Entscheidungsfindung in der realen Welt zu ermöglichen.

Ursprüngliche Autoren: Julia Reuter, Fabricio Olivetti de Franca

Veröffentlicht 2026-06-08

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Julia Reuter, Fabricio Olivetti de Franca

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel mithilfe eines Satzes an Hinweisen (Daten) zu lösen. Ihr Ziel ist es, die perfekte „Regel“ oder „Formel“ zu finden, die erklärt, wie diese Hinweise zusammenpassen. Genau das macht die Symbolische Regression (SR): Sie sucht in einer riesigen Bibliothek mathematischer Funktionen nach derjenigen, die Ihre Daten am besten beschreibt.

In der realen Welt sind Hinweise jedoch selten perfekt. Sie könnten verschmiert sein, mit zittriger Hand gemessen worden sein oder einfach von Natur aus zufällig sein. Hier kommt die Unsicherheitsschätzung (Uncertainty Quantification, UQ) ins Spiel. Denken Sie bei UQ an den „Konfidenz- ever Meter“ des Detektivs. Anstatt nur zu sagen: „Die Regel ist $y = 2x$ “, sagt ein guter Detektiv mit UQ: „Die Regel ist wahrscheinlich $y = 2x$ , aber ich bin mir nur zu 95 % sicher, und die wahre Antwort könnte irgendwo zwischen $1,8x$ und $2,2x$ liegen.“

Dieses Paper ist eine umfassende Übersicht (ein großer Review) darüber, wie Forscher derzeit versuchen, diese „Konfidenz- ever Meter“ für die Symbolische Regression zu bauen. Die Autoren argumentieren, dass die SR zwar immer besser darin wird, Regeln zu finden, aber immer noch schrecklich darin ist, uns zu sagen, wie sehr wir diesen Regeln vertrauen sollten.

Hier ist eine Aufschlüsselung der Hauptideen des Papers unter Verwendung einfacher Analogien:

1. Die zwei Arten des „Zweifels“

Das Paper erklärt, dass es zwei Hauptgründe gibt, warum ein Detektiv unsicher sein könnte:

Die „unordentlichen Hinweise“ (Aleatorische Unsicherheit): Stellen Sie sich vor, Sie messen die Höhe eines springenden Balls. Egal wie oft Sie messen, er wird jedes Mal anders springen. Dies ist ein Rauschen, das man nicht beseitigen kann, selbst wenn man mehr Daten hat. UQ hilft Ihnen zu erkennen: „Hey, der Ball ist einfach chaotisch; ich kann den exakten Sprung nicht vorhersagen, nur den Durchschnitt.“
Das „fehlende Wissen“ (Epistemische Unsicherheit): Stellen Sie sich vor, Sie versuchen, einen geheimen Code zu erraten, aber Sie haben nur drei Hinweise. Sie kennen die Regel nicht, weil Sie noch nicht genug Beispiele gesehen haben. Dies ist ein Mangel an Wissen. Wenn Sie mehr Hinweise erhalten, können Sie diesen Zweifel verringern. UQ hilft Ihnen zu erkennen: „Ich rate hier nur, weil ich noch nicht genug Daten gesehen habe.“

2. Die drei Wege, Konfidenz zu messen

Das Paper ordnet die aktuellen Methoden in drei „Denkschulen“ ein, wie man diesen Konfidenz- ever Meter berechnet:

A. Der Frequentistische Ansatz (Der „Wiederhole das Experiment“-Club)

Die Analogie: Stellen Sie sich vor, Sie backen einen Kuchen und er schmeckt perfekt. Um zu wissen, ob er wirklich perfekt ist oder nur Glück war, backen Sie ihn 100 Mal. Wenn er 95 Mal großartig schmeckt, sind Sie zuversichtlich.
Wie es funktioniert: Diese Methoden gehen davon aus, dass es eine einzige „wahre“ Regel gibt, aber unsere Daten verrauscht sind. Sie nutzen Mathematik (wie die Fisher-Information), um die Form des „Hügels“ zu betrachten, auf dem sich die beste Antwort befindet.
- Scharfer Gipfel: Wenn der Hügel eine scharfe Spitze ist, wissen Sie genau, wo die Spitze liegt (hohe Konfidenz).
- Flaches Plateau: Wenn der Hügel ein flacher Tisch ist, könnten Sie überall auf ihm stehen und immer noch „korrekt“ sein (niedrige Konfidenz).
Werkzeuge: Sie verwenden Konfidenzintervalle (einen Bereich für die Zahlen der Regel) und Prädiktionsintervalle (einen Bereich für zukünftige Vorhersagen). Sie verwenden auch die Konforme Prädiktion, was wie ein Sicherheitsnetz ist, das garantiert, dass Ihre Vorhersage in einem bestimmten Prozentsatz der Fälle richtig ist, ohne davon auszugehen, dass die Daten einem spezifischen Muster folgen.

B. Der Bayesianische Ansatz (Der „Überzeugungs-Update“-Club)

Die Analogie: Stellen Sie sich vor, Sie beginnen mit einer Vermutung (einer Prior-Annahme) darüber, was die Regel sein könnte. Wenn Sie neue Hinweise erhalten, aktualisieren Sie Ihre Vermutung. Sie suchen nicht nur nach einer besten Regel, sondern behalten eine ganze „Wolke“ möglicher Regeln im Kopf, von denen jede eine Wahrscheinlichkeit hat, wahr zu sein.
Wie es funktioniert: Anstatt nach einer einzigen Antwort zu suchen, versuchen diese Methoden, die gesamte „Wolke“ der Möglichkeiten abzubilden.
- Credible Intervals (Glaubwürdigkeitsintervalle): Dies ist die Bayesianische Version des Konfidenzintervalls. Es besagt: „Es besteht eine 90-prozentige Chance, dass die wahre Regel innerhalb dieser Box liegt.“
- Die Herausforderung: Das Berechnen dieser „Wolke“ ist schwierig. Das Paper diskutiert Methoden wie MCMC (Markov Chain Monte Carlo), was wie ein Betrunkenen-Gang ist, der schließlich das ganze Gelände kartiert, und SMC (Sequential Monte Carlo), das einen Schwarm von Partikeln nutzt, um das Gelände effizienter zu erkunden.
Innovation: Einige Forscher versuchen, diese Methoden nicht nur zu verwenden, um die Zahlen in der Regel zu finden, sondern um die Form der Regel selbst zu finden (z. B. ist es eine Linie, eine Kurve, ein Baum?).

C. Modellselektion (Der „Wähle den besten Detektiv“-Club)

Die Analogie: Sie haben 10 verschiedene Theorien über das Rätsel. Einige sind einfach (ein Verdächtiger), einige sind komplex (eine Verschwörung mit 50 Beteiligten). Wie wählen Sie die richtige aus, ohne auf eine Verschwörungstheorie hereinzufallen, die zu perfekt zu den Daten passt (Overfitting)?
Wie es funktioniert: Dieser Abschnitt betrachtet Methoden wie MDL (Minimum Description Length). Denken Sie an dies als ein „Kompressionsspiel“. Die beste Regel ist diejenige, die die Daten mit den wenigsten Wörtern (Bits) erklärt. Wenn eine Regel zu komplex ist, ist es so, als würde man versuchen, ein Buch in einen einzigen Satz zu komprimieren – dabei geht die Bedeutung verloren. Diese Methoden bestrafen übermäßig komplexe Regeln, um sicherzustellen, dass der Detektiv nicht durch zufälliges Rauschen getäuscht wird.

3. Was das Survey herausgefunden hat

Die Autoren haben viele Forschungspapiere untersucht und einige Kernpunkte festgestellt:

Es ist eine neue Grenze: Nur eine Handvoll Paper (meist aus den letzten Jahren) betreibt tatsächlich dies. Die meiste Forschung zur Symbolischen Regression konzentriert sich nur darauf, die „beste“ Antwort zu finden und ignoriert dabei, wie unsicher wir uns sein sollten.
Bayesianisch ist populär: Da die Symbolische Regression so flexibel ist, ist es schwer, die „frequentistische“ Mathematik anzuwenden (die einfache, stabile Regeln voraussetzt). Daher nutzt der Großteil der neuen Forschung Bayesianische Methoden, um die Komplexität zu bewältigen.
Das „Struktur“-Problem: Es ist einfach, die Unsicherheit für die Zahlen in einer Formel zu berechnen (wie die „2“ in $2x$ ). Es ist viel, viel schwieriger, die Unsicherheit für die Form der Formel zu berechnen (ist es $x^2$ oder $x^3$ ?). Das Paper hebt hervor, dass zwar einige Forscher versuchen, dies zu lösen, es aber immer noch eine große Herausforderung darstellt.
Das „Rauschen“-Problem: Manchmal sind die Daten selbst unordentlich (die x-Achse weist Fehler auf, nicht nur die y-Achse). Die meisten Standardmethoden ignorieren dies, aber einige fortgeschrittene Paper beginnen, dieses Problem zu beheben.

Das Fazit

Das Paper kommt zu dem Schluss, dass die Symbolische Regression derzeit „blind“ gegenüber ihrer eigenen Unsicherheit ist. Es ist wie ein GPS, das Ihnen sagt, dass Sie links abbiegen sollen, aber nicht mitteilt, ob die Straße tatsächlich gesperrt ist oder ob die Karte veraltet ist.

Die Autoren rufen die wissenschaftliche Gemeinschaft dazu auf, aufzuhören, nur nach der „besten“ mathematischen Regel zu suchen, und statfangen, Werkzeuge zu entwickeln, die uns sagen, wie sehr wir dieser Regel vertrauen können. Sie glauben, dass wir ohne diesen „Konfidenz- ever Meter“ diese leistungsstarken KI-Tools nicht sicher für reale Entscheidungen einsetzen können, bei denen Fehler kostspielig sind.

Technisches Resümee: Eine umfassende und verständliche Untersuchung der Unsicherheitsquantifizierung in der Symbolischen Regression

Problemstellung

Die Symbolische Regression (SR) ist eine Klasse von Suchalgorithmen, die darauf ausgelegt ist, mathematische Funktionen zu entdecken, welche die zugrunde liegenden Beziehungen in Datensätzen präzise erfassen. Trotz jüngster Fortschritte wird die Anwendung von SR in realen Entscheidungsprozessen durch die mangelnde Unterstützung bei der Unsicherheitsquantifizierung (Uncertainty Quantification, UQ) begrenzt. In der Regressionsanalyse ist UQ entscheidend für die Bewertung der Modellzuverlässigkeit, die Vermeidung von Overfitting durch Berücksichtigung von Datenrauschen (aleatorische Unsicherheit) und die Bereitstellung von Erkenntnissen für die Entscheidungsfindung.

SR steht vor zwei primären Quellen der Unsicherheit:

Aleatorische Unsicherheit: Intrinsische Zufälligkeit oder Messungenauigkeiten im Datengenerierungsprozess. Diese ist irreduzibel, kann aber quantifiziert werden, um die durch Rauschen induzierte untere Fehlerschranke abzuschätzen.
Epistemische Unsicherheit: Ein Mangel an Wissen über das wahre Modell. Dies umfasst:
- Modellunsicherheit: Das Risiko, dass das wahre Modell $h^*$ nicht in der Hypothesenraum $\mathcal{H}$ vorhanden ist.
- Approximationsunsicherheit: Die Unsicherheit darüber, ob ein spezifisches Hypothese $h$ die beste innerhalb von $\mathcal{H}$ ist, oft unterteilt in Parameterunsicherheit (Unsicherheit in den anpassbaren Parametern $\theta$ ) und strukturelle Unsicherheit.

Während die traditionelle SR-Literatur den Fokus auf die effiziente Durchquerung des multimodalen Suchraums legt, werden Unsicherheiten oft nicht explizit adressiert. Diese Übersicht zielt darauf ab, essenzielle UQ-Konzepte einzuführen und die aktuelle Literatur zu überprüfen, um das Bewusstsein zu schärfen und Fortschritte bei zuverlässigen UQ-Methoden für SR zu fördern.

Methodik und theoretische Grundlagen

Die Arbeit strukturiert die Übersicht um drei Forschungsrichtungen: Frequentistisch, Bayesianisch und Modellselektion. Sie etabliert ein theoretisches Fundament mittels Likelihood-Funktionen und Fisher-Information.

1. Statistische Grundlagen

Likelihood und Fisher-Information: Die Übersicht definiert die Likelihood-Funktion $L_N(\theta)$ und deren Log-Transformation. Sie nutzt die Hesse-Matrix der Log-Likelihood zur Schätzung der Parametersicherheit. Die negative Hesse entspricht der beobachteten Fisher-Information, wobei kleine Informationswerte auf flache Likelihood-Oberflächen (hohe Unsicherheit) und scharfe Spitzen auf präzise Schätzungen hindeuten.
Frequentistische Ansätze: Diese behandeln Parameter als feststehend, aber unbekannt. UQ wird durch Konfidenzintervalle (CI) für Parameter und Prädiktionsintervalle (PI) für Ausgaben erreicht. Das Paper detailliert die Berechnung von Standardfehlern mittels der inversen Hesse und diskutt Conformal Prediction (CP) als distributionsfreie Methode, die eine Abdeckung für austauschbare Daten garantiert, im Gegensatz zu traditionellen PIs, die auf Gaußschen Annahmen beruhen.
Bayesianische Methoden: Diese behandeln Parameter als Zufallsvariablen mit Verteilungen. UQ wird durch Credible Intervals (CrI) erreicht, die aus der Posterior-Verteilung $p(h|D) \propto p(h)p(D|h)$ abgeleitet werden. Das Paper diskutiert Markov-Chain-Monte-Carlo (MCMC) und Sequential Monte Carlo (SMC) als Methoden zur Approximation intransigenter Posteriors. Es behandelt zudem Bayesianische Modellmittelung (BMA) zur Handhabung von Approximationsunsicherheit.
Modellselektion: Die Übersicht untersucht Prinzipien wie den Bayes-Faktor, den Fractional Bayes Factor (FBF) (um uninformative Priors zu handhaben) und das Minimum Description Length (MDL)-Prinzip, welches die Modellkomplexität und die Datenpassung ausbalanciert, indem es die Codelänge minimiert.

2. Übersicht über die SR-spezifische UQ-Literatur

Die Autoren haben 18 relevante Artikel (11 Bayesianisch, 4 Nicht-Bayesianisch, 3 Modellselektion) aus Fachzeitschriften, Konferenzen und Preprints ausgewertet.

Bayesianische Ansätze in der SR

Sequential Monte Carlo (SMC): Eine Reihe von Arbeiten (Bomarito et al., Leser et al.) integriert SMC in die Genetische Programmierung (GP) für SR. Sie schlagen eine probabilistische Reformulierung der lokalen Optimierung und Selektion vor. Die Methode schätzt die Normalized Marginal Log Likelihood (NMLL), um Modelle zu vergleichen. Sie nutzt SMC, um Integrale über Parameter zu approximieren, was multimodale Posteriors besser handhabt als Laplace-Approximationen. Jüngste Arbeiten erweitern dies auf die direkte Marginalisierung über diskrete Modellstrukturen, indem sie die Population symbolischer Modelle als gewichtete Posterior behandeln.
Strukturelle Priors: Guimera et al. und Bartlett et al. führen informative Priors über Modellstrukturen ein. Guimera et al. nutzen Operator-Frequenzen aus einem Korpus (Wikipedia), um Priors zu definieren, während Bartlett et al. Sprachmodelle (n-Gramme) verwenden, um Knotenwahrscheinlichkeiten konditional auf Ahnen zu modellieren, um den Kontext in Expressionsbäumen zu erfassen.
X-Achsen-Unsicherheit: Bartlett und Desmond formulieren Likelihoods, die Messfehler in den unabhängigen Variablen ( $x$ ) einbeziehen, indem sie die wahren Werte marginalisieren, um eine modifizierte Likelihood-Funktion abzuleiten.
Ensemble-Methoden: Agapitos et al. schlagen Bayesianische Modellmittelung über eine Population diverser Modelle vor, um die Approximationsunsicherheit zu berücksichtigen.
Lineare Bayesianische Wälder: Roy et al. schlagen HierBOSSS (einen Wald aus linear kombinierten symbolischen Bäumen) und VaSST (unter Verwendung von Variational Inference mit weichen symbolischen Bäumen) vor. Diese Ansätze nutzen Konjugiertheit für lineare Koeffizienten aus, verlassen sich aber auf Mean-Field-Approximationen für Baumstrukturen. Die Autoren merken Einschränkungen hinsichtlich der Linearitätsannahme und potenzielle Inkonsistenzen bei der experimentellen Replikation an.
Post-hoc MCMC: Zhao und Zhao wenden MCMC auf das gefundene Endmodell der SR an, um Credible Intervals für Koeffizienten und Vorhersagen zu berechnen.

Nicht-Bayesianische Ansätze

Quantilsregression: Hoekstra und Hengst ersetzen die SR-Fitnessfunktion durch eine Pinball-Loss-Funktion, um bedingte Quantile zu schätzen, was effektiv Prädiktionsintervalle generiert.
Profil-Likelihood: de Franca und Kronberger nutzen Profil-Likelihood, um asymmetrische Konfidenzintervalle für Parameter und Vorhersagen zu berechnen, wodurch Abhängigkeiten zwischen Parametern erfasst werden, die Delta-Method-Approximationen entgehen.
Bootstrapping: Manzi und Vasile wenden Bootstrapping an, um multiple Stichproben zu generieren, SR-Modelle anzupassen und die Verteilung der Parameter via Histogrammen zu visualisieren, um strukturelle und parametrische Unsicherheit zu bewerten.
Terminalsymbole für Rauschen: Schmidt und Lipson führen ein zufälliges Terminalsymbol ein, um nichtlineare Rauschbeziehungen direkt innerhalb der Expression zu modellieren und so den Bereich der Prädiktionsintervalle zu optimieren.
Conformal Prediction in der SR: Thuong et al. integrieren CP entweder post-hoc auf das beste Modell oder durch Einbeziehung der Intervallbreite in die Fitnessfunktion, wobei sie feststellten, dass die post-hoc Anwendung bessere Ergebnisse lieferte.

Modellselektion

MDL in der SR: Iba et al. und Nikolaev wenden MDL auf polynomielle Modelle (STROGANOFF) und exhaustive Suchen an, wobei die Codelänge zur Bestrafung von Komplexität genutzt wird. Bartlett et al. schlagen eine detaillierte DL-Metrik für enumerierte Ausdrücke vor, die funktionale Komplexität und Parameterpräzision durch Diskretisierung berücksichtigt.

Zentrale Ergebnisse und Erkenntnisse

Aktualität: Nur 3 der 18 untersuchten Arbeiten wurden vor 2020 veröffentlicht, was zeigt, dass UQ in der SR ein sich schnell entwickelndes Feld ist.
Methodische Diversität: Während traditionelle UQ-Methoden (wie CIs) existieren, ist ihre direkte Anwendung auf SR selten. Die meisten untersuchten Arbeiten (ca. 60 %) nutzen Bayesianische Ansätze, die durch Sampling-Methoden (MCMC, SMC) inhärent UQ bereitstellen.
SMC vs. Laplace: SMC-basierte Methoden für SR (Bomarito et al.) demonstrieren eine überlegene Fähigkeit zur Erfassung multimodaler Posteriors im Vergleich zu Laplace-Approximationen, wenngleich zu höheren Rechenkosten.
Strukturelle Priors: Die Einbeziehung struktureller Priors (z. B. basierend auf Sprachmodellen oder Operator-Frequenzen) hilft bei der Modellselektion und reduziert Overfitting, kann jedoch die Exploration neuartiger Ausdrücke einschränken, die nicht im Trainingskorpus vorhanden sind.
Limitierungen aktueller Methoden:
- Viele Bayesianische SR-Methoden (z. B. VaSST) verlassen sich auf Mean-Field-Approximationen, die Abhängigkeiten zwischen Knoten ignorieren, was potenziell zu suboptimalen globalen Strukturen führt.
- Lineare Bayesianische Wälder sind auf Modelle beschränkt, die linear in ihren Parametern sind.
- Einige vorgeschlagene Methoden (z. B. HierBOSSS, VaSST) stehen vor Herausforderungen bei der experimentellen Replikation und der Konsistenz des Codes.
- Frequentistische Ansätze haben Schwierigkeiten mit SR, da flexible SR-Modelle leicht zu Overfitting neigen, was sie ungeeignet als unverzerrte Schätzer für bestimmte Varianzberechnungen macht.

Bedeutung und Behauptungen

Das Paper beansprucht, die erste Übersicht zu sein, die das Thema UQ in der Symbolischen Regression klar adressiert. Seine primäre Bedeutung liegt in:

Überbrückung der Lücke: Es verbindet etablierte statistische UQ-Konzepte (frequentistisch und Bayesianisch) mit den spezifischen Herausforderungen der SR, wie der diskreten Natur von Modellstrukturen und multimodalen Suchräumen.
Kategorisierung: Es ordnet die fragmentierte Literatur in drei kohärente Forschungsrichtungen ein: frequentistisch, Bayesianisch und Modellselektion.
Hervorhebung untererforschter Bereiche: Die Autoren kommen zu dem Schluss, dass UQ in der SR weitgehend untererforscht bleibt und deren Bedeutung systematisch unterschätzt wird.
Zukünftige Richtung: Das Paper argumenttiert, dass zukünftige Arbeiten etablierte UQ-Methoden für SR übernehmen müssen, gepaart mit einer sorgfältigen Analyse von Daten und Rauschen, um zuverlässige Modelle für reale Entscheidungen zu entwickeln. Es betont, dass UQ zwar in Sampling-basierten Ansätzen "kostenlos" mitgeliefert werden kann, die aktuellen Implementierungen jedoch signifikante Einschränkungen hinsichtlich Rechenkosten, struktureller Priors und der Handhabung von Multimodalität aufweisen.