🤖 machine learning

Deep Variational Inference Symbolic Regression

Dieser Beitrag stellt Deep Variational Inference Symbolic Regression (DVISR) vor, eine variationell-bayessche Erweiterung des Deep Symbolic Regression, die Posteriorverteilungen über sowohl Ausdrucksbäume als auch deren Konstanten ableitet, um eine skalierbare, unsicherheitsbewusste symbolische Regression zu ermöglichen.

Ursprüngliche Autoren: James Butterworth, Gevik Grigorian, Alejandro DiazDelaO

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: James Butterworth, Gevik Grigorian, Alejandro DiazDelaO

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Sie haben einen Haufen von Hinweisen (Datenpunkten), und Ihr Ziel ist es, die exakte mathematische Formel zu finden, die erklärt, wie diese Hinweise zusammenpassen.

Symbolische Regression ist der Name dieses Detektivspiels. Im Gegensatz zur herkömmlichen Regression, bei der Sie gezwungen sind, eine bestimmte Form für die Formel zu erraten (wie „es muss eine gerade Linie sein" oder „es muss eine Kurve sein"), sagt die symbolische Regression: „Wir kennen die Form noch nicht. Lassen Sie uns jede beliebige Kombination mathematischer Symbole (plus, minus, mal, sin, log) ausprobieren, bis wir diejenige finden, die perfekt zu den Hinweisen passt."

Das Problem mit den alten Detektiven

Der Artikel diskutiert zwei Hauptmethoden, mit denen Menschen versucht haben, dieses Spiel bisher zu lösen:

Der „Beste-Rat"-Detektiv (Deep Symbolic Regression oder DSR): Diese Methode verwendet eine intelligente KI (ein neuronales Netz), um Formeln zu generieren. Sie probiert Tausende davon aus und wählt die einzelne „beste" aus, die am besten zu den Daten passt.
- Der Fehler: Sie liefert Ihnen nur eine Antwort. Wenn die Daten verrauscht oder unordentlich sind, könnte der Detektiv die falsche Formel auswählen und dabei zu 100 % davon überzeugt sein, selbst wenn er falsch liegt. Er gibt keine Auskunft darüber, wie unsicher er ist.
Der „Langsame und Stetige" Detektiv (MCMC): Dies ist eine traditionelle Bayes'sche Methode. Anstatt einen einzigen Gewinner zu wählen, versucht sie, die Wahrscheinlichkeit dafür zu kartieren, dass jede mögliche Formel die richtige ist. Sie liefert Ihnen ein vollständiges Bild der Unsicherheit.
- Der Fehler: Sie ist unglaublich langsam. Wenn die Anzahl der möglichen Formeln wächst (was schnell geschieht), gerät dieser Detektiv in einen Stau und kann die Arbeit nicht abschließen.

Die neue Lösung: DVISR

Die Autoren stellen DVISR (Deep Variational Inference Symbolic Regression) vor. Stellen Sie sich dies als einen übermenschlich starken, im Zeitraffer arbeitenden Detektiv vor, der die Geschwindigkeit der KI mit der Unsicherheitsprüfung der Bayes'schen Methode kombiniert.

Hier ist die Funktionsweise, erläutert mit einer kreativen Analogie:

1. Die „Unendliche Bibliothek" der Formeln

Stellen Sie sich eine Bibliothek vor, die jede denkbare mathematische Formel enthält, die Sie je schreiben könnten. Die meisten dieser Formeln sind Unsinn (wie sin(x) + 999). Nur wenige sind genial.

Der alte DSR betritt die Bibliothek, schnappt sich ein Buch, prüft, ob es passt, und wenn es das bisher beste ist, behält er dieses eine Buch und wirft den Rest weg.
DVISR betritt die Bibliothek und versucht, eine mentale Karte der gesamten Bibliothek zu erstellen. Es wählt nicht nur ein Buch aus; es lernt, welche Bücher wahrscheinlich die Antwort sind und welche unwahrscheinlich.

2. Der „Magische Kompass" (Das Belohnungssystem)

Bei der alten KI-Methode wurde der Computer einfach dafür belohnt, den Daten „nahe" zu sein.
Bei DVISR erhält der Computer einen neuen, komplexeren Kompass namens ELBO (Evidence Lower Bound).

Anstatt nur zu sagen: „Diese Formel passt gut", sagt der Kompass: „Diese Formel passt gut, UND sie ist nicht zu kompliziert, UND sie steht im Einklang mit dem, was wir bereits glauben."
Indem sie diesem Kompass folgt, lernt die KI, die gesamte Karte der Möglichkeiten zu approximieren, nicht nur den einzelnen besten Gipfel.

3. Die „Gestaltwandelnden Konstanten"

In mathematischen Formeln gibt es oft Zahlen (Konstanten), die justiert werden müssen, wie die 2 in 2x.

Der alte DSR behandelt diese Zahlen wie feste Regler. Es findet eine Formel und verbringt dann zusätzliche Zeit damit, die Regler zu drehen, um die perfekte Zahl zu erhalten.
DVISR behandelt diese Zahlen wie Wolken. Anstatt eine spezifische Zahl zu erraten (z. B. „Es ist genau 2,5"), errät die KI eine Verteilung (z. B. „Es liegt wahrscheinlich zwischen 2,4 und 2,6"). Es lernt gleichzeitig die Form der Wolke für jede Zahl in der Formel.

Was haben sie bewiesen?

Die Autoren führten Experimente durch, um zu sehen, ob ihr neuer Detektiv tatsächlich funktioniert:

Einfache Fälle: Sie gaben der KI einfache Rätsel (wie y = x quadriert).
- Ergebnis: Die KI erstellte erfolgreich eine Karte, die der „wahren" Antwort perfekt entsprach. Sie fand nicht nur die richtige Formel; sie berechnete korrekt die Wahrscheinlichkeit, dass die Formel richtig ist, und stimmte exakt mit der theoretischen Mathematik überein.
Der „Große Bibliothek"-Test: Sie machten die Bibliothek der möglichen Formeln immer größer.
- Ergebnis: Als die Bibliothek riesig wurde, wurde die Karte der KI etwas weniger perfekt (sie konnte nicht jedes winzige Detail erfassen), funktionierte aber immer noch vernünftig für kleinere Probleme.
- Die Grenze: Der Artikel gibt zu, dass, wenn die Formeln zu lang und komplex werden, die KI zu kämpfen beginnt, genau wie der alte langsame Detektiv.

Das Fazit

Dieser Artikel stellt ein neues Werkzeug vor, das Computern ermöglicht, nicht nur die beste mathematische Gleichung für einen Datensatz zu finden, sondern auch ihre eigene Unsicherheit zu quantifizieren.

Anstatt zu sagen: „Die Antwort ist definitiv y = x^2", kann DVISR sagen: „Die Antwort ist höchstwahrscheinlich y = x^2, aber es besteht eine kleine Chance, dass es y = x^2 + 0,1 sein könnte, und wir sind zu 95 % sicher, dass die Zahl 0,1 zwischen 0 und 0,2 liegt."

Die Autoren kommen zu dem Schluss, dass dies zwar ein bedeutender Schritt nach vorn ist, um KI transparenter und zuverlässiger zu machen, sie jedoch noch schneller werden und viel größere, reale Probleme bewältigen muss, bevor sie überall eingesetzt werden kann. Sie haben den Motor gebaut; jetzt müssen sie ihn auf die Autobahn bringen.

Technische Zusammenfassung: Deep Variational Inference Symbolic Regression (DVISR)

Problemstellung

Die Symbolische Regression (SR) zielt darauf ab, explizite, interpretierbare mathematische Beziehungen zwischen unabhängigen und abhängigen Variablen zu entdecken, ohne eine funktionale Form a priori anzunehmen. Während traditionelle Methoden wie Genetic Programming (GP) und Deep Symbolic Regression (DSR) erfolgreich einzelne bestpassende Ausdrücke identifizieren, fehlt ihnen die Fähigkeit, eine Wahrscheinlichkeitsverteilung über Kandidatenmodelle abzuleiten. Diese Einschränkung verhindert die Quantifizierung von Unsicherheit, was bei der Arbeit mit verrauschten oder begrenzten realen Daten entscheidend ist.

Bestehende bayessche Ansätze, wie Markov-Ketten-Monte-Carlo (MCMC), können zwar präzise aus der Posterior-Verteilung sampeln, haben jedoch Schwierigkeiten mit der Skalierbarkeit in hochdimensionalen Räumen und sind rechnerisch langsamer als variationsbasierte Methoden. Umgekehrt bietet Variational Inference (VI) schnellere, skalierbare Alternativen, wurde jedoch nur begrenzt in der SR angewendet. Frühere Versuche einer variationsbasierten SR waren aufgrund rechnerischer Unlösbarkeit auf polynomielle neuronale Netze oder Teilbereiche des Ausdrucksraums beschränkt. Es besteht ein Bedarf an einem skalierbaren, variationsbasierten bayesschen Ansatz, der Posteriors sowohl über Ausdrucksbäume als auch über ihre zugehörigen Konstanten ableitet.

Methodik

Die Autoren schlagen Deep Variational Inference Symbolic Regression (DVISR) vor, eine variationsbasierte bayessche Erweiterung des Deep Symbolic Regression (DSR)-Algorithmus. DVISR nutzt ein rekurrentes neuronales Netz (RNN), um symbolische Ausdrücke zu generieren, und setzt die REINFORCE-Policy-Gradient-Methode zur Optimierung ein.

Wichtige architektonische und algorithmische Modifikationen

Verteilung über Konstanten: Im Gegensatz zu DSR, das Konstanten nachgelagert über separate Verfahren optimiert, erweitert DVISR die RNN-Ausgabe um Parameter (Mittelwert und Varianz) für Normalverteilungen über Konstantenwerte. Wenn ein Konstanten-Token gesampelt wird, wird sein Wert aus dieser gelernten Verteilung gezogen.
Erweiterter Eingabekontext: Um das RNN beim Sampeln zu unterstützen, erhält das Netz als Eingaben das vorherige Token, das Elterntoken und die Geschwistertokens (falls vorhanden), sowie die Werte der zuvor gesampelten Konstanten. Dies behebt Einschränkungen in DSR, bei denen das Netz möglicherweise nicht „alle" vorherigen Tokens „sieht".
Belohnungsfunktion und Zielsetzung:
- DSR: Maximiert eine Belohnung basierend auf dem Normalized Root-Mean-Squared Error (NRMSE), begrenzt durch eine Squeeze-Funktion, um ein einzelnes bestes Modell zu finden.
- DVISR: Ersetzt die NRMSE-Belohnung durch den Integranden der Evidence Lower Bound (ELBO). Die Belohnungsfunktion ist definiert als:
  $R(f) = \log \mathcal{L}_\theta(f|X, y) + \log p(f) - \log q_\phi(f)$
  wobei $\mathcal{L}_\theta$ die Likelihood, $p(f)$ die Prior-Verteilung und $q_\phi(f)$ die variationsbasierte Verteilung ist.
- Durch die Maximierung dieser Belohnung via REINFORCE minimiert DVISR indirekt die Kullback-Leibler-Divergenz (KL-Divergenz) zwischen der variationsbasierten Verteilung $q_\phi(f)$ und dem wahren Posterior $p(f|X, y)$ .
Likelihood-Berechnung: Die Likelihood eines Ausdrucks $f$ wird als Produkt der Likelihoods seiner Tokens und Konstanten berechnet, bedingt auf alle zuvor gesampelten Tokens und Konstanten.

Wichtige Beiträge

Neuer Algorithmus: Einführung von DVISR, dem ersten Algorithmus, der variationsbasierte Inferenz über den gesamten Raum der symbolischen Regression durchführt, einschließlich sowohl Ausdrucksbäume als auch kontinuierliche Konstantenparameter.
Posterior-Wiederherstellung: Demonstration, dass DVISR in einfachen Settings korrekt zum wahren Posterior konvergieren kann, sowohl mit als auch ohne Konstanten-Token.
Skalierbarkeitsanalyse: Eine Untersuchung, wie sich die DVISR-Leistung verschlechtert, wenn die Größe des Ausdrucksraums zunimmt, und Identifizierung der Grenzen der aktuellen Architektur.

Experimentelle Ergebnisse

Die Autoren führten Experimente durch, um die Konvergenz und Skalierbarkeit von DVISR zu validieren.

1. Konvergenz zum wahren Posterior (ohne Konstanten)

In einfachen Experimenten mit Daten, die aus $y=x_0^2$ , $y=x_0$ und $y=0.5$ generiert wurden, bei einer eingeschränkten Token-Bibliothek, war der Modellraum klein und endlich.

Ergebnisse: Die ELBO konvergierte zum Logarithmus der Evidenz, und die KL-Divergenz näherte sich Null an.
Validierung: Tabelle 1 zeigt, dass die medianen variationsbasierten Wahrscheinlichkeiten über 10 Durchläufe hinweg mit den wahren Posterior-Werten bis auf acht Dezimalstellen übereinstimmten.

2. Konvergenz mit Konstanten

Die Experimente schlossen ein Konstanten-Token ( $c$ ) in der Bibliothek ein, was Ausdrücke wie $x_0 \cdot c$ ermöglichte.

Methode: Der wahre Posterior wurde durch Marginalisierung der Konstanten mittels eines numerischen Integrators berechnet.
Ergebnisse: Tabelle 2 zeigt, dass die variationsbasierte Verteilung über Ausdrucksbäume bis auf acht Dezimalstellen zum exakten wahren Posterior (marginalisiert über Konstanten) konvergierte.

3. Skalierbarkeit

Die Autoren variierten die maximale Ausdrucksgröße von 1 bis 12 Tokens, um die Skalierbarkeit zu testen.

Erkenntnisse: Mit zunehmender maximaler Ausdrucksgröße stieg die geschätzte KL-Divergenz zwischen dem wahren Posterior und der variationsbasierten Verteilung an.
Einschränkung: Experimente über Größe 12 hinaus wurden aufgrund der rechnerischen Schwierigkeit der Berechnung der Evidenz in diesem Maßstab nicht durchgeführt. Dies zeigt, dass DVISR zwar für kleine Räume funktioniert, die Leistung jedoch mit der Erweiterung des Suchraums nachlässt.

Bedeutung und Behauptungen

Das Papier positioniert DVISR als einen bedeutenden Schritt hin zu skalierbarer bayesscher symbolischer Regression, die eine Unsicherheitsquantifizierung über vollständige symbolische Modelle bietet.

Interpretierbarkeit und Unsicherheit: Durch die Ableitung einer Posterior-Verteilung anstelle einer einzelnen Punktschätzung adressiert DVISR die „Black-Box"-Natur einiger Regressionsmodelle und berücksichtigt Rauschen sowie Datenbeschränkungen.
Fortschritt gegenüber MCMC: Es bietet eine schnellere Alternative zu MCMC für bayessche SR, die typischerweise langsam ist und mit hohen Dimensionen Schwierigkeiten hat.
Bescheidener Umfang: Die Autoren erkennen aktuelle Einschränkungen an, darunter kleine Ausdrucksgrößen, geringe Anzahl unabhängiger Variablen und das Fehlen realer Datensätze. Sie beanspruchen keine unmittelbare Überlegenheit bei komplexen, realen Problemen, argumentieren jedoch, dass DVISR ein grundlegendes Rahmenwerk etabliert.
Zukünftige Richtungen: Das Papier schlägt vor, dass zukünftige Arbeiten die Skalierbarkeit durch Hyperparameter-Sweeps, fortschrittliche Architekturen (z. B. Transformer) oder ausgefeiltere Reinforcement-Learning-Algorithmen (z. B. PPO) verbessern könnten.