Technische Samenvatting: Diepe Variationale Inference Symbolische Regressie (DVISR)

Probleemstelling

Symbolische Regressie (SR) beoogt expliciete, interpreteerbare wiskundige relaties tussen onafhankelijke en afhankelijke variabelen te ontdekken zonder a priori een functionele vorm aan te nemen. Hoewel traditionele methoden zoals Genetische Programmering (GP) en Diepe Symbolische Regressie (DSR) succesvol de beste enkelvoudige aanpassende expressies identificeren, missen ze het vermogen om een kansverdeling over kandidaat-modellen af te leiden. Deze beperking verhindert de kwantificering van onzekerheid, wat kritiek is bij het omgaan met ruis of beperkte real-world data.

Bestaande Bayesiaanse benaderingen, zoals Markov-keten Monte Carlo (MCMC), kunnen nauwkeurig stalen trekken uit de posterior-verdeling, maar hebben moeite met schaalbaarheid in hoog-dimensionale ruimtes en zijn computatiever trager dan variationale methoden. Omgekeerd biedt Variationale Inference (VI) snellere, schaalbare alternatieven, maar heeft deze beperkte toepassing gezien in SR. Eerdere pogingen tot variationale SR waren beperkt tot polynoom-neurale netwerken of subsets van de expressieruimte vanwege computereconomische onuitvoerbaarheid. Er is behoefte aan een schaalbare, variationale Bayesiaanse benadering die posteriors afleidt over zowel expressiebomen als hun bijbehorende constanten.

Methodologie

De auteurs stellen Deep Variational Inference Symbolic Regression (DVISR) voor, een variationale Bayesiaanse uitbreiding van het Diepe Symbolische Regressie (DSR)-algoritme. DVISR maakt gebruik van een Recurrent Neural Network (RNN) om symbolische expressies te genereren en hanteert de REINFORCE policy gradient-methode voor optimalisatie.

Belangrijkste Architecturale en Algorithmische Aanpassingen

1. Verdeling over Constanten: In tegenstelling tot DSR, dat constanten downstream optimaliseert via aparte procedures, breidt DVISR de RNN-uitvoer uit om parameters (gemiddelde en variantie) op te nemen voor normale verdelingen over constante waarden. Wanneer een constant-token wordt gestald, wordt zijn waarde getrokken uit deze geleerde verdeling.
2. Verbeterde Inputcontext: Om het RNN te helpen bij het stalen, ontvangt het netwerk de vorige token, ouder en broer/zus-tokens (indien aanwezig) als input, samen met de waarden van eerder gestalde constanten. Dit adresseert beperkingen in DSR waar het netwerk mogelijk niet alle vorige tokens "ziet".
3. Beloningsfunctie en Doel:
   • DSR: Maximaliseert een beloning gebaseerd op de Genormaliseerde Root-Mean-Squared Error (NRMSE), begrensd door een sferende functie, om een enkel beste model te vinden.
   • DVISR: Vervangt de NRMSE-beloning door de integrand van de Evidence Lower Bound (ELBO). De beloningsfunctie is gedefinieerd als:
     $$R(f) = \log \mathcal{L}_\theta(f|X, y) + \log p(f) - \log q_\phi(f)$$
     Waarbij $\mathcal{L}_\theta$ de waarschijnlijkheid is, $p(f)$ de prior, en $q_\phi(f)$ de variationale verdeling.
   • Door deze beloning te maximaliseren via REINFORCE, minimaliseert DVISR indirect de Kullback-Leibler (KL)-divergentie tussen de variationale verdeling $q_\phi(f)$ en de ware posterior $p(f|X, y)$.
4. Berekening van de Waarschijnlijkheid: De waarschijnlijkheid van een expressie $f$ wordt berekend als het product van de waarschijnlijkheden van zijn tokens en constanten, geconditioneerd op alle eerder gestalde tokens en constanten.

Belangrijkste Bijdragen

1. Nieuw Algoritme: Introductie van DVISR, het eerste algoritme dat variationale inference uitvoert over de volledige symbolische regressieruimte, inclusief zowel expressiebomen als continue constante parameters.
2. Herstel van de Posterior: Demonstratie dat DVISR correct kan convergeren naar de ware posterior in eenvoudige instellingen, zowel met als zonder constant-tokens.
3. Schaalbaarheidsanalyse: Een onderzoek naar hoe de DVISR-prestaties verslechteren naarmate de grootte van de expressieruimte toeneemt, waarbij de grenzen van de huidige architectuur worden geïdentificeerd.

Experimentele Resultaten

De auteurs hebben experimenten uitgevoerd om de convergentie en schaalbaarheid van DVISR te valideren.

1. Convergentie naar Ware Posterior (Geen Constanten)

In eenvoudige experimenten met data gegenereerd uit $y=x_0^2$, $y=x_0$, en $y=0.5$ met een beperkte tokenbibliotheek was de modelruimte klein en eindig.

• Resultaten: De ELBO convergeerde naar de logaritme van het bewijs, en de KL-divergentie naderde nul.
• Validatie: Tabel 1 toont aan dat de mediaan variationale kansen overeenkwamen met de ware posterior-waarden tot acht decimalen over 10 runs.

2. Convergentie met Constanten

Experimenten omvatten een constant-token ($c$) in de bibliotheek, waardoor expressies zoals $x_0 \cdot c$ mogelijk waren.

• Methode: De ware posterior werd berekend door constanten te marginaliseren met behulp van een numerieke integrator.
• Resultaten: Tabel 2 demonstreert dat de variationale verdeling over expressiebomen convergeerde naar de exacte ware posterior (gemarginaliseerd over constanten) tot acht decimalen.

3. Schaalbaarheid

De auteurs varieerden de maximale expressiegrootte van 1 tot 12 tokens om schaalbaarheid te testen.

• Vondsten: Naarmate de maximale expressiegrootte toenam, nam de geschatte KL-divergentie tussen de ware posterior en de variationale verdeling toe.
• Beperking: Experimenten boven grootte 12 werden niet uitgevoerd vanwege de computereconomische moeilijkheid om het bewijs op die schaal te berekenen. Dit geeft aan dat, hoewel DVISR werkt voor kleine ruimtes, de prestaties verslechteren naarmate de zoekruimte uitbreidt.

Betekenis en Claims

Het artikel positioneert DVISR als een significante stap richting schaalbare Bayesiaanse symbolische regressie die onzekerheidskwantificering biedt over volledige symbolische modellen.

• Interpreteerbaarheid en Onzekerheid: Door een posterior-verdeling af te leiden in plaats van een enkel punt-schatting, adresseert DVISR het "black-box"-karakter van sommige regressiemodellen en houdt het rekening met ruis en datalimieten.
• Vooruitgang ten opzichte van MCMC: Het biedt een sneller alternatief voor MCMC voor Bayesiaanse SR, wat doorgaans traag is en moeite heeft met hoge dimensies.
• Bescheiden Scope: De auteurs erkennen huidige beperkingen, waaronder kleine expressiegroottes, lage aantallen onafhankelijke variabelen en de afwezigheid van real-world datasets. Zij claimen geen onmiddellijke superioriteit op complexe, real-world problemen, maar betogen dat DVISR een fundamenteel raamwerk vestigt.
• Toekomstige Richtingen: Het artikel suggereert dat toekomstig werk de schaalbaarheid kan verbeteren via hyperparameter-sweeps, geavanceerde architecturen (bijv. Transformers), of meer verfijnde versterkingsleeralgoritmen (bijv. PPO).