Technische Samenvatting: Symbolische Densiteitsschatting voor Discrete Verdelingen

Probleemformulering

Discrete kansverdelingen zijn fundamenteel voor het modelleren van telgegevens en categorische uitkomsten. De catalogus van interpreteerbare, analytisch hanteerbare verdelingen is historisch echter alleen uitgebreid via wiskundige afleidingen per geval. Analisten staan typisch voor een afweging: het aannemen van een specifieke parametrische familie riskeert modelmisspecificatie, terwijl flexibele niet-parametrische of neurale benaderingen (bijvoorbeeld autoregressieve netwerken, normaliserende stromen) vaak "black-box" impliciete modellen opleveren die geen gesloten vorm van de kansmassafunctie (PMF) hebben.

De auteurs adresseren het probleem van Symbolische Densiteitsschatting (SDE): het automatisch terugvinden van een symbolische, gesloten vorm PMF die het beste past bij waargenomen discrete data zonder vooraf een verdelingsfamilie te specificeren. Deze taak is niet triviaal vanwege de combinatorisch grote uitdrukkingsruimte en de strikte vereiste dat elke voorgestelde formule een geldige PMF moet definiëren (niet-negatief en genormaliseerd). In tegenstelling tot standaard regressie, omvatten discrete verdelingen specifieke combinatorische constructies zoals faculteiten en binomiale coëfficiënten.

Methodologie: Het SDE-kader

Het voorgestelde SDE-kader werkt in het log-kansdomein om numerieke stabiliteit te verbeteren en multiplicatieve combinatorische factoren om te zetten in additieve componenten. De methode integreert domeinspecifieke structurele priors met evolutionaire zoektocht en een validiteitsbewuste inferentiestap.

1. Operatorset en Zoekruimte

De hypothese-ruimte wordt geïnduceerd door een aangepaste operatorset $\mathcal{O}$ bestaande uit:

• Basisrekenkundige bewerkingen: $+$, $-$, $\times$, $\wedge$.
• Elementaire functies: $\log$, $\exp$, $|\cdot|$, $\sin$, $\cos$.
• Combinatorische primitieven in log-domein: $\log\Gamma(t+1)$ (log-faculteit), $\log\binom{n}{k}$, en $\log B(a,b)$ (log-Bèta-functie). Deze primitieven vertegenwoordigen faculteiten, binomiale coëfficiënten en Bèta-functietermen die veel voorkomen in discrete PMF's, terwijl ze numerieke stabiliteit behouden voor grote argumenten.

Om de enorme zoekruimte te beheersen (geschat op $>10^{19}$ mogelijkheden voor bescheiden complexiteit), passen de auteurs twee soorten beperkingen toe:

• Complexiteitspriors voor operators: Twee complementaire complexiteitsprofielen wijken zachte symbolische kosten toe aan operators. Eén profiel geeft de voorkeur aan combinatorische structuren (bijvoorbeeld $\log C$, $\log B$), terwijl het andere de voorkeur geeft aan motieven uit de exponentiële familie (bijvoorbeeld $\log F$, $\log$). Dit leidt de evolutionaire zoektocht naar structureel diverse verdelingen zonder de uitdrukkingskracht te beperken.
• Structurele grammaticabeperkingen:
  • Lineariteit: Argumenten voor speciale functies (bijvoorbeeld $\log\Gamma$, $\log B$) zijn beperkt tot affiene vormen om diep geneste, niet-identificeerbare composities te voorkomen.
  • Atomaarheid: Machtsverheffing is beperkt tot atomaire exponenten (enkele variabelen of constanten) om complexe samengestelde structuren te vermijden.

2. Schatting en Weging

Het systeem schat de log-PMF op basis van $M$ i.i.d. steekproeven. Om te gaan met nul-tellingen en hoge variantie in gebieden met lage waarschijnlijkheid, wordt een gladde schatter gebruikt: $\hat{p}(x) = \frac{c(x) + \alpha}{M + \alpha K}$ (corresponderend met een Dirichlet-posterieur gemiddelde).

• Ondersteuningstruncatie: Het fittingdomein is beperkt tot bins met voldoende effectieve tellingen ($M\hat{p}(x) \geq \tau$) om ruis in de staarten door eindige steekproeven te mitigeren.
• Gewogen Kleinste Kwarten: De zoektocht richt zich op een gewogen reconstructiefout op de log-PMF. Gewichten worden afgeleid uit de inverse variantie van de log-frequentie-schattingen (via de Delta-methode), waarbij ruisige observaties minder zwaar worden gewogen.

3. Zoek- en Inferentieprocedure

De kernzoektocht maakt gebruik van een multi-start evolutionaire strategie:

• Meerdere evolutionaire runs worden uitgevoerd, elk met een ander complexiteitsprofiel om de zoektocht te biasen naar verschillende canonieke motieven.
• Kandidaten worden geëvolueerd via mutatie en crossover, gevolgd door kostenbewuste selectie die reconstructiefout en symbolische complexiteit in evenwicht brengt.
• Post-Zoek Inferentie: Gebundelde kandidaten ondergaan een drie-staps validatie:
  1. Verliesfiltering: Het verwerpen van uitdrukkingen met een hoge reconstructiefout.
  2. Probabilistische geldigheid: Het waarborgen van benaderende normalisatie ($|\sum e^{f(x)} - 1| < \epsilon$) en een begrensde log-massa.
  3. Complexiteitscontrole: Het verwerpen van uitdrukkingen die de operatorbudgetten overschrijden.
• Geldige kandidaten worden lexikografisch gerangschikt op basis van symbolische complexiteit en residuale fout. Parameters worden verfijnd via discrete lokale zoektocht, startend bij identificeerbare symbolische termen.

4. Uitbreidingen

Het kader breidt zich op natuurlijke wijze uit tot complexe structuren door de operatorset aan te vullen:

• Eindige mengsels: Geïntroduceerd via de binaire primitief $\text{logaddexp}(u, v) = \log(e^u + e^v)$, wat geneste toepassingen mogelijk maakt om willekeurige mengsels in log-ruimte voor te stellen.
• Nul-verrijkte modellen: Geïntroduceerd via een primitief $\log \delta_0(x)$ dat een puntmassa bij nul codeert, gecombineerd met $\text{logaddexp}$ om het mengsel van een nul-massa en een basisverdeling te modelleren.

Belangrijkste Bijdragen

1. Eerste Symbolisch Kader voor Discrete Verdelingen: SDE is het eerste kader dat PMF-geldigheidsverificatie (niet-negativiteit en normalisatie) direct integreert in het symbolische ontdekkingsproces, waarbij gewogen log-PMF-fitting wordt gecombineerd met ingebouwde geldigheidscontroles.
2. SDEBench: De auteurs dragen een benchmarkdataset bij die 14 basis discrete verdelingen beslaat (inclusief exponentiële families, machtswetten en gemengde modellen) en hun nul-verrijkte/mengselvarianten om systematische evaluatie te ondersteunen.
3. Empirische Validatie: De methode blijkt klassieke, gegeneraliseerde en gestructureerde modellen te kunnen terugvinden uit eindige steekproeven, waardoor de kloof wordt overbrugd tussen rigide parametrische selectie en black-box methoden.

Experimentele Resultaten

De auteurs evalueren SDE op de SDEBench-dataset ($M=50.000$) en een real-world single-cell RNA-sequencing (scRNA-seq) dataset.

• Terugvindingnauwkeurigheid: SDE slaagt erin de correcte symbolische vorm (tot aan algebraïsche equivalentie) terug te vinden voor alle 14 basisverdelingen in de benchmark, inclusief complexe combinatorische structuren zoals de Beta-Binomiale en Negatief-Hypergeometrische verdeling. Het identificeert ook correct geneste mengselstructuren en nul-verrijkte vormen.
• Parameterprecisie: Afgeleide parameters liggen doorgaans binnen een paar procent van de grondwahrheid. Bijvoorbeeld, in een ruisige setting herwon de methode $r=9.999, p=0.700$ voor een Negatief Binomiale verdeling met ware $r=10, p=0.70$.
• Robuustheid: De methode toont veerkracht tegen steekproefruis. Hoewel complexe modellen meer data vereisen (bijvoorbeeld degradeert de terugvinding van Beta-Binomiale verdelingen bij $M=500$), blijven eenvoudigere doelen zelfs bij kleine steekproefgroottes terugvindbaar.
• Vergelijkende Prestaties:
  • Tegenover Oracle Parametrische Baselines (MoM/MLE): SDE bereikt vergelijkbare precisie zonder dat de familie vooraf bekend hoeft te zijn.
  • Tegenover Niet-parametrische/Neurale Baselines (KDE, Pyro): SDE levert interpreteerbare gesloten vorm expressies op, terwijl KDE en Pyro vaak niet-gladde, oscillerende fits of randartefacten produceren (bijvoorbeeld nabij nul voor Nul-verrijkte Poisson).
  • Tegenover Generieke Symbolische Regressie (PySR): PySR levert vaak structureel ongeldige uitdrukkingen die niet voldoen aan PMF-beperkingen, terwijl SDE's validiteitsbewuste zoektocht fysieke plausibiliteit garandeert.
• Real-world Toepassing: Op PBMC scRNA-seq data (Gen 4046) ontdekte SDE een beknopt, interpreteerbaar mengselmodel dat twee componenten met geometrische afname combineert met een constante basis. Dit model bereikte een lagere Gemiddelde Kwartfout (MSE) op de empirische log-PMF dan standaard modellen met vaste families (geselecteerd via AIC) en black-box neurale baselines.

Betekenis en Claims

Het artikel stelt dat SDE een principiële alternatief biedt voor handmatige parametrische modellering en ondoorzichtige black-box densiteitsschatters. Door te werken in het log-kansdomein met een op maat gemaakte set primitieve operators, kan het kader automatisch interpreteerbare gesloten vorm PMF's ontdekken die de compositiestructuur van onderliggende verdelingen onthullen.

De auteurs benadrukken dat de kernsterkte van het kader ligt in zijn uitbreidbaarheid: complexe structuren zoals eindige mengsels en nul-verrijkte modellen worden teruggevonden via minimale operatoruitbreidingen zonder de onderliggende zoekprocedure, verliesfunctie of beperkingen te wijzigen. Deze mogelijkheid ondersteunt de identificatie van gestructureerde, heterogene discrete modellen waar interpretatie en structureel inzicht essentieel zijn.

Het werk positioneert SDE als een praktische aanpak voor verdelingsmodellering, met name in scenario's waar de ware familie onbekend is of waar de data complexe structurele variaties vertoont (bijvoorbeeld overmaat aan nullen of multimodaliteit) die standaard parametrische families niet kunnen vangen. De auteurs merken op dat hoewel de huidige formulering zich richt op univariate discrete verdelingen, de aanpak een fundament biedt voor toekomstige uitbreiding naar multivariate en continue settings.