💻 computer science

Symbolic Density Estimation for Discrete Distributions

Dieser Beitrag stellt die Symbolische Dichteschätzung (SDE) vor, ein unüberwachtes Framework, das durch die Kombination domänenspezifischer Priors mit evolutionärer Suche automatisch interpretierbare, geschlossene Wahrscheinlichkeitsmassenfunktionen für diskrete Verteilungen entdeckt und durch einen neuen Benchmark-Datensatz sowie reale Anwendungen validiert wird, die eine verbesserte Modellanpassung zeigen.

Ursprüngliche Autoren: Ziwen Liu, Meng Li

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ziwen Liu, Meng Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, das geheime Rezept für eine bestimmte Art von Keksen herauszufinden. Sie haben ein riesiges Glas voller dieser Kekse und haben gezählt, wie viele sich darin befinden, wie viele zerbrochen sind, wie viele perfekt sind und so weiter. Sie wissen, dass es eine mathematische Regel (eine „Formel") gibt, die genau erklärt, warum die Kekse so verteilt sind.

Das Problem ist, dass Sie nicht wissen, wie diese Formel lautet.

Traditionell müssen Statistiker zuerst das Rezept erraten (z. B. „Es ist wahrscheinlich ein Schokostückchen-Rezept!") und dann versuchen, die Zutaten an ihre Daten anzupassen. Wenn sie falsch raten, scheitert die gesamte Analyse. Andere moderne Methoden verwenden „Black-Box"-Computer (wie tiefe neuronale Netze), die die Keksverteilung perfekt vorhersagen können, aber sie können Ihnen das Rezept nicht nennen; sie liefern Ihnen lediglich einen komplexen, unlesbaren Computercode.

Dieser Artikel stellt ein neues Detektivwerkzeug namens „Symbolic Density Estimation" (SDE) vor.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „Lego"-Suche

Anstatt ein Rezept zu erraten, agiert SDE wie ein Meisterbauer mit einer Kiste voller Lego-Steine. Diese Steine sind grundlegende mathematische Operationen: Addieren, Multiplizieren, Logarithmieren und spezielle „Zähl"-Blöcke (wie Fakultäten, die in der Wahrscheinlichkeitsrechnung verwendet werden).

Der Computer beginnt, Millionen verschiedener Strukturen (Formeln) mit diesen Steinen zu bauen. Es ist, als würde man eine Million verschiedene Lego-Kreationen gegen eine Wand werfen, um zu sehen, welche Form die Gestalt Ihrer Keks-Glas-Daten annimmt.

2. Der „Gültigkeitscheck" (Der Sicherheitsinspektor)

Hier kommt der knifflige Teil: In der Welt der Wahrscheinlichkeit ist eine Formel nicht einfach irgendeine Form. Sie muss eine gültige Wahrscheinlichkeitskarte sein.

Regel 1: Sie darf keine negativen Zahlen enthalten (man kann nicht -5 Kekse haben).
Regel 2: Alle Wahrscheinlichkeiten müssen exakt 1 ergeben (100 % der Kekse müssen berücksichtigt sein).

Die meisten Computerprogramme, die Formeln bauen, ignorieren diese Regeln und versuchen lediglich, die Form anzupassen. SDE ist besonders, weil es einen Sicherheitsinspektor direkt in die Suche integriert hat. Wenn eine Lego-Struktur, die es baut, die Regeln nicht einhält (z. B. negative Kekse vorhersagt), wirft der Inspektor sie sofort in den Müll. Dies lenkt die Suche ausschließlich auf „legale" Wahrscheinlichkeitsformeln.

3. Der „Log-Domain"-Abkürzungsweg

Um den Bauprozess schneller und stabiler zu machen, betrachtet der Computer nicht die rohen Kekszahlen. Stattdessen betrachtet er den „Logarithmus" der Zahlen.

Analogie: Stellen Sie sich vor, die Kekszahlen sind riesige Zahlen (wie 1.000.000). Das Multiplizieren und Dividieren dieser Zahlen ist unübersichtlich. Das Ziehen des „Logarithmus" ist wie das Herauszoomen auf einer Karte. Es verwandelt große, unübersichtliche Multiplikationsprobleme in einfache Additionsprobleme, was es dem Computer viel leichter macht, das richtige Muster zu finden.

4. Was haben sie gefunden?

Die Autoren schufen einen „Turnsaal" (genannt SDEBench) mit 14 verschiedenen Arten von Keksgläsern (standardisierte statistische Verteilungen wie Poisson, Binomial usw.), um ihr Werkzeug zu testen.

Das Ergebnis: SDE betrachtete erfolgreich die Daten dieser Gläser und entdeckte die ursprünglichen mathematischen Rezepte erneut, ohne zu wissen, wie sie lauteten.
Komplexität: Es fand nicht nur einfache Rezepte. Es entschlüsselte auch komplexe „gemischte" Rezepte (wie ein Glas, das zwei verschiedene Keksarten enthält, die miteinander vermischt sind) und „zero-inflated"-Gläser (Gläser mit weitaus mehr leeren Stellen als üblich).
Realwelt-Test: Sie testeten es an echten biologischen Daten (Anzahl von Genen in menschlichen Zellen). Das Werkzeug fand eine einfache, lesbare Formel, die besser zu den Daten passte als Standardmodelle und besser als die „Black-Box"-neuronalen Netze, und erklärte dabei tatsächlich, warum die Daten so aussahen.

5. Warum ist das wichtig?

Interpretierbarkeit: Im Gegensatz zu einer Black Box, die Ihnen eine Zahl liefert, gibt SDE Ihnen eine geschlossene Gleichung. Sie können sie lesen, verstehen und einem Menschen erklären. Es ist, als würde man die eigentliche Rezeptkarte erhalten, anstatt nur eine Vorhersage darüber, wie viele Kekse man essen wird.
Kein Raten: Sie müssen die Familie der Verteilungen nicht im Voraus kennen. Der Computer findet die Struktur automatisch.
Effizienz: Es fand diese komplexen Formeln viel schneller und genauer, als wenn man jede Möglichkeit durch Brute-Force durchprobiert oder sich auf statistische Standardannahmen verlassen würde.

Zusammenfassend: Dieser Artikel stellt einen intelligenten, regelkonformen Roboter vor, der einen Haufen Zähl-Daten betrachten und automatisch das genaue mathematische Gesetz aufschreiben kann, das sie regiert, wobei sichergestellt wird, dass das Gesetz sinnvoll ist und für Menschen leicht lesbar ist.

Technische Zusammenfassung: Symbolische Dichteschätzung für diskrete Verteilungen

Problemformulierung

Diskrete Wahrscheinlichkeitsverteilungen sind grundlegend für die Modellierung von Zähldaten und kategorialen Ergebnissen. Der Katalog interpretierbarer, analytisch handhabbarer Verteilungen hat sich jedoch historisch nur durch Fall-für-Fall-mathematische Herleitungen erweitert. Analysten sehen sich typischerweise einem Zielkonflikt gegenüber: Die Annahme einer spezifischen parametrischen Familie birgt das Risiko einer Fehlspezifikation des Modells, während flexible nichtparametrische oder neuronale Ansätze (z. B. autoregressive Netze, normalisierende Flows) oft „Black-Box"-implizite Modelle liefern, denen geschlossene Wahrscheinlichkeitsmassfunktionen (PMFs) fehlen.

Die Autoren adressieren das Problem der Symbolischen Dichteschätzung (SDE): die automatische Wiederherstellung einer symbolischen, geschlossenen PMF, die am besten zu beobachteten diskreten Daten passt, ohne eine Verteilungsfamilie vorzugeben. Diese Aufgabe ist aufgrund des kombinatorisch großen Ausdruckraums und der strikten Anforderung, dass jeder vorgeschlagene Ausdruck eine gültige PMF definieren muss (nicht-negativ und normiert), nicht trivial. Im Gegensatz zur Standardregression beinhalten diskrete Verteilungen spezifische kombinatorische Konstrukte wie Fakultäten und Binomialkoeffizienten.

Methodik: Das SDE-Framework

Das vorgeschlagene SDE-Framework arbeitet im Log-Wahrscheinlichkeitsbereich, um die numerische Stabilität zu verbessern und multiplikative kombinatorische Faktoren in additive Komponenten zu transformieren. Die Methode integriert domänenspezifische strukturelle Priors mit evolutionärer Suche und einer Gültigkeitsbewusstsein-Inferenzphase.

1. Operator-Set und Suchraum

Der Hypothesenraum wird durch ein benutzerdefiniertes Operator-Set $\mathcal{O}$ induziert, das Folgendes umfasst:

Grundlegende Arithmetik: $+$ , $-$, $\times$ , $\wedge$ .
Elementarfunktionen: $\log$ , $\exp$ , $|\cdot|$ , $\sin$ , $\cos$ .
Log-domänische kombinatorische Primitiva: $\log\Gamma(t+1)$ (Log-Fakultät), $\log\binom{n}{k}$ und $\log B(a,b)$ (Log-Beta-Funktion). Diese Primitiva repräsentieren Fakultäten, Binomialkoeffizienten und Beta-Funktions-Terme, die in diskreten PMFs üblich sind, und gewährleisten gleichzeitig die numerische Stabilität für große Argumente.

Um den riesigen Suchraum (für bescheidene Komplexität auf $>10^{19}$ Möglichkeiten geschätzt) zu bewältigen, wenden die Autoren zwei Arten von Einschränkungen an:

Operator-Komplexitäts-Priors: Zwei komplementäre Komplexitätsprofile weisen Operatoren weiche symbolische Kosten zu. Ein Profil begünstigt kombinatorische Strukturen (z. B. $\log C$ , $\log B$ ), während das andere exponentielle Familien-Motive begünstigt (z. B. $\log F$ , $\log$ ). Dies lenkt die evolutionäre Suche hin zu strukturell vielfältigen Verteilungen, ohne die Ausdruckskraft einzuschränken.
Strukturelle Grammatik-Einschränkungen:
- Linearität: Argumente für spezielle Funktionen (z. B. $\log\Gamma$ , $\log B$ ) sind auf affine Formen beschränkt, um tief verschachtelte, nicht-identifizierbare Kompositionen zu verhindern.
- Atomizität: Exponentiation ist auf atomare Exponenten (einzelne Variablen oder Konstanten) beschränkt, um komplexe zusammengesetzte Strukturen zu vermeiden.

2. Schätzung und Gewichtung

Das System schätzt die Log-PMF aus $M$ i.i.d. Stichproben. Um Nullzählungen und hohe Varianzen in Bereichen geringer Wahrscheinlichkeit zu handhaben, wird ein geglätteter Schätzer $\hat{p}(x) = \frac{c(x) + \alpha}{M + \alpha K}$ verwendet (entsprechend einem Dirichlet-Posterior-Mittelwert).

Support-Verkürzung: Der Anpassungsbereich ist auf Bins mit ausreichenden effektiven Zählungen ( $M\hat{p}(x) \geq \tau$ ) beschränkt, um endliche Stichprobenrauschen in den Rändern zu mildern.
Gewichtete Kleinste-Quadrate: Die Suche zielt auf einen gewichteten Rekonstruktionsfehler der Log-PMF ab. Gewichte werden aus der inversen Varianz der Log-Frequenzschätzer (via Delta-Methode) abgeleitet und verrauschte Beobachtungen herabgewichtet.

3. Such- und Inferenzverfahren

Die Kernsuche nutzt eine Multi-Start-Evolutionärstrategie:

Mehrere evolutionäre Durchläufe werden ausgeführt, wobei jeder ein anderes Komplexitätsprofil verwendet, um die Suche zu verschiedenen kanonischen Motiven zu verzerren.
Kandidaten werden durch Mutation und Crossover weiterentwickelt, gefolgt von einer kostenbewussten Selektion, die Rekonstruktionsfehler und symbolische Komplexität ausbalanciert.
Post-Suche-Inferenz: Gepoolte Kandidaten durchlaufen eine dreistufige Validierung:
1. Verlust-Screening: Verwerfen von Ausdrücken mit hohem Rekonstruktionsfehler.
2. Probabilistische Gültigkeit: Sicherstellung einer approximativen Normierung ( $|\sum e^{f(x)} - 1| < \epsilon$ ) und einer beschränkten Log-Masse.
3. Komplexitätskontrolle: Ablehnen von Ausdrücken, die die Operator-Budgets überschreiten.
Gültige Kandidaten werden lexikografisch nach symbolischer Komplexität und Residualfehler sortiert. Parameter werden durch diskrete lokale Suche ausgehend von identifizierbaren symbolischen Termen verfeinert.

4. Erweiterungen

Das Framework lässt sich durch Erweiterung des Operator-Sets natürlich auf komplexe Strukturen ausdehnen:

Endliche Mischungen: Eingesührt durch das binäre Primitiv $\text{logaddexp}(u, v) = \log(e^u + e^v)$ , das verschachtelte Anwendungen erlaubt, um beliebige Mischungen im Log-Raum darzustellen.
Zero-Inflated-Modelle: Eingesührt durch ein Primitiv $\log \delta_0(x)$ , das eine Punktmasse bei Null kodiert, kombiniert mit $\text{logaddexp}$ , um die Mischung einer Nullmasse und einer Basisverteilung zu modellieren.

Hauptbeiträge

Erstes symbolisches Framework für diskrete Verteilungen: SDE ist das erste Framework, das die Gültigkeitsverifikation von PMFs (Nicht-Negativität und Normierung) direkt in den symbolischen Entdeckungsprozess integriert und eine gewichtete Log-PMF-Anpassung mit eingebauten Gültigkeitsprüfungen kombiniert.
SDEBench: Die Autoren tragen einen Benchmark-Datensatz bei, der 14 Basis-diskrete Verteilungen (einschließlich exponentieller Familien, Potenzgesetze und gemischter Modelle) sowie deren Zero-Inflated- und Mischungsvarianten umfasst, um eine systematische Evaluation zu unterstützen.
Empirische Validierung: Die Methode zeigt, dass sie klassische, generalisierte und strukturierte Modelle aus endlichen Stichproben wiederherstellen kann und so die Lücke zwischen starrer parametrischer Auswahl und Black-Box-Methoden schließt.

Experimentelle Ergebnisse

Die Autoren bewerten SDE auf dem SDEBench-Datensatz ( $M=50.000$ ) und einem realen Einzelzell-RNA-Sequenzierungs-Datensatz (scRNA-seq).

Wiederherstellungsgenauigkeit: SDE stellt erfolgreich die korrekte symbolische Form (bis auf algebraische Äquivalenz) für alle 14 Basisverteilungen im Benchmark wieder her, einschließlich komplexer kombinatorischer Strukturen wie der Beta-Binomial- und der Negativ-Hypergeometrischen Verteilung. Es identifiziert auch korrekt verschachtelte Mischungsstrukturen und Zero-Inflated-Formen.
Parameterpräzision: Abgeleitete Parameter liegen typischerweise innerhalb weniger Prozent des wahren Wertes. Beispielsweise wurden in einer verrauschten Umgebung für eine Negativ-Binomialverteilung mit wahren Werten $r=10, p=0.70$ die Werte $r=9.999, p=0.700$ wiederhergestellt.
Robustheit: Die Methode zeigt Resilienz gegenüber Stichprobenrauschen. Während komplexe Modelle mehr Daten benötigen (z. B. verschlechtert sich die Wiederherstellung der Beta-Binomial-Verteilung bei $M=500$ ), bleiben einfachere Ziele auch bei kleinen Stichprobengrößen wiederherstellbar.
Vergleichende Leistung:
- Gegenüber Oracle-parametrischen Baselines (MoM/MLE): SDE erreicht eine vergleichbare Präzision, ohne dass die Familie im Voraus bekannt sein muss.
- Gegenüber Nichtparametrischen/Neuronalen Baselines (KDE, Pyro): SDE liefert interpretierbare geschlossene Ausdrücke, während KDE und Pyro oft nicht-glätte, oszillierende Anpassungen oder Randartefakte produzieren (z. B. nahe Null für Zero-Inflated-Poisson).
- Gegenüber Generischer Symbolischer Regression (PySR): PySR liefert häufig strukturell ungültige Ausdrücke, die die PMF-Beschränkungen nicht erfüllen, während die gültigkeitsbewusste Suche von SDE physikalische Plausibilität sicherstellt.
Anwendung in der realen Welt: Auf PBMC scRNA-seq-Daten (Gen 4046) entdeckte SDE ein kompaktes, interpretierbares Mischungsmodell, das zwei Komponenten mit geometrischem Abfall und eine konstante Basislinie kombiniert. Dieses Modell erzielte einen niedrigeren mittleren quadratischen Fehler (MSE) auf der empirischen Log-PMF als Standardmodelle mit fester Familie (ausgewählt via AIC) und Black-Box-neuronale Baselines.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SDE eine prinzipielle Alternative zur manuellen parametrischen Modellierung und undurchsichtigen Black-Box-Dichteschätzern bietet. Durch die Operation im Log-Wahrscheinlichkeitsbereich mit einem maßgeschneiderten Satz primitiver Operatoren kann das Framework automatisch interpretierbare geschlossene PMFs entdecken, die die kompositorische Struktur zugrunde liegender Verteilungen offenbaren.

Die Autoren betonen, dass die Kernstärke des Frameworks in seiner Erweiterbarkeit liegt: Komplexe Strukturen wie endliche Mischungen und Zero-Inflated-Modelle werden durch minimale Operator-Erweiterungen wiederhergestellt, ohne dass das zugrunde liegende Suchverfahren, die Verlustfunktion oder die Einschränkungen modifiziert werden müssen. Diese Fähigkeit unterstützt die Identifizierung strukturierter, heterogener diskreter Modelle, bei denen Interpretierbarkeit und strukturelle Einsicht entscheidend sind.

Die Arbeit positioniert SDE als praktischen Ansatz für die Verteilungsmodellierung, insbesondere in Szenarien, in denen die wahre Familie unbekannt ist oder die Daten komplexe strukturelle Variationen aufweisen (z. B. übermäßige Nullen oder Multimodalität), die Standard-parametrische Familien nicht erfassen können. Die Autoren stellen fest, dass sich die aktuelle Formulierung zwar auf univariate diskrete Verteilungen konzentriert, der Ansatz jedoch eine Grundlage für zukünftige Erweiterungen auf multivariate und kontinuierliche Settings bietet.