Riepilogo Tecnico: Stima Simbolica della Densità per Distribuzioni Discrete

Formulazione del Problema

Le distribuzioni di probabilità discrete sono fondamentali per la modellazione di dati di conteggio e risultati categoriali. Tuttavia, il catalogo delle distribuzioni interpretabili e analiticamente trattabili si è storicamente ampliato solo attraverso derivazioni matematiche caso per caso. Gli analisti si trovano tipicamente di fronte a un compromesso: assumere una specifica famiglia parametrica rischia di portare a una specificazione errata del modello, mentre approcci flessibili non parametrici o neurali (ad esempio, reti autoregressive, flussi normalizzanti) spesso producono modelli impliciti "scatola nera" privi di funzioni di massa di probabilità (PMF) in forma chiusa.

Gli autori affrontano il problema della Stima Simbolica della Densità (SDE): recuperare automaticamente una PMF simbolica in forma chiusa che si adatti al meglio ai dati discreti osservati senza prespecificare una famiglia distributiva. Questo compito non è banale a causa dello spazio delle espressioni combinatoriamente vasto e del requisito rigoroso che qualsiasi formula proposta debba definire una PMF valida (non negativa e normalizzata). A differenza della regressione standard, le distribuzioni discrete coinvolgono costrutti combinatori specifici come fattoriali e coefficienti binomiali.

Metodologia: Il Framework SDE

Il framework SDE proposto opera nel dominio del log-probabilità per migliorare la stabilità numerica e trasformare i fattori combinatori moltiplicativi in componenti additivi. Il metodo integra prior strutturali specifici del dominio con una ricerca evolutiva e una fase di inferenza consapevole della validità.

1. Insieme di Operatori e Spazio di Ricerca

Lo spazio delle ipotesi è indotto da un insieme di operatori personalizzato $\mathcal{O}$ comprendente:

• Aritmetica di base: $+$, $-$, $\times$, $\wedge$.
• Funzioni elementari: $\log$, $\exp$, $|\cdot|$, $\sin$, $\cos$.
• Primitive combinatorie nel dominio logaritmico: $\log\Gamma(t+1)$ (log-fattoriale), $\log\binom{n}{k}$, e $\log B(a,b)$ (funzione log-Beta). Queste primitive rappresentano fattoriali, coefficienti binomiali e termini della funzione Beta comuni nelle PMF discrete, mantenendo al contempo la stabilità numerica per argomenti grandi.

Per gestire lo vasto spazio di ricerca (stimato in $>10^{19}$ possibilità per complessità modesta), gli autori impiegano due tipi di vincoli:

• Prior di Complessità degli Operatori: Due profili di complessità complementari assegnano costi simbolici soft agli operatori. Un profilo favorisce strutture combinatorie (ad esempio, $\log C$, $\log B$), mentre l'altro favorisce motivi della famiglia esponenziale (ad esempio, $\log F$, $\log$). Questo guida la ricerca evolutiva verso distribuzioni strutturalmente diverse senza limitare l'espressività.
• Vincoli di Grammatica Strutturale:
  • Linearità: Gli argomenti delle funzioni speciali (ad esempio, $\log\Gamma$, $\log B$) sono limitati a forme affini per prevenire composizioni profondamente annidate e non identificabili.
  • Atomicità: L'elevazione a potenza è limitata a esponenti atomici (singole variabili o costanti) per evitare strutture composte complesse.

2. Stima e Ponderazione

Il sistema stima la log-PMF da $M$ campioni i.i.d. Per gestire conteggi zero e alta varianza nelle regioni a bassa probabilità, viene utilizzato un stimatore lisciato $\hat{p}(x) = \frac{c(x) + \alpha}{M + \alpha K}$ (corrispondente alla media a posteriori Dirichlet).

• Troncamento del Supporto: Il dominio di adattamento è limitato alle bin con conteggi effettivi sufficienti ($M\hat{p}(x) \geq \tau$) per mitigare il rumore del campione finito nelle code.
• Minimi Quadrati Ponderati: La ricerca mira a un errore di ricostruzione ponderato sulla log-PMF. I pesi sono derivati dall'inverso della varianza delle stime di frequenza logaritmica (tramite il metodo Delta), riducendo il peso delle osservazioni rumorose.

3. Procedura di Ricerca e Inferenza

La ricerca centrale utilizza una strategia evolutiva multi-inizio:

• Vengono eseguite multiple esecuzioni evolutive, ciascuna utilizzando un profilo di complessità diverso per orientare la ricerca verso diversi motivi canonici.
• I candidati sono evoluti tramite mutazione e crossover, seguiti da una selezione consapevole dei costi che bilancia l'errore di ricostruzione e la complessità simbolica.
• Inferenza Post-Ricerca: I candidati raggruppati subiscono una validazione in tre fasi:
  1. Screening della Perdita: Scarto delle espressioni con alto errore di ricostruzione.
  2. Validità Probabilistica: Garantire una normalizzazione approssimata ($|\sum e^{f(x)} - 1| < \epsilon$) e una massa logaritmica limitata.
  3. Controllo della Complessità: Rifiuto delle espressioni che superano i budget di operatori.
• I candidati validi sono classificati lessicograficamente per complessità simbolica ed errore residuo. I parametri sono raffinati tramite ricerca locale discreta partendo da termini simbolici identificabili.

4. Estensioni

Il framework si estende naturalmente a strutture complesse ampliando l'insieme degli operatori:

• Miscele Finite: Introdotte tramite la primitiva binaria $\text{logaddexp}(u, v) = \log(e^u + e^v)$, permettendo applicazioni annidate per rappresentare miscele arbitrarie nello spazio logaritmico.
• Modelli Inflati da Zero: Introdotte tramite una primitiva $\log \delta_0(x)$ che codifica una massa puntuale allo zero, combinata con $\text{logaddexp}$ per modellare la miscela di una massa zero e una distribuzione di base.

Contributi Chiave

1. Primo Framework Simbolico per Distribuzioni Discrete: SDE è il primo framework a integrare la verifica della validità della PMF (non negatività e normalizzazione) direttamente nel processo di scoperta simbolica, combinando l'adattamento della log-PMF ponderata con controlli di validità integrati.
2. SDEBench: Gli autori contribuiscono con un dataset di benchmark che copre 14 distribuzioni discrete di base (incluse famiglie esponenziali, leggi di potenza e modelli misti) e le loro varianti inflate da zero/miste per supportare una valutazione sistematica.
3. Validazione Empirica: Il metodo è dimostrato in grado di recuperare modelli classici, generalizzati e strutturati da campioni finiti, colmando il divario tra la selezione parametrica rigida e i metodi scatola nera.

Risultati Sperimentali

Gli autori valutano SDE sul dataset SDEBench ($M=50.000$) e su un dataset reale di sequenziamento dell'RNA a singola cellula (scRNA-seq).

• Accuratezza del Recupero: SDE recupera con successo la forma simbolica corretta (fino all'equivalenza algebrica) per tutte le 14 distribuzioni di base nel benchmark, incluse strutture combinatorie complesse come la Beta-Binomiale e la Ipergeometrica Negativa. Identifica anche correttamente strutture di miscela annidate e forme inflate da zero.
• Precisione dei Parametri: I parametri inferiti sono tipicamente entro pochi percento dal valore reale. Ad esempio, in un contesto rumoroso, il metodo ha recuperato $r=9.999, p=0.700$ per una Binomiale Negativa con vero $r=10, p=0.70$.
• Robustezza: Il metodo dimostra resilienza al rumore di campionamento. Sebbene modelli complessi richiedano più dati (ad esempio, il recupero della Beta-Binomiale degrada a $M=500$), target più semplici rimangono recuperabili anche con dimensioni campionarie piccole.
• Prestazioni Comparative:
  • Contro Baseline Parametriche Oracle (MoM/MLE): SDE raggiunge una precisione comparabile senza richiedere che la famiglia sia nota a priori.
  • Contro Baseline Non Parametriche/Neurali (KDE, Pyro): SDE fornisce espressioni in forma chiusa interpretabili, mentre KDE e Pyro spesso producono adattamenti non lisci, oscillanti o artefatti ai bordi (ad esempio, vicino allo zero per la Poisson Inflata da Zero).
  • Contro Regressione Simbolica Generica (PySR): PySR produce frequentemente espressioni strutturalmente non valide che non soddisfano i vincoli della PMF, mentre la ricerca consapevole della validità di SDE garantisce la plausibilità fisica.
• Applicazione Reale: Su dati scRNA-seq PBMC (Gene 4046), SDE ha scoperto un modello di miscela conciso e interpretabile che combina due componenti a decadimento geometrico e una costante di base. Questo modello ha ottenuto un Errore Quadratico Medio (MSE) inferiore sulla log-PMF empirica rispetto ai modelli a famiglia fissa standard (selezionati tramite AIC) e alle baseline neurali scatola nera.

Significato e Affermazioni

Il documento afferma che SDE offre un'alternativa razionale alla modellazione parametrica manuale e agli stimatori di densità scatola nera opachi. Operando nel dominio del log-probabilità con un insieme personalizzato di operatori primitivi, il framework può scoprire automaticamente PMF in forma chiusa interpretabili che rivelano la struttura compositiva delle distribuzioni sottostanti.

Gli autori sottolineano che il punto di forza fondamentale del framework risiede nella sua estendibilità: strutture complesse come miscele finite e modelli inflati da zero sono recuperate tramite estensioni minime degli operatori senza modificare la procedura di ricerca sottostante, la funzione di perdita o i vincoli. Questa capacità supporta l'identificazione di modelli discreti strutturati ed eterogenei dove l'interpretabilità e l'insight strutturale sono essenziali.

Il lavoro posiziona SDE come un approccio pratico per la modellazione delle distribuzioni, in particolare in scenari in cui la famiglia reale è sconosciuta o in cui i dati presentano variazioni strutturali complesse (ad esempio, eccesso di zeri o multimodalità) che le famiglie parametriche standard non riescono a catturare. Gli autori notano che, sebbene la formulazione attuale si concentri su distribuzioni discrete univariate, l'approccio fornisce una base per una futura espansione a contesti multivariati e continui.