Résumé technique : Estimation symbolique de densité pour les distributions discrètes

Formulation du problème

Les distributions de probabilité discrètes sont fondamentales pour la modélisation de données de comptage et de résultats catégoriels. Cependant, le catalogue des distributions interprétables et analytiquement traitables n'a historiquement évolué que par des dérivations mathématiques cas par cas. Les analystes sont généralement confrontés à un compromis : supposer une famille paramétrique spécifique risque une mauvaise spécification du modèle, tandis que les approches non paramétriques flexibles ou neuronales (par exemple, les réseaux autorégressifs, les flux de normalisation) produisent souvent des modèles implicites « boîte noire » dépourvus de fonctions de masse de probabilité (FMP) sous forme close.

Les auteurs abordent le problème de l'Estimation Symbolique de Densité (SDE) : retrouver automatiquement une FMP symbolique sous forme close qui s'ajuste au mieux aux données discrètes observées sans présupposer de famille de distribution. Cette tâche n'est pas triviale en raison de l'espace d'expressions combinatoirement vaste et de l'exigence stricte que toute formule proposée doit définir une FMP valide (non négative et normalisée). Contrairement à la régression standard, les distributions discrètes impliquent des constructions combinatoires spécifiques telles que les factorielles et les coefficients binomiaux.

Méthodologie : Le cadre SDE

Le cadre SDE proposé opère dans le domaine des logarithmes de probabilité pour améliorer la stabilité numérique et transformer les facteurs combinatoires multiplicatifs en composantes additives. La méthode intègre des priors structurels spécifiques au domaine avec une recherche évolutionnaire et une étape d'inférence consciente de la validité.

1. Ensemble d'opérateurs et espace de recherche

L'espace d'hypothèses est induit par un ensemble d'opérateurs personnalisé $\mathcal{O}$ comprenant :

• Arithmétique de base : $+$, $-$, $\times$, $\wedge$.
• Fonctions élémentaires : $\log$, $\exp$, $|\cdot|$, $\sin$, $\cos$.
• Primitives combinatoires en domaine logarithmique : $\log\Gamma(t+1)$ (log-factorielle), $\log\binom{n}{k}$, et $\log B(a,b)$ (fonction log-Bêta). Ces primitives représentent les factorielles, les coefficients binomiaux et les termes de fonction Bêta courants dans les FMP discrètes tout en maintenant la stabilité numérique pour de grands arguments.

Pour gérer l'immense espace de recherche (estimé à $>10^{19}$ possibilités pour une complexité modeste), les auteurs emploient deux types de contraintes :

• Priors de complexité des opérateurs : Deux profils de complexité complémentaires attribuent des coûts symboliques souples aux opérateurs. Un profil favorise les structures combinatoires (par exemple, $\log C$, $\log B$), tandis que l'autre favorise les motifs de la famille exponentielle (par exemple, $\log F$, $\log$). Cela guide la recherche évolutionnaire vers des distributions structurellement diverses sans restreindre l'expressivité.
• Contraintes de grammaire structurelle :
  • Linéarité : Les arguments des fonctions spéciales (par exemple, $\log\Gamma$, $\log B$) sont restreints à des formes affines pour éviter des compositions profondément imbriquées et non identifiables.
  • Atomicité : L'exponentiation est restreinte à des exposants atomiques (variables uniques ou constantes) pour éviter des structures composées complexes.

2. Estimation et pondération

Le système estime le log-FMP à partir de $M$ échantillons i.i.d. Pour gérer les comptes nuls et la forte variance dans les régions de faible probabilité, un estimateur lissé $\hat{p}(x) = \frac{c(x) + \alpha}{M + \alpha K}$ est utilisé (correspondant à la moyenne a posteriori de Dirichlet).

• Troncature du support : Le domaine d'ajustement est restreint aux intervalles contenant des comptes effectifs suffisants ($M\hat{p}(x) \geq \tau$) pour atténuer le bruit d'échantillonnage fini dans les queues.
• Moindres carrés pondérés : La recherche vise une erreur de reconstruction pondérée sur le log-FMP. Les pondérations sont dérivées de l'inverse de la variance des estimations de fréquence logarithmique (via la méthode Delta), réduisant le poids des observations bruyantes.

3. Procédure de recherche et d'inférence

La recherche centrale utilise une stratégie évolutionnaire multi-démarrage :

• Plusieurs exécutions évolutionnaires sont lancées, chacune utilisant un profil de complexité différent pour biaiser la recherche vers différents motifs canoniques.
• Les candidats sont évolués par mutation et croisement, suivis d'une sélection consciente du coût équilibrant l'erreur de reconstruction et la complexité symbolique.
• Inférence post-recherche : Les candidats regroupés subissent une validation en trois étapes :
  1. Filtrage par perte : Rejet des expressions avec une erreur de reconstruction élevée.
  2. Validité probabiliste : Assurance d'une normalisation approximative ($|\sum e^{f(x)} - 1| < \epsilon$) et d'une masse logarithmique bornée.
  3. Contrôle de complexité : Rejet des expressions dépassant les budgets d'opérateurs.
• Les candidats valides sont classés lexicographiquement par complexité symbolique et erreur résiduelle. Les paramètres sont affinés par une recherche locale discrète à partir de termes symboliques identifiables.

4. Extensions

Le cadre s'étend naturellement à des structures complexes en augmentant l'ensemble d'opérateurs :

• Mélanges finis : Introduits via la primitive binaire $\text{logaddexp}(u, v) = \log(e^u + e^v)$, permettant des applications imbriquées pour représenter des mélanges arbitraires dans l'espace logarithmique.
• Modèles à inflation de zéros : Introduits via une primitive $\log \delta_0(x)$ codant une masse ponctuelle à zéro, combinée à $\text{logaddexp}$ pour modéliser le mélange d'une masse nulle et d'une distribution de base.

Contributions clés

1. Premier cadre symbolique pour les distributions discrètes : SDE est le premier cadre à intégrer la vérification de validité des FMP (non-négativité et normalisation) directement dans le processus de découverte symbolique, combinant l'ajustement pondéré du log-FMP avec des vérifications de validité intégrées.
2. SDEBench : Les auteurs contribuent un jeu de données de référence couvrant 14 distributions discrètes de base (incluant les familles exponentielles, les lois de puissance et les modèles mixtes) et leurs variantes à inflation de zéros ou mélangées pour soutenir une évaluation systématique.
3. Validation empirique : La méthode est démontrée capable de retrouver des modèles classiques, généralisés et structurés à partir d'échantillons finis, comblant le fossé entre la sélection paramétrique rigide et les méthodes boîte noire.

Résultats expérimentaux

Les auteurs évaluent SDE sur le jeu de données SDEBench ($M=50\,000$) et sur un jeu de données réel de séquençage d'ARN de cellule unique (scRNA-seq).

• Précision de récupération : SDE récupère avec succès la forme symbolique correcte (jusqu'à l'équivalence algébrique) pour les 14 distributions de base du benchmark, y compris des structures combinatoires complexes comme la Bêta-binomiale et l'Hypergéométrique négative. Il identifie également correctement les structures de mélanges imbriqués et les formes à inflation de zéros.
• Précision des paramètres : Les paramètres inférés sont généralement à quelques pourcents de la vérité terrain. Par exemple, dans un environnement bruyant, la méthode a récupéré $r=9,999, p=0,700$ pour une loi Binomiale Négative avec une vraie valeur $r=10, p=0,70$.
• Robustesse : La méthode démontre une résilience au bruit d'échantillonnage. Bien que les modèles complexes nécessitent plus de données (par exemple, la récupération de la Bêta-binomiale se dégrade à $M=500$), des cibles plus simples restent récupérables même avec de petits échantillons.
• Performance comparative :
  • Contre les Baselines Paramétriques Oracle (MoM/MLE) : SDE atteint une précision comparable sans nécessiter que la famille soit connue a priori.
  • Contre les Baselines Non Paramétriques/Neurales (KDE, Pyro) : SDE fournit des expressions closes interprétables, tandis que KDE et Pyro produisent souvent des ajustements non lisses, oscillatoires ou des artefacts de frontière (par exemple, près de zéro pour la Poisson à inflation de zéros).
  • Contre la Régression Symbolique Générique (PySR) : PySR produit fréquemment des expressions structurellement invalides qui ne satisfont pas les contraintes de FMP, tandis que la recherche consciente de la validité de SDE assure la plausibilité physique.
• Application réelle : Sur les données scRNA-seq de PBMC (Gène 4046), SDE a découvert un modèle de mélange concis et interprétable combinant deux composantes à décroissance géométrique et une constante de base. Ce modèle a atteint une erreur quadratique moyenne (MSE) plus faible sur le log-FMP empirique que les modèles de famille fixe standard (sélectionnés via AIC) et les baselines neuronales boîte noire.

Importance et affirmations

L'article affirme que SDE offre une alternative principée à la modélisation paramétrique manuelle et aux estimateurs de densité boîte noirs opaques. En opérant dans le domaine des logarithmes de probabilité avec un ensemble personnalisé d'opérateurs primitifs, le cadre peut découvrir automatiquement des FMP sous forme close interprétables qui révèlent la structure compositionnelle des distributions sous-jacentes.

Les auteurs soulignent que la force centrale du cadre réside dans son extensibilité : des structures complexes comme les mélanges finis et les modèles à inflation de zéros sont récupérés via des extensions minimales d'opérateurs sans modifier la procédure de recherche sous-jacente, la fonction de perte ou les contraintes. Cette capacité soutient l'identification de modèles discrets structurés et hétérogènes où l'interprétabilité et l'insight structurel sont essentiels.

Le travail positionne SDE comme une approche pratique pour la modélisation de distributions, en particulier dans les scénarios où la vraie famille est inconnue ou où les données présentent des variations structurelles complexes (par exemple, excès de zéros ou multimodalité) que les familles paramétriques standard échouent à capturer. Les auteurs notent que, bien que la formulation actuelle se concentre sur les distributions discrètes univariées, l'approche fournit une base pour une future expansion vers des contextes multivariés et continus.