Resumen Técnico: Estimación de Densidad Simbólica para Distribuciones Discretas

Formulación del Problema

Las distribuciones de probabilidad discretas son fundamentales para modelar datos de conteo y resultados categóricos. Sin embargo, el catálogo de distribuciones interpretables y analíticamente tratables ha expandido históricamente solo mediante derivaciones matemáticas caso por caso. Los analistas suelen enfrentar una compensación: asumir una familia paramétrica específica conlleva el riesgo de una especificación incorrecta del modelo, mientras que los enfoques no paramétricos o neuronales flexibles (por ejemplo, redes autorregresivas, flujos de normalización) a menudo producen modelos implícitos de "caja negra" que carecen de funciones de masa de probabilidad (FMP) en forma cerrada.

Los autores abordan el problema de la Estimación de Densidad Simbólica (SDE): recuperar automáticamente una FMP simbólica en forma cerrada que se ajuste mejor a los datos discretos observados sin prespecificar una familia distribucional. Esta tarea no es trivial debido al espacio de expresiones combinatoriamente grande y al requisito estricto de que cualquier fórmula propuesta debe definir una FMP válida (no negativa y normalizada). A diferencia de la regresión estándar, las distribuciones discretas involucran construcciones combinatorias específicas como factoriales y coeficientes binomiales.

Metodología: El Marco SDE

El marco SDE propuesto opera en el dominio de la log-probabilidad para mejorar la estabilidad numérica y transformar los factores combinatorios multiplicativos en componentes aditivos. El método integra priores estructurales específicos del dominio con búsqueda evolutiva y una etapa de inferencia consciente de la validez.

1. Conjunto de Operadores y Espacio de Búsqueda

El espacio de hipótesis es inducido por un conjunto de operadores personalizado $\mathcal{O}$ que comprende:

• Aritmética básica: $+$, $-$, $\times$, $\wedge$.
• Funciones elementales: $\log$, $\exp$, $|\cdot|$, $\sin$, $\cos$.
• Primitivas combinatorias en dominio logarítmico: $\log\Gamma(t+1)$ (log-factorial), $\log\binom{n}{k}$, y $\log B(a,b)$ (función log-Beta). Estas primitivas representan factoriales, coeficientes binomiales y términos de función Beta comunes en FMPs discretas, manteniendo al mismo tiempo la estabilidad numérica para argumentos grandes.

Para gestionar el vasto espacio de búsqueda (estimado en $>10^{19}$ posibilidades para complejidad modesta), los autores emplean dos tipos de restricciones:

• Priors de Complejidad de Operadores: Dos perfiles de complejidad complementarios asignan costos simbólicos suaves a los operadores. Un perfil favorece estructuras combinatorias (por ejemplo, $\log C$, $\log B$), mientras que el otro favorece motivos de familia exponencial (por ejemplo, $\log F$, $\log$). Esto guía la búsqueda evolutiva hacia distribuciones estructuralmente diversas sin restringir la expresividad.
• Restricciones de Gramática Estructural:
  • Linealidad: Los argumentos de funciones especiales (por ejemplo, $\log\Gamma$, $\log B$) se restringen a formas afines para evitar composiciones profundamente anidadas e inidentificables.
  • Atomicidad: La exponenciación se restringe a exponentes atómicos (variables únicas o constantes) para evitar estructuras compuestas complejas.

2. Estimación y Ponderación

El sistema estima la log-FMP a partir de $M$ muestras i.i.d. Para manejar conteos cero y alta varianza en regiones de baja probabilidad, se utiliza un estimador suavizado $\hat{p}(x) = \frac{c(x) + \alpha}{M + \alpha K}$ (correspondiente a la media posterior de Dirichlet).

• Truncamiento de Soporte: El dominio de ajuste se restringe a contenedores con conteos efectivos suficientes ($M\hat{p}(x) \geq \tau$) para mitigar el ruido de muestra finita en las colas.
• Mínimos Cuadrados Ponderados: La búsqueda tiene como objetivo un error de reconstrucción ponderado en la log-FMP. Los pesos se derivan de la inversa de la varianza de las estimaciones de frecuencia logarítmica (mediante el método Delta), reduciendo el peso de las observaciones ruidosas.

3. Procedimiento de Búsqueda e Inferencia

La búsqueda central utiliza una estrategia evolutiva multi-inicio:

• Se ejecutan múltiples corridas evolutivas, cada una utilizando un perfil de complejidad diferente para sesgar la búsqueda hacia distintos motivos canónicos.
• Los candidatos evolucionan mediante mutación y cruce, seguidos de una selección consciente del costo que equilibra el error de reconstrucción y la complejidad simbólica.
• Inferencia Post-Búsqueda: Los candidatos agrupados pasan por una validación de tres pasos:
  1. Filtrado de Pérdida: Descartar expresiones con alto error de reconstrucción.
  2. Validez Probabilística: Asegurar la normalización aproximada ($|\sum e^{f(x)} - 1| < \epsilon$) y la masa logarítmica acotada.
  3. Control de Complejidad: Rechazar expresiones que excedan los presupuestos de operadores.
• Los candidatos válidos se clasifican lexicográficamente por complejidad simbólica y error residual. Los parámetros se refinan mediante búsqueda local discreta partiendo de términos simbólicos identificables.

4. Extensiones

El marco se extiende naturalmente a estructuras complejas al aumentar el conjunto de operadores:

• Mezclas Finitas: Introducidas mediante la primitiva binaria $\text{logaddexp}(u, v) = \log(e^u + e^v)$, permitiendo aplicaciones anidadas para representar mezclas arbitrarias en el espacio logarítmico.
• Modelos Inflados de Ceros: Introducidos mediante una primitiva $\log \delta_0(x)$ que codifica una masa puntual en cero, combinada con $\text{logaddexp}$ para modelar la mezcla de una masa cero y una distribución base.

Contribuciones Clave

1. Primer Marco Simbólico para Distribuciones Discretas: SDE es el primer marco que integra la verificación de validez de FMP (no negatividad y normalización) directamente en el proceso de descubrimiento simbólico, combinando el ajuste de log-FMP ponderado con verificaciones de validez integradas.
2. SDEBench: Los autores contribuyen con un conjunto de datos de referencia que abarca 14 distribuciones discretas base (incluyendo familias exponenciales, leyes de potencia y modelos mixtos) y sus variantes infladas de ceros/mezclas para apoyar una evaluación sistemática.
3. Validación Empírica: Se demuestra que el método recupera modelos clásicos, generalizados y estructurados a partir de muestras finitas, cerrando la brecha entre la selección paramétrica rígida y los métodos de caja negra.

Resultados Experimentales

Los autores evalúan SDE en el conjunto de datos SDEBench ($M=50,000$) y en un conjunto de datos real de secuenciación de ARN de células individuales (scRNA-seq).

• Precisión de Recuperación: SDE recupera con éxito la forma simbólica correcta (hasta equivalencia algebraica) para las 14 distribuciones base en el referente, incluidas estructuras combinatorias complejas como la Binomial-Beta y la Hipergeométrica Negativa. También identifica correctamente estructuras de mezcla anidadas y formas infladas de ceros.
• Precisión de Parámetros: Los parámetros inferidos suelen estar dentro de un porcentaje de la verdad terrenal. Por ejemplo, en un entorno ruidoso, el método recuperó $r=9.999, p=0.700$ para una Binomial Negativa con verdadera $r=10, p=0.70$.
• Robustez: El método demuestra resiliencia al ruido de muestreo. Si bien los modelos complejos requieren más datos (por ejemplo, la recuperación de Binomial-Beta se degrada en $M=500$), los objetivos simples siguen siendo recuperables incluso con tamaños de muestra pequeños.
• Rendimiento Comparativo:
  • Contra Líneas Base Paramétricas de Oráculo (MoM/ML): SDE logra una precisión comparable sin requerir que la familia sea conocida a priori.
  • Contra Líneas Base No Paramétricas/Neuronales (KDE, Pyro): SDE proporciona expresiones en forma cerrada interpretables, mientras que KDE y Pyro a menudo producen ajustes no suaves, oscilatorios o artefactos de frontera (por ejemplo, cerca de cero para Poisson Inflado de Ceros).
  • Contra Regresión Simbólica Genérica (PySR): PySR a menudo produce expresiones estructuralmente inválidas que no satisfacen las restricciones de FMP, mientras que la búsqueda consciente de validez de SDE asegura la plausibilidad física.
• Aplicación del Mundo Real: En datos de scRNA-seq de PBMC (Gen 4046), SDE descubrió un modelo de mezcla conciso e interpretable que combina dos componentes de decaimiento geométrico y una línea base constante. Este modelo logró un Error Cuadrático Medio (MSE) más bajo en la log-FMP empírica que los modelos de familia fija estándar (seleccionados mediante AIC) y las líneas base neuronales de caja negra.

Significado y Afirmaciones

El artículo afirma que SDE ofrece una alternativa principial a la modelación paramétrica manual y a los estimadores de densidad de caja negra opacos. Al operar en el dominio de la log-probabilidad con un conjunto personalizado de operadores primitivos, el marco puede descubrir automáticamente FMPs en forma cerrada interpretables que revelan la estructura composicional de las distribuciones subyacentes.

Los autores enfatizan que la fortaleza central del marco radica en su extensibilidad: estructuras complejas como mezclas finitas y modelos inflados de ceros se recuperan mediante extensiones mínimas de operadores sin modificar el procedimiento de búsqueda subyacente, la función de pérdida o las restricciones. Esta capacidad apoya la identificación de modelos discretos estructurados y heterogéneos donde la interpretabilidad y la comprensión estructural son esenciales.

El trabajo posiciona a SDE como un enfoque práctico para el modelado de distribuciones, particularmente en escenarios donde la familia verdadera es desconocida o donde los datos exhiben variaciones estructurales complejas (por ejemplo, exceso de ceros o multimodalidad) que las familias paramétricas estándar no logran capturar. Los autores señalan que, si bien la formulación actual se centra en distribuciones discretas univariadas, el enfoque proporciona una base para una futura expansión a configuraciones multivariadas y continuas.