Uncertainty-Aware Model Selection with a Calibrated Probability-Generating-Function-Based Bayesian Information Criterion

Resumen Técnico: Selección de Modelos con Conciencia de la Incertidumbre mediante un PGF-BIC Calibrado

Planteamiento del Problema
La selección de modelos estocásticos de expresión génica a partir de datos de recuentos de ARN de célula única requiere equilibrar la bondad de ajuste frente a la complejidad mecanística. Si bien el Criterio de Información Bayesiano basado en la Función Generadora de Probabilidades (PGF-BIC) ofrece un método computacionalmente eficiente para comparar modelos sin reconstruir distribuciones completas de recuentos, su implementación convencional depende de una regla de umbral cero. Esta regla selecciona el modelo más complejo siempre que su puntuación penalizada sea menor que la del modelo más simple. Sin embargo, este enfoque no tiene en cuenta la incertidumbre de muestreo en la diferencia de puntuación ajustada. En muestras finitas, las fluctuaciones en la función generadora de probabilidades (PGF) empírica y en los pesos de covarianza estimados pueden crear ventajas de puntuación aparentes para los modelos complejos que son indistinguibles del ruido, lo que conduce a la sobreselección de modelos innecesariamente complejos.

Metodología
Los autores proponen una regla PGF-BIC con conciencia de la incertidumbre que reemplaza el corte fijo de cero por un umbral basado en los datos. La metodología procede a través de los siguientes pasos técnicos:

1. Descomposición de la Puntuación: La diferencia en las puntuaciones penalizadas ($\Delta_n$) entre un modelo complejo ($M_2$) y un modelo más simple ($M_1$) se descompone en un término de penalización determinista y un término estocástico que representa la diferencia en las distancias de ajuste minimizadas. El componente estocástico surge de la variabilidad conjunta de la PGF empírica y los pesos de covarianza estimados.
2. Formulación del Umbral mediante la Desigualdad de Cantelli: Para determinar un margen de selección que controle la probabilidad de selección incorrecta, los autores emplean la desigualdad de Cantelli de un solo lado. Esto permite la derivación de un umbral expresado en términos de la desviación estándar de la diferencia de puntuación, asegurando que la probabilidad de seleccionar el modelo complejo cuando este no ofrece una verdadera ventaja a nivel poblacional esté acotada por un nivel objetivo $\alpha$.
3. Análisis de la Función de Influencia: Para estimar la escala requerida de las fluctuaciones de muestreo sin recurrir al remuestreo (p. ej., bootstrapping), los autores utilizan funciones de influencia. Al tratar la diferencia de puntuación ajustada como un funcional de la distribución de los datos, derivan una expansión de Taylor de primer orden. Esto produce una representación de la fluctuación de muestreo como una suma de contribuciones específicas de cada célula ($\psi(X_i)$).
4. Estimación de la Varianza: La varianza de la suma de la función de influencia se estima para cuantificar la desviación estándar de la diferencia de puntuación. Este estimador tiene en cuenta la variabilidad tanto en la PGF empírica como en los pesos de covarianza estimados.
5. Regla de Selección: El modelo complejo se selecciona solo si su ventaja de puntuación supera el umbral calculado ($\Delta_n > c_{n,\alpha}$), donde $c_{n,\alpha}$ se deriva de la desviación estándar estimada y la tasa de error objetivo.

Contribuciones Clave

• Regla de Decisión Calibrada: El artículo introduce una regla PGF-BIC modificada que incorpora la incertidumbre de muestreo en la decisión de selección de modelos, yendo más allá del enfoque binario de "la puntuación más baja gana".
• Estimación Analítica de la Varianza: Una derivación novedosa utilizando funciones de influencia proporciona una descripción de primer orden de las fluctuaciones de muestreo en la diferencia de puntuación del PGF-BIC. Esto permite el cálculo de un umbral basado en los datos sin el costo computacional del remuestreo o de optimizaciones adicionales.
• Preservación de la Eficiencia: La calibración mantiene la eficiencia computacional del marco PGF-BIC original, ya que utiliza los ajustes de modelos existentes y no requiere la reconstrucción de distribuciones completas de recuentos ni la realización de evaluaciones de verosimilitud repetidas.

Resultados
Los autores validan el método propuesto utilizando un benchmark que compara un modelo de Poisson (más simple) contra un modelo de ráfagas (Bursty) (más complejo), donde la distribución de Poisson es un límite de frontera de la distribución de ráfagas.

• Hallazgos de la Simulación: En simulaciones donde los datos fueron generados por el modelo de Poisson, la regla PGF-BIC convencional seleccionó frecuentemente el modelo de ráfagas más complejo (tasas de selección incorrecta de ~70% con $n=100$ y ~35% con $n=1000$).
• Desempeño de la Calibración: La regla con conciencia de la incertidumbre redujo significamente la tasa de selección incorrecta del modelo complejo en varios tamaños de muestra ($n=100, 500, 1000$). El umbral calibrado logró distinguir con éxito entre las ventajas genuinas de los modelos y las fluctuaciones causadas por el ruido de muestreo.

Significancia y Reivindicaciones
El artículo afirma que la calibración propuesta aborda una limitación crítica de los criterios estándar de selección de modelos en el contexto de los datos de célula única: la incapacidad de distinguir entre ventajas de ajuste reproducibles y artefactos inducidos por el ruido en muestras finitas. Al cuantificar la incertidumbre de la diferencia de puntuación, el método evita el sobreajuste de los modelos de expresión génica estocástica. Los autores enfatizan que este enfoque integra la cuantificación de la incertidumbre en la selección de modelos manteniendo la tractabilidad computacional requerida para analizar conjuntos de datos de célula única a gran escala, sin requerir remuestreo ni pasos de optimización adicionales.