Adaptive Nonparametric Perturbations of Parametric Models with Generalized Bayes

Aquí presento un resumen técnico detallado del artículo "Nonparametric Perturbations with Generalized Bayes" (Perturbaciones No Paramétricas con Bayes Generalizado), escrito por Wu et al.

1. El Problema

El modelado bayesiano paramétrico es una herramienta poderosa e interpretable en el aprendizaje automático, pero su principal debilidad es la especificación incorrecta del modelo (model misspecification). Si la distribución verdadera de los datos $p_0$ no pertenece al espacio de modelos paramétricos $M_{pm}$, las inferencias basadas en la distribución posterior estándar pueden ser poco confiables, incluso con grandes cantidades de datos, ya que el prior paramétrico puede ser excesivamente seguro y asignar probabilidad cero a la realidad.

El objetivo del artículo es realizar una inferencia funcional robusta y eficiente. Esto significa estimar funcionales de la distribución verdadera de los datos, $\psi(p_0)$ (como medias, varianzas o efectos causales), manteniendo la eficiencia de los modelos paramétricos cuando estos son correctos, pero garantizando la consistencia (robustez) cuando están mal especificados.

2. Metodología

Los autores proponen un enfoque en dos etapas: primero, un modelo teórico ideal llamado NPP (Nonparametric Perturbations of Parametric Models), y segundo, una aproximación computacionalmente viable llamada gNPP (generalized NPP).

A. Modelo NPP (Perturbación No Paramétrica)

El modelo NPP combina un modelo paramétrico con un componente no paramétrico mediante una mezcla adaptativa:

1. Estructura de Mezcla: Se introduce un indicador binario $b$.
   • Si $b=1$, los datos provienen del modelo paramétrico $p_\theta$.
   • Si $b=0$, los datos provienen de una distribución no paramétrica perturbada $\tilde{p}$, centrada en $p_\theta$ pero con soporte sobre todo el espacio de distribuciones $\mathcal{P}$.
2. Mecanismo de Selección: El peso de la mezcla $\eta_n = P(b=1 | x_{1:n})$ se determina mediante un Factor de Bayes que compara la verosimilitud marginal del modelo paramétrico frente al no paramétrico.
   • Caso bien especificado ($p_0 \in M_{pm}$): El factor de Bayes favorece al modelo paramétrico (por la navaja de Occam bayesiana), y $\eta_n \to 1$. La inferencia converge a la tasa paramétrica óptima ($1/\sqrt{n}$).
   • Caso mal especificado ($p_0 \notin M_{pm}$): El factor de Bayes favorece el modelo no paramétrico más flexible, y $\eta_n \to 0$. La inferencia converge a la verdad, aunque a una tasa más lenta.

Desafío: Calcular el Factor de Bayes para modelos no paramétricos es computacionalmente intratable en muchos escenarios de aprendizaje automático a gran escala.

B. Aproximación gNPP (Bayes Generalizado)

Para superar la barrera computacional, los autores proponen el gNPP, que imita el comportamiento estadístico del NPP sin calcular verosimilitudes marginales ni factores de Bayes estándar.

1. Factor de Bayes Generalizado (gBF):

   • En lugar de usar verosimilitudes, el gBF utiliza divergencias estadísticas (como Distancia de Wasserstein, Discrepancia de Máxima Esperanza - MMD, o Discrepancia de Stein Kernelizada - KSD) para medir la discrepancia entre el modelo y los datos.
   • La fórmula del gBF compara la divergencia esperada bajo el prior con la divergencia esperada bajo el posterior:
     $$\text{gBF}_n \propto \frac{E[\text{divergencia}_{\text{prior}}]}{E[\text{divergencia}_{\text{posterior}}] \cdot (n+1)^{-r}}$$
   • Si el modelo paramétrico es correcto, la divergencia posterior tiende a cero, haciendo que el gBF favorezca el modelo paramétrico. Si es incorrecto, la divergencia se mantiene positiva, favoreciendo el componente no paramétrico.
   • Ventaja computacional: Solo requiere muestras del posterior paramétrico y del prior, evitando el cálculo de integrales de verosimilitud marginal.

2. Componente No Paramétrico Semiparamétrico:

   • En lugar de un modelo no paramétrico completo (que es costoso de calcular), el gNPP utiliza un modelo semiparamétrico (por ejemplo, BART - Bayesian Additive Regression Trees) que es consistente para estimar el funcional objetivo $\psi(p_0)$, pero más simple de computar.

3. Posterior Generalizado:
   La distribución final es una mezcla ponderada:
   $$\hat{\Pi}(\psi(p) | x_{1:n}) = \hat{\eta}_n \Pi_{pm}(\psi(p_\theta) | x_{1:n}) + (1 - \hat{\eta}_n) \hat{\Pi}_{pert}(\psi(p) | x_{1:n})$$
   Donde $\hat{\eta}_n$ se deriva del gBF.

3. Contribuciones Clave

1. Marco Teórico de Robustez y Eficiencia: Demuestran teóricamente que el modelo NPP (y su aproximación gNPP) logra un equilibrio óptimo:
   • Eficiencia: Cuando el modelo paramétrico es correcto, la posterior converge a la tasa paramétrica $O(n^{-1/2})$ (Teorema de Bernstein-von Mises).
   • Robustez: Cuando el modelo es incorrecto, la posterior converge a la distribución verdadera $\delta_{\psi(p_0)}$, evitando inferencias sesgadas.
2. Innovación Computacional (gNPP): Introducen un método que evita el cálculo de factores de Bayes no paramétricos, utilizando divergencias estadísticas y factores de Bayes generalizados. Esto hace que la inferencia robusta sea escalable.
3. Análisis de Divergencias: Proporcionan un análisis detallado de cómo diferentes divergencias (Wasserstein, MMD, KSD) afectan la consistencia del modelo de selección y establecen las tasas de convergencia necesarias para el hiperparámetro de tasa $r$.
4. Aplicación en Biología: Validan el método en un problema real de inferencia causal con datos de secuenciación de ARN de células individuales (scRNA-seq), demostrando su utilidad en escenarios de datos limitados y ruidosos.

4. Resultados

• Simulaciones Sintéticas:

  • En escenarios bien especificados, el gNPP iguala la velocidad de convergencia del modelo paramétrico puro.
  • En escenarios mal especificados (ej. datos con asimetría no capturada por un modelo Gaussiano), el gNPP converge a la verdad, mientras que el modelo paramétrico falla.
  • El gNPP mantiene una cobertura de intervalos creíbles calibrada (frecuentista) en ambos casos, a diferencia del modelo paramétrico que se vuelve mal calibrado bajo especificación incorrecta.
  • Se observa un "efecto Bartlett-Lindley": con datos muy escasos, el gNPP tiende a favorecer el modelo paramétrico simple, lo cual es beneficioso para la eficiencia en muestras pequeñas.

• Aplicación Real (Cáncer de Ovario):

  • Se estimaron los efectos causales de la expresión génica (ej. FOXP3) sobre genes de respuesta (ej. GZMH, GZMK) en células T de pacientes con cáncer de ovario.
  • El modelo paramétrico sugirió conclusiones fuertes pero potencialmente erróneas debido a una mala especificación (bajo $R^2$, residuos no normales).
  • El gNPP detectó la mala especificación (bajo peso de mezcla $\hat{\eta}_n$) y ajustó la inferencia, proporcionando conclusiones más robustas y conservadoras, o confirmando la robustez de ciertas conclusiones paramétricas cuando el modelo era adecuado.

5. Significancia

Este trabajo es significativo porque cierra la brecha entre la robustez teórica de los métodos bayesianos no paramétricos y la eficiencia práctica de los modelos paramétricos.

• Paradigma de "Backup": Ofrece un marco donde el modelo paramétrico (basado en conocimiento de dominio) es el modelo principal, pero cuenta con un "respaldo" no paramétrico que se activa automáticamente si los datos contradicen las suposiciones del modelo.
• Escalabilidad: Al eliminar la necesidad de calcular verosimilitudes marginales no paramétricas, hace viable la inferencia bayesiana robusta en problemas de alta dimensión y grandes volúmenes de datos, como la genómica.
• Inferencia Causal: Proporciona una herramienta crucial para la inferencia causal en datos observacionales complejos (como scRNA-seq), donde los modelos paramétricos suelen ser insuficientes pero los modelos totalmente no paramétricos requieren demasiados datos para ser precisos.

En resumen, los autores presentan una solución elegante y computacionalmente eficiente para el problema clásico de la especificación incorrecta del modelo en el aprendizaje automático bayesiano, garantizando inferencias fiables tanto en condiciones ideales como en la realidad imperfecta de los datos.