Translating predictive distributions into informative priors

1. El Problema

La incorporación de información previa en modelos bayesianos es conceptualmente sencilla, pero en la práctica, construir un prior informativo es extremadamente difícil, especialmente en modelos complejos, no lineales o sobreparametrizados.

• La Brecha: A menudo, la información experta o el conocimiento del dominio se expresan en términos de cantidades observables (datos futuros) o cantidades derivadas del modelo (como $R^2$), y no directamente sobre los parámetros latentes ($\theta$) del modelo.
• El Desafío: Traducir una distribución predictiva objetivo (la creencia sobre los datos) a una distribución conjunta sobre los parámetros del modelo es un paso que ha recibido poca atención. Los enfoques directos solo funcionan en modelos simples sin estructura latente o con distribuciones conjugadas. Para modelos no conjugados o complejos, la relación entre los hiperparámetros del prior y la distribución predictiva de los datos es opaca y analíticamente intratable.

2. Metodología Propuesta

Los autores proponen un método automatizado y agnóstico al modelo para traducir una distribución predictiva objetivo ($T(Y)$) en un prior informativo para los parámetros ($\theta$), optimizando los hiperparámetros ($\lambda$) de una clase paramétrica de priores.

El enfoque se basa en minimizar la discrepancia entre la distribución predictiva del prior ($P(Y|\lambda)$) y la distribución objetivo ($T(Y)$) mediante un proceso de optimización global en dos etapas.

Objetivos de Optimización

El método define dos objetivos:

1. Fidelidad (Objetivo Principal): Minimizar la discrepancia entre la distribución predictiva del prior y la distribución objetivo.
   • Se utilizan funciones de discrepancia basadas en reglas de puntuación adecuadas, como la discrepancia de Cramér-von Mises (CvM) o Anderson-Darling (AD) (basadas en funciones de distribución acumulativa, CDF), o divergencias de Kullback-Leibler (KL).
   • La función de pérdida principal es $\tilde{D}(\lambda)$.
2. Unicidad y Replicabilidad (Objetivo Secundario): Dado que a menudo existen múltiples hiperparámetros que logran una fidelidad similar pero producen priores muy diferentes (problema de no unicidad), se introduce un segundo objetivo para regular la solución.
   • Se propone maximizar la incertidumbre previa (varianza) de los parámetros mientras se mantiene la fidelidad, evitando soluciones degeneradas.
   • La función de pérdida secundaria es $\tilde{N}(\lambda)$, típicamente basada en la desviación estándar marginal de los parámetros.

Algoritmo de Optimización

Se emplea un proceso de optimización multiobjetivo global en dos etapas:

• Etapa 1 (Búsqueda de Fidelidad): Se utiliza una búsqueda aleatoria controlada con mutación local (CRS2) para minimizar únicamente la discrepancia predictiva $\tilde{D}(\lambda)$. Esto genera un diseño inicial de puntos candidatos.
• Etapa 2 (Optimización Multiobjetivo): Se utiliza Optimización Bayesiana Multiobjetivo (MSPOT) para minimizar simultáneamente $\tilde{D}(\lambda)$ y $\tilde{N}(\lambda)$.
  • Se aproximan las funciones objetivo mediante Gaussian Processes (GP).
  • Se genera una frontera de Pareto ($P$) que representa el conjunto de soluciones "no dominadas" (ninguna es mejor que otra en ambos objetivos).
  • Finalmente, se selecciona el punto óptimo $\lambda^*$ en la frontera de Pareto minimizando una función de pérdida ponderada: $L(\lambda) = \log(\tilde{D}) + \kappa \tilde{N}$, donde $\kappa$ es un hiperparámetro que equilibra la importancia de la fidelidad frente a la unicidad.

3. Contribuciones Clave

• Enfoque Agnóstico al Modelo: A diferencia de métodos anteriores específicos para ciertos tipos de modelos (como regresión logística o tablas de contingencia), este método es aplicable a cualquier modelo paramétrico complejo donde se pueda simular datos.
• Automatización del Flujo de Trabajo Bayesiano: Formaliza la idea de "verificación predictiva previa" (prior predictive checks) en un algoritmo de optimización, eliminando la necesidad de ajustes manuales iterativos.
• Gestión de la No Unicidad: Introduce explícitamente un objetivo secundario para abordar el problema de que múltiples priores pueden generar la misma distribución de datos, permitiendo a los usuarios elegir soluciones con propiedades deseables (ej. mayor incertidumbre).
• Implementación de Software: Los autores desarrollaron el paquete R pbbo para facilitar la aplicación de este método.

4. Resultados y Ejemplos

El método se validó mediante tres ejemplos ilustrativos:

1. Modelo de Supervivencia con Fracción de Curación:

   • Contexto: Datos censurados donde una fracción de la población está "curada" (no experimenta el evento). La cantidad observable es una mezcla discreta/continua.
   • Hallazgos: El método logró traducir la distribución objetivo (mezcla de log-normal y masa puntual) a un prior sobre los parámetros del modelo. Se observó que el enfoque de un solo objetivo tendía a soluciones degeneradas (asignando toda la variabilidad a la intercepta y forma de la hazard), mientras que el enfoque multiobjetivo mejoró la unicidad, aunque persistió cierta ambigüedad en la estructura de covarianza.

2. Priors a partir de Cantidades Derivadas del Modelo ($R^2$):

   • Contexto: Traducir información sobre el coeficiente de determinación ($R^2$) a priores para coeficientes de regresión en modelos lineales y de contracción (shrinkage).
   • Hallazgos: Se compararon priores Gaussianos, Dirichlet-Laplace y Regularized Horseshoe. El prior Regularized Horseshoe fue el más flexible y fiel a la distribución objetivo de $R^2$, mientras que el prior Gaussiano fue el más replicable pero menos fiel. El estudio destacó la dificultad de estimar el parámetro de ruido ($\sigma^2$) de forma única sin información externa.

3. Modelo de Crecimiento Humano (Preece-Baines):

   • Contexto: Modelo de regresión no lineal para la altura humana.
   • Hallazgos: El método generó priores que estabilizaban la inferencia posterior (evitando advertencias de convergencia en Stan) y eran físicamente plausibles. Se comparó con priores elicited por expertos en un estudio previo (Hartmann et al., 2020). El enfoque propuesto mostró que la información sobre la distribución de la altura a diferentes edades (dependiente de covariables) producía priores más informativos y plausibles que los priores independientes de covariables, aunque la inflexibilidad del modelo limitó la capacidad de ajustar perfectamente todos los objetivos simultáneamente.

5. Significancia e Implicaciones

• Puente entre Conocimiento de Dominio y Modelado: El método permite a los investigadores utilizar su conocimiento intuitivo sobre los datos (ej. "espero que el 5% se cure" o "el modelo explique el 80% de la varianza") para construir priores matemáticamente rigurosos en modelos complejos donde esto antes era imposible o altamente subjetivo.
• Robustez y Replicabilidad: Al automatizar la búsqueda de hiperparámetros, reduce la subjetividad en la especificación de priores y proporciona un marco para evaluar la estabilidad de las soluciones.
• Limitaciones: El método no garantiza encontrar el óptimo global absoluto (debido a la naturaleza estocástica de la optimización global) y la unicidad de la solución no siempre se logra, dependiendo de la flexibilidad del modelo y la cantidad de información disponible.
• Futuro: Abre la puerta a la investigación de funciones de pérdida secundarias alternativas y a la aplicación en espacios de datos de alta dimensión.

En resumen, este trabajo ofrece una solución práctica y generalizable para el problema persistente de la especificación de priores en la estadística bayesiana moderna, transformando la información predictiva en parámetros de modelo de manera sistemática y computacionalmente eficiente.