LOO-PIT predictive model checking

Resumen Técnico: Validación Predictiva LOO-PIT con Dependencia

1. Planteamiento del Problema

En el análisis de datos bayesiano, la evaluación de la adecuación del modelo es crucial. Una técnica común es el Check Predictivo Puntual utilizando la Transformación Integral de Probabilidad (PIT). Específicamente, el método LOO-PIT (Leave-One-Out Probability Integral Transform) evalúa la calibración del modelo comparando las observaciones reales con las distribuciones predictivas obtenidas al dejar fuera una observación a la vez (validación cruzada leave-one-out).

El problema central identificado:
Aunque los valores LOO-PIT deberían estar distribuidos uniformemente en el intervalo $(0, 1)$ si el modelo es correcto, en muestras finitas no son independientes.

• Causa de la dependencia: Cada distribución predictiva LOO se construye utilizando casi los mismos datos (todos menos una observación). Esto crea una correlación estructural entre los valores LOO-PIT.
• Consecuencia: Los métodos de prueba de uniformidad estándar (como Kolmogorov-Smirnov o Anderson-Darling) asumen independencia. Al aplicarlos a valores LOO-PIT dependientes, estos métodos se vuelven excesivamente conservadores, lo que resulta en una tasa de rechazo inferior a la esperada (baja potencia) y falla en detectar la mala calibración del modelo.

2. Fundamentos Teóricos y Comportamiento Asintótico

Los autores establecen una base teórica rigurosa sobre el origen de esta dependencia:

• Teorema de Bernstein-von Mises (BvM): Bajo condiciones de regularidad, la distribución posterior converge a una normal multivariada.
• Descomposición de la Dependencia: Los valores LOO-PIT pueden descomponerse en una parte ideal uniforme y términos de error. La dependencia surge principalmente de la incertidumbre compartida en el desplazamiento de la media posterior ($\hat{\theta}_n - \theta_0$), que acopla todos los PITs.
• Relación con la Complejidad del Modelo: La fuerza de la correlación depende de la complejidad del modelo (número de parámetros efectivos, $\hat{p}_{loo}$) en relación con el tamaño de la muestra ($n$).
  • Si $n \gg \hat{p}_{loo}$ (modelos simples), la dependencia es débil y los valores parecen independientes.
  • Si $n$ es comparable a $\hat{p}_{loo}$ (modelos complejos o jerárquicos), la dependencia es fuerte y no despreciable.
• Misspecification: Bajo modelos mal especificados, los valores PIT convergen a una distribución no uniforme, revelando el falta de ajuste, pero la estructura de dependencia sigue presente.

3. Metodología Propuesta

Para abordar la dependencia sin necesidad de especificar la distribución conjunta completa (que es intratable), los autores proponen un enfoque de dos etapas:

1. Pruebas Puntuales (Pointwise): Calcular $p$-valores marginales para cada observación individual asumiendo uniformidad marginal.
2. Agregación Dependiente: Combinar estos $p$-valores utilizando un método robusto a la correlación.

Se proponen tres procedimientos de prueba específicos:

• POT-C (Pointwise Order Tests Combination):
  • Diseñado para valores PIT continuos.
  • Utiliza estadísticos de orden basados en la distribución Beta. Compara el $i$-ésimo estadístico de orden observado contra $Beta(i, n+1-i)$.
• PRIT-C (Pointwise Rank-based Individual Tests Combination):
  • Diseñado para valores PIT discretos o basados en rangos.
  • Utiliza la distribución Binomial sobre los valores de la función de distribución empírica (ECDF) escalada.
• PIET-C (Pointwise Inverse-CDF Evaluation Tests Combination):
  • Diseñado para valores PIT continuos, con énfasis en la detección de desviaciones en las colas.
  • Transforma los valores PIT uniformes hipotéticos a través de la inversa de la CDF de una distribución continua de referencia (ej. Exponencial) y prueba si siguen esa distribución.

Método de Agregación (Cauchy Combination Test - CCT):
Para combinar los $p$-valores individuales ($p_1, ..., p_n$) en un $p$-valor global, se utiliza la Prueba de Combinación Cauchy (Liu & Xie, 2020).

• Transforma los $p$-valores a variables de Cauchy estándar: $t_i = \tan((0.5 - p_i)\pi)$.
• Calcula la media de estas variables.
• Ventaja clave: La cola pesada de la distribución de Cauchy hace que la estadística de prueba sea robusta a las correlaciones arbitrarias entre los $p$-valores individuales, manteniendo el control de la tasa de error tipo I.

4. Visualización Automatizada

Los autores introducen un método gráfico superior a las bandas de confianza tradicionales de la ECDF (que asumen independencia):

• Utiliza el Teorema de los Valores de Shapley de la teoría de juegos cooperativos.
• Calcula la contribución marginal de cada punto de prueba al estadístico global de Cauchy.
• Resultado: Genera un gráfico de ECDF donde las regiones problemáticas (puntos con alta influencia en el rechazo de la hipótesis nula) se resaltan automáticamente con colores. Esto permite identificar visualmente dónde falla el modelo (ej. en las colas o en la parte central) de manera más eficiente que las simulaciones de Monte Carlo para bandas de confianza.

5. Resultados Empíricos

Los autores validaron sus métodos mediante simulaciones extensas y datos reales (modelos jerárquicos, GAMs, datos de conteo y continuos):

• Control del Error Tipo I:
  • Las pruebas estándar (KS, AD) asumiendo independencia fallan catastróficamente en modelos complejos, mostrando tasas de error tipo I cercanas a cero (demasiado conservadoras).
  • PIET-C mantiene un control de error tipo I excelente en todas las condiciones.
  • POT-C y PRIT-C son ligeramente conservadores en escenarios de dependencia extrema (modelos muy complejos con pocas observaciones), pero se acercan al nivel nominal a medida que aumenta la muestra o disminuye la complejidad.
• Potencia de Detección:
  • Los métodos propuestos (especialmente POT-C y PIET-C) tienen una potencia significativamente mayor que los métodos estándar y que las alternativas como Sampled Posterior p-value (SPP) o Uniform Parameterization Checks (UPC) en la mayoría de los escenarios de mala especificación (colas pesadas, sesgo).
  • En casos donde la incertidumbre aleatoria domina sobre la epistémica (datos muy ruidosos), los métodos SPP combinados con POT-C pueden ser competitivos y computacionalmente más eficientes.
• Datos Reales: Se demostró la utilidad en un estudio clínico sobre el uso de cannabis, donde la dependencia en los valores LOO-PIT era alta debido a la complejidad del modelo jerárquico.

6. Contribuciones Clave y Significancia

1. Teoría de la Dependencia: Demostración formal de que la dependencia en LOO-PIT no es un artefacto menor, sino una propiedad estructural que depende de la complejidad del modelo ($\hat{p}_{loo}/n$).
2. Nuevas Pruebas de Uniformidad: Desarrollo de POT-C, PRIT-C y PIET-C, que son los primeros métodos diseñados específicamente para validar la uniformidad de valores LOO-PIT dependientes sin perder potencia.
3. Herramienta Gráfica Eficiente: Un método de visualización basado en valores de Shapley que identifica localmente las desviaciones del modelo de forma computacionalmente eficiente, evitando la necesidad de bandas de confianza simuladas.
4. Guía Práctica: Proporcionan una hoja de ruta clara para los practicantes:
   • Usar POT-C como opción predeterminada para LOO-PITs continuos.
   • Usar PIET-C si se sospechan problemas específicos en las colas.
   • Usar PRIT-C solo para datos puramente discretos/rangos.
   • Evitar el uso de pruebas de uniformidad estándar (KS/AD) directamente sobre LOO-PITs en modelos complejos.

Conclusión:
El trabajo resuelve una limitación crítica en el flujo de trabajo bayesiano moderno. Al proporcionar métodos que reconocen y corrigen la dependencia inherente en la validación cruzada LOO, permite a los investigadores detectar fallos de modelado que antes pasaban desapercibidos, mejorando la fiabilidad y la crítica de modelos bayesianos complejos.