Uncertainty Quantification for Multi-level Models Using the Survey-Weighted Pseudo-Posterior

Resumen Técnico: Cuantificación de la Incertidumbre para Modelos Multinivel Mediante el Pseudo-Posterior Ponderado por Encuestas

Enunciado del Problema
La inferencia estadística para datos de encuestas complejas suele depender de pesos de encuesta para corregir las probabilidades de selección desiguales y las características del diseño (agrupamiento, estratificación). Aunque el software estándar puede incorporar estos pesos en modelos multinivel (jerárquicos) bayesianos para producir estimaciones puntuales consistentes de los parámetros globales (por ejemplo, efectos fijos), la cuantificación de la incertidumbre resultante suele ser incorrecta. Específicamente, las varianzas posteriores y los intervalos creíbles derivados de un pseudo-posterior ponderado por encuestas no alcanzan tasas de cobertura asintóticamente correctas (por ejemplo, un intervalo nominal del 95 % puede no contener el parámetro verdadero el 95 % de las veces).

Este problema se ve exacerbado en modelos multinivel que contienen tanto parámetros globales (que se benefician de un aumento de la información a medida que el tamaño de la muestra $n \to \infty$) como parámetros locales (por ejemplo, efectos aleatorios a nivel de grupo). Los parámetros locales a menudo dependen de subconjuntos más pequeños de datos, lo que conduce a tasas más lentas de reducción de la varianza (por ejemplo, $\propto n^{-1/2}$ o incluso constante) en comparación con los parámetros globales. Las suposiciones estándar de normalidad asintótica, que sustentan los ajustes de varianza de "sándwich", pueden fallar para estos parámetros locales, especialmente en muestras pequeñas o bajo diseños de muestreo altamente informativos donde la distribución de la muestra difiere significativamente de la población.

Metodología
Los autores proponen y evalúan modificaciones a un marco existente de post-procesamiento automatizado (desarrollado originalmente por Williams y Savitsky, 2021) diseñado para ajustar el pseudo-posterior ponderado por encuestas. El objetivo central es alinear la varianza del posterior bayesiano con la varianza asintótica del Estimador de Máxima Verosimilitud (MLE) ponderado por encuestas, el cual sigue una forma de "sándwich": $H^{-1} J H^{-1}$.

El artículo evalúa tres estrategias de ajuste específicas aplicadas a las muestras del pseudo-posterior:

1. Ajuste Ingenuo (Línea Base): Este enfoque utiliza los gradientes del log-posterior (que incluyen el prior) en lugar de los gradientes del log-verosimilitud para estimar la matriz de curvatura ($H$) y el producto externo de gradientes ($J$). Asume que la curvatura del prior es despreciable, una suposición que se cumple para los parámetros globales pero que es dudosa para los parámetros locales y los hiperparámetros.
2. Ajuste de Curvatura del Prior: Reconociendo que el prior contribuye a la curvatura del posterior pero no a la varianza impulsada por los datos ($J$), este método estima explícitamente la matriz de curvatura del prior ($H_0$). Ajusta el estimador de sándwich añadiendo $H_0$ de nuevo a la estimación de la matriz $J$ ($J^* = J_{\xi} + H_0$) para evitar una reducción artificial de la escala para parámetros fuertemente influenciados por el prior.
3. Transformación + Curvatura del Prior (Yeo-Johnson): Este enfoque aborda la no normalidad de las distribuciones de los parámetros (común en componentes de varianza y parámetros jerárquicos). Aplica la transformación de Yeo-Johnson para mapear los parámetros a un espacio más cercano a la normalidad. El ajuste de sándwich se realiza entonces sobre los parámetros transformados, y los resultados se retro-transforman a la escala original. Este método también incorpora la corrección de curvatura del prior.

Para estimar los componentes de varianza necesarios ($J$) sin volver a ejecutar el costoso MCMC para cada réplica, los autores utilizan un enfoque híbrido que combina un jackknife de eliminación de grupos (para pesos de réplica) con la linealización de Taylor. Esto permite estimar el efecto del diseño y la matriz de varianza de sándwich utilizando un único conjunto de extracciones posteriores.

Contribuciones Clave

• Identificación de Limitaciones: El artículo demuestra que los ajustes de "sándwich" ingenuos estándar, que funcionan bien para efectos fijos globales, fallan al proporcionar una cuantificación de incertidumbre correcta para efectos aleatorios locales y componentes de varianza en modelos multinivel, lo que a menudo conduce a una subcobertura severa.
• Modificaciones Propuestas: Los autores introducen dos refinamientos específicos al proceso de ajuste automatizado: (1) corregir la curvatura del prior para estabilizar las estimaciones de parámetros locales, y (2) aplicar transformaciones de Yeo-Johnson para mitigar el impacto de la no normalidad en el espacio de parámetros.
• Eficiencia Computacional: Los métodos propuestos operan como una corrección a posteriori a una única ejecución de MCMC, evitando la carga computacional de los métodos de replicación de "fuerza bruta" (que requieren reestimar el modelo para cientos de conjuntos de datos de réplica).
• Validación Empírica: Los métodos se validan mediante estudios de simulación (Muestreo Aleatorio Simple, Probabilidad Proporcional al Tamaño y Muestreo por Conglomerados en Dos Etapas) y una aplicación a la Encuesta Nacional sobre Uso de Drogas y Salud (NSDUH).

Resultados

• Simulaciones:
  • En escenarios de Muestreo Aleatorio Simple (SRS), el ajuste ingenuo subcobrió severamente los efectos aleatorios y los parámetros de varianza. El enfoque de Yeo-Johnson (YJ) con curvatura del prior logró una cobertura cercana a la nominal para efectos aleatorios, superando tanto al método ingenuo como al método solo de curvatura del prior.
  • En diseños de muestreo informativo (PPT y Dos Etapas), todos los métodos lucharon por alcanzar una cobertura nominal del 95 % debido a la fuerte informatividad del diseño y a los tamaños de muestra pequeños. Sin embargo, el enfoque YJ proporcionó consistentemente la mejor cobertura para efectos aleatorios y componentes de varianza, superando significativamente al enfoque ingenuo.
• Aplicación a NSDUH:
  • Aplicado a una regresión logística multinivel para la prevalencia de depresión a través de grupos interseccionales (raza, género, orientación sexual), el ajuste YJ produjo intervalos creíbles más amplios y conservadores en comparación con el pseudo-posterior no ajustado, reflejando la penalización necesaria del "efecto del diseño".
  • El enfoque YJ proporcionó intervalos más eficientes que un método de replicación de fuerza bruta aplicado a un conjunto de datos muestreado, manteniendo un rendimiento similar para dominios pequeños.
  • Limitación en Jerarquías Profundas: Cuando se aplicó a un modelo jerárquico "más profundo" con priores globales-locales (penalizando interacciones de orden superior), el ajuste YJ se volvió extremadamente inestable, produciendo intervalos inutilizables. Esto sugiere que el ajuste automático tiene límites cuando se aplica a estructuras jerárquicas complejas y profundas.

Significado y Afirmaciones
El artículo afirma que, si bien la inferencia bayesiana para datos de encuestas complejas es factible, los ajustes automatizados estándar son insuficientes para modelos multinivel que contienen parámetros locales. Las modificaciones propuestas (específicamente la transformación de Yeo-Johnson combinada con la corrección de curvatura del prior) ofrecen una forma computacionalmente eficiente de mejorar la cuantificación de la incertidumbre para parámetros globales y locales en modelos jerárquicos "someros".

Los autores concluyen modestamente que, aunque su enfoque mejora los métodos existentes para modelos multinivel estándar, no es una solución universal. La inestabilidad observada en modelos jerárquicos profundos indica la necesidad de trabajos futuros para diagnosticar cuándo los parámetros son "demasiado profundos" o cuándo el ajuste de sándwich es inapropiado, requiriendo potencialmente estrategias de ajuste diferencial o diagnósticos (como la clonación de datos) para identificar parámetros estimables. El trabajo proporciona una herramienta práctica y automatizada para investigadores que utilizan datos de encuestas en marcos bayesianos jerárquicos, particularmente para estudios de interseccionalidad y descomposición de la varianza.