Design Effect Ratios for Bayesian Survey Models: A Diagnostic Framework for Identifying Survey-Sensitive Parameters

1. El Problema

En el análisis de datos de encuestas complejas mediante modelos jerárquicos bayesianos, existe una tensión fundamental entre la inferencia basada en el diseño (que utiliza pesos de encuesta para corregir sesgos de selección) y la inferencia basada en el modelo (que utiliza estructuras jerárquicas y priores para estabilizar estimaciones).

• El dilema actual: Los métodos existentes, como la corrección de Cholesky propuesta por Williams y Savitsky (2021), aplican una corrección de varianza "universal" (blanket correction) a todos los parámetros del modelo para asegurar una cobertura frecuentista nominal.
• La consecuencia negativa: Esta corrección uniforme es perjudicial para parámetros que ya están bien calibrados por la estructura jerárquica (como los efectos aleatorios protegidos por la contracción o shrinkage hacia la media global). Aplicar correcciones de diseño a estos parámetros reduce artificialmente sus intervalos de credibilidad, destruyendo la cobertura nominal (en simulaciones, la cobertura cae del 90% al 20-21%).
• La pregunta clave: ¿Cómo identificar qué parámetros específicos requieren corrección basada en el diseño y cuáles están protegidos por el modelo, sin incurrir en costos computacionales excesivos?

2. Metodología Propuesta

El autor introduce el Ratio del Efecto de Diseño (DER, por sus siglas en inglés: Design Effect Ratio) como una herramienta diagnóstica por parámetro.

Definición del DER

El DER para el $k$-ésimo parámetro se define como la relación entre la varianza de la "sándwich" (consistente con el diseño) y la varianza posterior obtenida por MCMC:
$$DER_k = \frac{[V_{sand}]_{kk}}{[\Sigma_{MCMC}]_{kk}}$$
Donde:

• $V_{sand}$ es la varianza de sándwich (Binder, 1983) que incorpora la complejidad del diseño de muestreo.
• $\Sigma_{MCMC}$ es la covarianza empírica de las muestras del posterior pseudo-bayesiano.

Teoremas de Descomposición

El artículo establece teoremas que descomponen el DER en factores interpretables:

1. Para Efectos Fijos: El DER depende de la fuente de variación identificativa de la covariable.
   • Si la variación es dentro de los grupos (within-cluster), el DER es igual al Efecto de Diseño clásico ($DEFF$). Estos parámetros son sensibles y requieren corrección.
   • Si la variación es entre grupos (between-cluster), el DER se atenúa por el factor de contracción jerárquica: $DER \approx DEFF \cdot (1 - B)$, donde $B$ es el factor de contracción. Estos suelen estar protegidos.
2. Para Efectos Aleatorios: El DER está gobernado por el factor de contracción $B_j$ (la proporción de precisión atribuida al prior frente a los datos).
   • $DER_j \approx B_j \cdot DEFF_j$.
   • Una contracción fuerte ($B_j$ pequeño) protege al parámetro de los efectos del diseño, resultando en un DER bajo (a menudo < 1).

Algoritmo Compute-Classify-Correct (CCC)

Se propone un flujo de trabajo en tres pasos:

1. Compute: Calcular el DER para cada parámetro utilizando la matriz de información observada, el producto exterior de puntuaciones agrupadas y la covarianza MCMC.
2. Classify: Identificar parámetros sensibles usando un umbral (recomendado $\tau = 1.2$). Si $DER_k > \tau$, el parámetro se marca para corrección.
3. Correct: Aplicar la transformación de Cholesky selectiva solo a los parámetros marcados, dejando los demás intactos.

3. Contribuciones Clave

1. Diagnóstico Específico por Parámetro: A diferencia de las correcciones globales, el DER proporciona una descomposición teórica que explica por qué un parámetro es o no sensible al diseño (basado en la variación dentro/entre grupos y la contracción).
2. Ley de Conservación del Efecto de Diseño: Se demuestra que la contracción jerárquica no elimina la sensibilidad al diseño, sino que la redistribuye. La protección de los efectos aleatorios a menudo conlleva una mayor exposición de la media global y los efectos fijos identificados entre grupos.
3. Eficiencia Computacional: El método reduce el costo computacional de $O(d^3)$ (corrección completa) a $O(|F|^3)$ (corrección selectiva), donde $|F|$ es el número de parámetros marcados. En aplicaciones reales, esto puede significar corregir 1 parámetro en lugar de 54.
4. Validación Empírica: Validación exhaustiva mediante simulaciones y aplicación a datos reales.

4. Resultados

Estudio de Simulación (54 escenarios, 10,800 repeticiones)

• Separación Clara: Existe una "brecha de separación" masiva entre los DER de los parámetros sensibles (efectos fijos dentro de grupos, DER $\approx$ 1.7–3.0) y los protegidos (efectos aleatorios y efectos entre grupos, DER < 0.25).
• Rendimiento de Cobertura:
  • Corrección Selectiva (DER-1.2): Logra una cobertura del 87-88% para parámetros sensibles (igual que la corrección total) y mantiene una cobertura cercana al nominal (90%) para los parámetros protegidos.
  • Corrección Total (Blanket): Destruye la cobertura para parámetros protegidos, reduciéndola al 20-21% (los intervalos se vuelven demasiado estrechos).
• Robustez del Umbral: El umbral $\tau = 1.2$ produce cero falsos positivos debido a la gran brecha de separación.

Aplicación Real: Encuesta Nacional de Cuidado y Educación Temprana (NSECE 2019)

• Datos: 6,785 proveedores de cuidado infantil en 51 estados.
• Modelo: Regresión logística jerárquica con 54 parámetros (3 efectos fijos + 51 efectos aleatorios).
• Hallazgo: El DER identificó exactamente 1 parámetro (el coeficiente de pobreza dentro del estado) para corrección ($DER = 2.643$).
• Impacto:
  • La corrección selectiva amplió el intervalo de credibilidad del coeficiente de pobreza en un 62.6%.
  • Los otros 53 parámetros permanecieron sin cambios.
  • Una corrección total habría reducido el ancho del peor intervalo restante al 4.3% de su ancho original, distorsionando gravemente la inferencia.
• Tiempo de Ejecución: Todo el pipeline de diagnóstico y corrección tomó menos de 0.03 segundos después del muestreo MCMC.

5. Significado e Implicaciones

• Puente entre Paradigmas: El DER operacionaliza el paradigma de "Bayes Calibrado" (Little, 2004, 2012), especificando qué partes del posterior necesitan calibración frecuentista y cuáles ya están bien calibradas por la estructura del modelo.
• Cambio de Paradigma en la Práctica: Desplaza la práctica de "corregir todo por seguridad" hacia una corrección inteligente y selectiva. Esto preserva la integridad de la estructura jerárquica que justifica el uso de modelos bayesianos en primer lugar.
• Herramienta Accesible: El autor ha desarrollado el paquete R svyder que implementa este flujo de trabajo, haciéndolo accesible para usuarios de brms, cmdstanr y rstanarm.
• Conclusión: La corrección de diseño no debe ser una operación de caja negra aplicada ciegamente. El DER proporciona la infraestructura diagnóstica necesaria para tomar decisiones informadas, asegurando que la inferencia sea tanto bayesiana (eficiente) como frecuentista (válida bajo el diseño de muestreo).