Bayesian Estimation of Variance under Fine Stratification via Mean-Variance Smoothing

Aquí presento un resumen técnico detallado del artículo "Bayesian Estimation of Variance under Fine Stratification via Mean-Variance Smoothing" (Estimación Bayesiana de la Varianza bajo Estratificación Fina mediante Suavizado de Media-Varianza), escrito por Sepideh Mosaferi y Shonosuke Sugasawa.

1. El Problema: Estratificación Fina y Estimación de Varianza

El artículo aborda un desafío fundamental en el diseño de encuestas conocido como estratificación fina. Este diseño implica seleccionar un número muy pequeño de unidades de muestreo primario (PSU), a menudo solo una o dos, por cada estrato disjunto.

• Ventaja del diseño: Permite que el estimador de Horvitz-Thompson para la media o el total poblacional sea insesgado y eficiente.
• Desventaja crítica: La estimación de la varianza del estimador bajo este diseño es problemática.
  • Si hay una PSU por estrato, la varianza de diseño no existe matemáticamente (la probabilidad de inclusión conjunta $\pi_{jk} = 0$).
  • Si hay dos o tres PSUs, la varianza estimada tiene una alta variabilidad.
• Práctica actual y sus limitaciones: El método tradicional para superar esto es el colapso de estratos (agrupar estratos adyacentes en "pseudo-estratos" para tener más unidades). Sin embargo, este método introduce un sesgo positivo en la estimación de la varianza, especialmente cuando las medias de los estratos emparejados difieren significativamente. Esto resulta en intervalos de confianza innecesariamente amplios.
• Métodos existentes: Se mencionan enfoques previos como el uso de variables auxiliares (Hansen et al., 1953) o estimadores basados en kernels (Breidt et al., 2016), pero estos últimos aún dependen del colapso de estratos y pueden sufrir de sesgo o problemas de identificación en los bordes.

2. Metodología Propuesta: Estimador Bayesiano con Suavizado Penalizado

Los autores proponen un estimador bayesiano de varianza que evita el colapso de estratos. En su lugar, modelan y suavizan simultáneamente las funciones de media y varianza a través de todos los estratos utilizando splines penalizados (P-splines).

A. Modelo Estadístico

Se asume que los valores observados $y_h$ en el estrato $h$ siguen una distribución normal cuyas media y varianza son funciones suaves de un índice de colapso o covariable $x_h$ (como el tamaño del estrato o ubicación):
$$y_h \sim N(m(x_h), s^2(x_h))$$

Donde:

• $m(x_h)$ es la función de media desconocida.
• $s^2(x_h)$ es la función de varianza desconocida.

B. Especificación de Splines Penalizados

Ambas funciones se modelan mediante splines cúbicos (o polinomios de grado $q$) con nudos (knots) $\kappa_l$:

• Media: $m(x_h; \beta) = \text{polinomio} + \sum \beta_{q+l}(x_h - \kappa_l)_+^q$
• Log-Varianza: Para garantizar positividad, se modela el logaritmo de la varianza: $\log s^2(x_h; \gamma) = \text{polinomio} + \sum \gamma_{q+l}(x_h - \kappa_l)_+^q$

Los coeficientes asociados a los nudos ($\beta_{q+l}, \gamma_{q+l}$) se tratan como efectos aleatorios con distribuciones normales de media cero y varianzas desconocidas ($\tau^2_\beta, \tau^2_\gamma$), lo que actúa como un mecanismo de regularización para evitar el sobreajuste.

C. Inferencia Bayesiana y Pesos de Diseño

El núcleo del método es la construcción de una verosimilitud ponderada que incorpora las probabilidades de inclusión del diseño de muestreo ($\pi_h$):

1. Se utiliza una verosimilitud de potencia (power likelihood) donde los términos de verosimilitud se ponderan por $\tilde{w}_h \propto \pi_h^{-1}$.
2. Se define una distribución posterior conjunta para los parámetros $\Theta = (\beta, \gamma, \tau^2_\beta, \tau^2_\gamma)$.
3. Se utiliza el algoritmo MCMC (Metropolis-within-Gibbs) para obtener muestras de la distribución posterior.
4. El estimador final de la varianza del estimador de Horvitz-Thompson se calcula como la media posterior de la varianza suavizada, ajustada por los pesos de diseño:
   $$\widehat{var}_{Bayes} = \frac{1}{N^2} \sum_{h=1}^H w_h^2 \hat{s}^2(x_h; \gamma)$$

D. Extensión a Múltiples PSUs

El modelo se extiende a casos con múltiples PSUs por estrato ($n_h > 1$) introduciendo una matriz de correlación equicorrelacionada $R_h(\rho)$ para manejar la dependencia intra-estrato, estimando también el parámetro de correlación $\rho$.

3. Contribuciones Clave

1. Eliminación del Colapso de Estratos: A diferencia de los métodos tradicionales y de Breidt et al. (2016), la propuesta no requiere agrupar estratos artificialmente, eliminando el sesgo asociado a la diferencia de medias entre estratos emparejados.
2. Suavizado Simultáneo: Modela conjuntamente la media y la varianza, aprovechando la información de todas las estratos para estabilizar las estimaciones, incluso cuando el tamaño muestral por estrato es uno.
3. Incertidumbre Cuantificada: Al ser un enfoque bayesiano, proporciona no solo un estimador puntual, sino toda la distribución posterior, permitiendo una mejor caracterización de la incertidumbre.
4. Flexibilidad: El marco es adaptable a diseños de una o múltiples PSUs y puede incorporar covariables auxiliares de manera natural.

4. Resultados de las Simulaciones y Aplicación Real

Los autores evaluaron el método mediante estudios de simulación y un análisis con datos reales.

A. Estudios de Simulación

Se comparó el estimador bayesiano ($\widehat{var}_{Bayes}$) contra el estimador de estratos colapsados ($\widehat{var}_{Coll}$) y el estimador basado en kernels ($\widehat{var}_{Ker}$) bajo dos escenarios de población superpuesta:

1. Distribución Normal (Gaussiana): Se probaron diferentes tamaños de estratos ($H=50, 100, 200$) y niveles de ruido.
2. Población HMT (Gamma): Una población generada con distribuciones gamma para simular datos de ingresos o similares.

Hallazgos:

• Menor Sesgo y RMSE: El estimador bayesiano mostró consistentemente un sesgo absoluto (AB) y un error cuadrático medio (RMSE) menores que los métodos competidores, especialmente cuando el número de estratos era grande o el ruido era alto.
• Cobertura de Intervalos: Los intervalos de confianza del 95% generados por el método bayesiano tuvieron tasas de cobertura más cercanas al nivel nominal (95%) en comparación con los otros métodos, que a menudo subestimaban o sobreestimaban la cobertura.
• Robustez: El método funcionó bien tanto en muestreo aleatorio simple como en muestreo sistemático.

B. Aplicación Real: Encuesta Nacional de Crecimiento Familiar (NSFG)

Se aplicó el método a datos de la NSFG (2015-2017) de EE. UU., utilizando variables como edad de embarazo, años de escolaridad y número de hijos.

• Configuración: Se consideraron escenarios de 1 PSU y 2 PSUs por estrato.
• Resultado: Las varianzas estimadas por el método bayesiano fueron significativamente más pequeñas que las de los métodos de colapso y kernels.
• Implicación: Esto resultó en intervalos de confianza más cortos y precisos, sugiriendo que los métodos tradicionales podrían estar inflando innecesariamente la incertidumbre en este tipo de diseños de encuestas complejas.

5. Significado y Conclusiones

El artículo demuestra que es posible estimar la varianza en diseños de estratificación fina sin recurrir a la práctica subóptima de colapsar estratos.

• Impacto Práctico: Ofrece una herramienta robusta para agencias gubernamentales y organismos de estadística que utilizan diseños de muestreo complejos con pocas unidades por estrato, permitiendo inferencias más precisas y eficientes.
• Avance Teórico: Introduce un marco bayesiano flexible que integra la estructura de diseño de muestreo (pesos) directamente en la modelación de la varianza mediante suavizado no paramétrico.
• Futuras Direcciones: Los autores sugieren extender el marco a estimación de varianza multivariada (matriz de covarianza) y explorar medidas de grados de libertad efectivos basadas en la variabilidad posterior para mejorar la construcción de intervalos de confianza.

En resumen, la propuesta transforma un problema de estimación de varianza difícil (con datos escasos por estrato) en un problema de suavizado de funciones, logrando mayor precisión y menor sesgo que las técnicas convencionales.