Small area estimation using incomplete auxiliary information

1. Planteamiento del Problema

En la estadística oficial, las encuestas basadas en muestras probabilísticas son la base para estimar parámetros poblacionales. Sin embargo, para dominios pequeños (subgrupos de la población con tamaños de muestra reducidos), los estimadores directos basados en el diseño de muestreo suelen tener varianzas demasiado altas para ser útiles.

Simultáneamente, existen fuentes de datos alternativas (registros administrativos, big data, web scraping) que ofrecen información auxiliar valiosa y estrechamente relacionada con la variable de estudio. No obstante, estas fuentes presentan dos desafíos principales:

1. Incompletitud: No cubren a toda la población.
2. Origen no probabilístico: Su mecanismo de selección es desconocido y a menudo no aleatorio.
3. Error de medición: La variable auxiliar ($y^*$) suele ser una versión ruidosa o con definiciones ligeramente distintas de la variable de estudio ($y$).

Los métodos tradicionales de calibración o estimación asistida por modelos no son directamente aplicables en su forma estándar debido a la naturaleza incompleta y no probabilística de estos datos. Además, muchos enfoques existentes (como la imputación masiva o el ponderamiento por probabilidad inversa) dependen de la suposición de aleatoriedad faltante (MAR), la cual es difícil de verificar en datos no probabilísticos.

2. Metodología Propuesta

Los autores proponen un enfoque de dos pasos que integra datos de una muestra probabilística ($A$) con una fuente no probabilística grande ($B$) que contiene una variable proxy ($y^*$), sin necesidad de modelar el mecanismo de selección de $B$.

Paso 1: Estimación mediante Calibración de Modelos (Model-Calibration)

Este paso genera estimadores aproximadamente no sesgados a nivel de dominio utilizando la superposición entre las muestras $A$ y $B$.

1. Modelo de Error de Medición: Se utiliza la intersección $A \cap B$ para ajustar un "modelo de trabajo" de error de medición que relaciona la variable de estudio $y$ con la proxy $y^*$ y variables auxiliares conocidas $x$:
   $$y_i = g(y^*_i, x_i) + \varepsilon_i, \quad i \in A \cap B$$
   Donde $g(\cdot)$ puede ser lineal, no lineal o no paramétrico (ej. k-NN).
2. Predicción: Se predicen los valores de $y$ para las unidades en $B \setminus A$ utilizando el modelo ajustado.
3. Calibración: Se calculan pesos de calibración ($w_i$) para la muestra $A$ dentro de cada dominio. Estos pesos minimizan la distancia chi-cuadrado respecto a los pesos de diseño originales, bajo restricciones que alinean la muestra probabilística con la estructura de la fuente no probabilística:
   • Ajuste de tamaños poblacionales de las estratos (datos presentes vs. faltantes).
   • Ajuste de la suma total de las predicciones del modelo ($\sum w_i \hat{y}_i = \sum_{B} \hat{y}_i$).
4. Estimador: El estimador del total del dominio es $\hat{t}^{MC}_m = \sum_{i \in A_m} w_i y_i$. Este estimador es aproximadamente no sesgado bajo el diseño de muestreo.
5. Estimación de Varianza: Se utiliza un método de bootstrap basado en el diseño (Rao-Wu-Yue) para estimar la varianza, tratando el modelo de predicción como fijo, lo que garantiza consistencia sin asumir la corrección del modelo de trabajo.

Paso 2: Modelado a Nivel de Área (Fay-Herriot)

Los totales de dominio obtenidos en el Paso 1 y sus varianzas estimadas se utilizan como entrada para un modelo de área nivel (Fay-Herriot, FH).

• Se aplica una transformación logarítmica para estabilizar la varianza (común en datos económicos positivos y sesgados).
• El modelo FH utiliza covariables a nivel de área que son exactamente conocidas (sin error de medición) para "prestar fuerza" (borrow strength) entre dominios.
• Se obtienen los Predictores Lineales Insesgados Mejores Empíricos (EBLUP), que combinan la información directa calibrada con la información de los dominios vecinos.

Comparativa: Modelo Ybarra-Lohr

Como punto de referencia, los autores implementan una variante del modelo FH que incorpora el total de la variable proxy estimada mediante ponderación por probabilidad inversa (IPW) como una covariable con error de medición. Este método requiere la suposición MAR, lo cual sirve como contraste para demostrar la ventaja del enfoque propuesto que no la necesita.

3. Contribuciones Clave

1. Integración sin suposiciones de ignorabilidad: El método permite utilizar datos no probabilísticos incompletos sin asumir que el mecanismo de selección es aleatorio condicional a las covariables (MAR), evitando así un supuesto a menudo inverificable.
2. Flexibilidad del modelo de trabajo: Permite relaciones generales (lineales, no lineales, no paramétricas) entre la variable proxy y la variable de estudio, superando las limitaciones de modelos puramente lineales previos.
3. Marco híbrido: Combina la robustez de la estimación basada en el diseño (calibración) con la eficiencia de los modelos de áreas pequeñas (FH), utilizando la calibración para generar entradas de alta calidad para el modelo FH.
4. Aplicabilidad en estadística oficial: Demuestra la viabilidad de integrar registros administrativos, datos de corte (cut-off) y datos web en la producción de estadísticas oficiales.

4. Resultados Empíricos

El método se probó en tres aplicaciones de la Agencia de Datos del Estado de Lituania:

1. Facturación mensual de empresas:
   • Fuente: Declaraciones de IVA (proxy).
   • Resultado: El enfoque de calibración (MC) redujo drásticamente el número de dominios "poco fiables" (RRMSE > 0.333) de 2.1 a 0.2 por mes. El paso FH añadió una mejora marginal adicional. El método Ybarra-Lohr no logró la misma estabilidad.
2. Inversión anual en activos tangibles:
   • Fuente: Encuesta estructural de negocios (muestra de corte).
   • Desafío: Alta inflación de ceros y tamaño de muestra auxiliar pequeño ($|B|/|A| \approx 1.1$).
   • Resultado: Se utilizó un modelo de dos partes (hurdle). La calibración mejoró significativamente la fiabilidad (de 37 a 53 dominios "buenos"). El método Ybarra-Lohr eliminó los dominios poco fiables restantes pero tuvo un rendimiento general inferior al MC/EBLUP en la distribución central.
3. Vacantes de empleo trimestrales:
   • Fuente: Anuncios de trabajo web (scraping).
   • Resultado: Impacto más fuerte. El estimador directo (Hájek) dejó 10.8 municipios poco fiables. La calibración redujo esto a 3.0, y el EBLUP a 0.5. La mejora fue consistente en todos los trimestres.

Hallazgos transversales:

• La mayor parte de la ganancia en precisión ocurre en el Paso 1 (Calibración). El Paso 2 (FH) ofrece un refinamiento adicional, especialmente en la reducción de la cola superior de la distribución de errores.
• La magnitud de la mejora depende del tamaño relativo de la fuente no probabilística y de la fuerza de la relación entre $y^*$ y $y$.
• El método Ybarra-Lohr (que asume MAR) mostró un rendimiento heterogéneo y generalmente inferior al enfoque propuesto, especialmente en dominios con alta variabilidad.

5. Significancia e Implicaciones

Este trabajo es significativo para la estadística oficial porque ofrece un marco riguroso para aprovechar la creciente disponibilidad de "big data" y registros administrativos, que a menudo son incompletos y no probabilísticos.

• Robustez: Al evitar la suposición MAR, el método proporciona inferencias válidas incluso cuando los datos no probabilísticos tienen sesgos de selección desconocidos.
• Eficiencia: Logra reducir la varianza de los estimadores en dominios pequeños de manera consistente, mejorando la calidad de las estadísticas oficiales sin necesidad de aumentar el costo de las encuestas probabilísticas.
• Flexibilidad: La capacidad de adaptar el modelo de trabajo (lineal, hurdle, k-NN) a la naturaleza de los datos específicos (ej. ceros en inversiones, conteos en vacantes) hace que el enfoque sea ampliamente aplicable.

En conclusión, la propuesta demuestra que la integración de datos no probabilísticos mediante calibración de modelos y predicción a nivel de unidad es un mecanismo superior y más robusto para la estimación de áreas pequeñas en comparación con los enfoques tradicionales que incorporan covariables con error de medición directamente en modelos de área.