Toward design-based inference for data integration

Resumen Técnico: Hacia la Inferencia Basada en Diseños para la Integración de Datos

Planteamiento del Problema
La integración de muestras no probabilísticas (por ejemplo, respuestas voluntarias, datos administrativos) en la inferencia para poblaciones finitas es un desafío creciente en las estadísticas oficiales. Los enfoques tradicionales suelen basarse en modelar las probabilidades de selección desconocidas bajo un supuesto de Ausencia de Datos al Azar (MAR), a menudo utilizando ponderación por probabilidad inversa (IPW) o estimadores doblemente robustos (DR). Sin embargo, estos métodos enfrentan tres limitaciones críticas:

1. Supuestos Inverificables: El supuesto MAR y la condición de positividad son difíciles de verificar en la práctica, particularmente cuando la selección depende de variables no observadas o del propio resultado del estudio (No Ausencia de Datos al Azar, o NMAR).
2. Redundancia y Eficiencia: En marcos de muestreo independiente donde las muestras probabilísticas y no probabilísticas se extraen por separado de la misma población, la superposición es inevitable. Esto conduce a observaciones duplicadas y a una reducción en la eficiencia de la estimación.
3. Complejidad de Fusión: La combinación de muestras independientes a menudo requiere un parámetro de ajuste de fusión (por ejemplo, un peso $\alpha$) que rara vez se elige de manera óptima y depende de varianzas estimadas que son difíciles de minimizar en la práctica.

Metodología: Un Marco Secuencial Basado en Diseños
Los autores proponen un marco de muestreo secuencial que trata la muestra no probabilística ($S_{np}$) como un estrato de certeza totalmente observado. La muestra probabilística ($S_p$) se extrae entonces exclusivamente del conjunto complementario de unidades ($U_1 = U \setminus S_{np}$) que no fueron incluidas en la muestra no probabilística.

Este enfoque elimina la necesidad de modelar el mecanismo de selección de $S_{np}$ por completo, ya que sus probabilidades de inclusión son efectivamente 1. Dentro de este marco, se desarrollan dos estimadores de Regresión Generalizada (GREG):

1. Estimador GREG Separado ($\hat{Y}_{sepDI}$): Ajusta el modelo de regresión del resultado por separado dentro del estrato complementario $U_1$.
2. Estimador GREG Combinado ($\hat{Y}_{comDI}$): Agrupa tanto $S_{np}$ como $S_p$ para estimar un único coeficiente de regresión, asumiendo homogeneidad entre estratos.

Para mejorar la eficiencia, la muestra no probabilística sirve como piloto para estimar componentes de varianza. Bajo un modelo de superpoblación de trabajo, estas estimaciones se utilizan para construir probabilidades de inclusión de segunda etapa para $S_p$ que son proporcionales a la desviación estándar condicional del resultado (optimalidad de Isaki–Fuller). Se propone una prueba diagnóstica de homogeneidad de coeficientes para guiar la elección entre los estimadores separado y combinado.

Contribuciones Clave
El artículo hace dos contribuciones teóricas distintas y estratificadas:

1. Robustez de la Inferencia (Consistencia de Diseño):
   Los autores establecen que tanto los estimadores GREG separados como combinados son consistentes de diseño bajo condiciones de regularidad estándar en el diseño de probabilidad de segunda etapa. Crucialmente, esta consistencia se mantiene sin ningún supuesto respecto al mecanismo de selección de la muestra no probabilística. Los estimadores permanecen válidos bajo condiciones tanto MAR como NMAR. Esta robustez es estructural: al tratar $S_{np}$ como un estrato de certeza, las probabilidades de selección desconocidas nunca entran en el estimador, haciendo innecesario el modelado del mecanismo no probabilístico. También se proporcionan estimadores de varianza de inserción (plug-in) consistentes.

2. Optimalidad Asintótica del Diseño:
   Bajo un modelo de superpoblación de trabajo que se cumple en ambos estratos (una condición estrictamente más fuerte que MAR), la muestra piloto no probabilística permite la construcción de probabilidades de inclusión de segunda etapa que logran optimalidad asintótica de Isaki–Fuller para el estimador separado. Los autores enfatizan que, aunque esta optimalidad depende de supuestos de modelo fuertes, el incumplimiento de estos supuestos no invalida los resultados de consistencia de diseño o de estimación de varianza de la primera contribución. Por lo tanto, el diseño basado en piloto ofrece ganancias potenciales de eficiencia sin comprometer la validez de la inferencia.

Resultados
El artículo valida estas contribuciones mediante estudios de simulación extensos y dos aplicaciones con datos reales utilizando estadísticas oficiales de Lituania (volumen de negocios de empresas de servicios y ventas de medicamentos en farmacias).

• Hallazgos de Simulación:

  • Bajo MAR: Tanto los estimadores secuenciales como los competidores estándar ajustados por propensión (IPW, DR) funcionan bien, aunque los estimadores secuenciales logran generalmente un error cuadrático medio (RMSE) más bajo y evitan la redundancia del muestreo independiente.
  • Bajo NMAR: Los estimadores secuenciales permanecen esencialmente sesgados con estimaciones de varianza bien calibradas y una cobertura nominal del 95% en los intervalos de confianza. En marcado contraste, los competidores basados en propensión (IPW, DR y estimadores de fusión) exhiben un sesgo severo (superando el 4.5% de sesgo relativo) cuando el mecanismo de selección depende del resultado.
  • Eficiencia de Diseño: El diseño óptimo estimado (utilizando estimaciones de varianza piloto) supera significativamente a los diseños de probabilidad igual y es vastly superior a los diseños Proporcionales al Tamaño (PPS), que mostraron inestabilidad y un RMSE alto.

• Aplicaciones con Datos Reales:

  • Datos de Volumen de Negocios (Alta Heterogeneidad): En una aplicación donde la muestra piloto administrativa sobre-representó a grandes empresas, se prefirió el estimador de regresión separado. El estimador combinado fue menos eficiente debido a la fuerte heterogeneidad entre los estratos.
  • Datos de Farmacias (Baja Heterogeneidad): En una aplicación donde la muestra voluntaria y el complemento eran similares, el estimador combinado ofreció una ganancia modesta de eficiencia sobre el estimador separado, a pesar de que la prueba estadística rechazó la homogeneidad de coeficientes (un fenómeno común en muestras grandes donde incluso diferencias insignificantes son detectadas).

Significado y Afirmaciones
El artículo afirma que su marco secuencial proporciona una alternativa robusta a los métodos de integración de datos dependientes de modelos. Al desplazar el enfoque desde el modelado de probabilidades de selección desconocidas hacia un enfoque estratificado basado en diseños, el método garantiza una inferencia válida incluso cuando la selección es NMAR.

Los autores posicionan las dos contribuciones como "estratificadas en lugar de acopladas": la validez de la inferencia (consistencia de diseño) está garantizada independientemente del mecanismo de selección, mientras que las ganancias de eficiencia (optimalidad de Isaki–Fuller) son condicionales a un modelo de trabajo. El artículo concluye que el enfoque secuencial elimina la necesidad de supuestos inverificables y parámetros de ajuste, ofreciendo una solución transparente y aplicable para integrar datos no probabilísticos en las estadísticas oficiales, particularmente en escenarios donde la fuente no probabilística es grande y el mecanismo de selección es desconocido o complejo.