📊 statistics

Data integration of non-probability and probability samples with deterministic predictive mean matching

Este artículo propone y valida estimadores de imputación de masa por emparejamiento de medias predictivas deterministas para integrar muestras probabilísticas y no probabilísticas, estableciendo su consistencia teórica y propiedades de varianza tanto bajo especificación como desespecificación del modelo, al tiempo que demuestra su efectividad mediante simulaciones y una aplicación empírica a datos de vacantes de empleo.

Autores originales: Aniela Czerniawska, Piotr Chlebicki, Łukasz Chrostowski, Maciej Beręsewicz

Publicado 2026-07-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aniela Czerniawska, Piotr Chlebicki, Łukasz Chrostowski, Maciej Beręsewicz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de averiguar la altura promedio de cada estudiante en una escuela masiva. La forma más confiable de hacerlo es elegir a unos pocos estudiantes completamente al azar (una "muestra de probabilidad") y medirlos. Debido a que la selección fue aleatoria, puedes garantizar matemáticamente que tu promedio estará cerca de la verdad. Pero, ¿qué pasa si no tienes tiempo o dinero para medir a esos estudiantes aleatorios? En su lugar, tienes una lista enorme de voluntarios que se inscribieron en línea para unirse a un "club de gente alta" (una "muestra de no probabilidad"). Esta lista es enorme, pero está sesgada: está llena de jugadores de baloncesto y modelos, por lo que el promedio de altura aquí es demasiado alto. No puedes simplemente usar esta lista, porque el promedio de la escuela será erróneo.

Este es un rompecabezas clásico en el mundo de la estadística, un campo dedicado a dar sentido a los datos. El desafío es la "integración de datos": ¿cómo mezclas una lista pequeña y perfectamente justa con una lista enorme, desordenada y sesgada para obtener una respuesta perfecta? Usualmente, los estadísticos intentan adivinar las "reglas" que conectan a los dos grupos (como cómo la altura se relaciona con la edad o el género) y usan esas reglas para corregir la lista sesgada. Pero, ¿qué pasa si esas reglas son ligeramente incorrectas? ¿O si los datos son tan complicados que las reglas fallan? Aquí es donde entra el artículo de Czerniawska y su equipo. Ellos están abordando el problema de cómo combinar estos dos tipos de listas de datos tan diferentes para obtener una respuesta confiable, incluso cuando las matemáticas se vuelven complicadas.

Los autores proponen una nueva y astuta forma de realizar esta mezcla llamada "Emparejamiento de la Media Predictiva" (PMM, por sus siglas en inglés). Piensa en esto como un juego de alta tecnología de "Encuentra a tu gemelo". Imagina que tienes un estudiante de tu lista aleatoria justa (llamémoslo Alex) cuya altura aún no conoces, pero sí sabes su edad y su grado. Buscas en la enorme y sesgada lista en línea a un estudiante que se parezca mucho a Alex basándote en esos detalles. Una vez que encuentras a ese "gemelo", tomas prestada su altura y se la das a Alex. Al hacer esto para cada estudiante en la lista aleatoria, creas una imagen completa y precisa de toda la escuela.

El artículo explora dos formas específicas de jugar este juego de "Encuentra a tu gemelo". El primer método, que llaman PMM A, busca gemelos basándose en lo que el computador predice que debería ser la altura. Si el computador piensa que Alex debería medir 170 cm, encuentra a alguien en la lista sesgada que el computador también predice que mide 170 cm. El segundo método, PMM B, es un poco más directo: busca a alguien en la lista sesgada cuya altura real, medida, coincida con lo que el computador predice para Alex.

Los investigadores dedicaron mucho tiempo a demostrar que estos métodos realmente funcionan. Demostraron que si usas suficientes datos, estos métodos eventualmente te darán la respuesta correcta, incluso si las reglas de predicción del computador no son perfectas. Específicamente, demostraron que el método PMM A (el que utiliza valores predichos para encontrar coincidencias) es robusto ante la especificación errónea del modelo bajo ciertas condiciones. Esto es algo importante porque otros métodos populares (como simplemente encontrar al "vecino más cercano" basado en datos brutos) pueden fallar estrepitosamente si los datos se vuelven demasiado complejos o si las reglas de predicción son ligeramente incorrectas. Los autores demostraron que su enfoque de "Emparejamiento de la Media Predictiva" es mucho más robusto; no se rompe tan fácilmente cuando las matemáticas se complican.

También descubrieron cómo medir qué tan "seguros" podemos estar de la respuesta. Cuando tomas prestados datos de una lista sesgada, hay un poco de incertidumbre adicional, como un ligero bamboleo oculto en tu báscula. Los autores desarrollaron una nueva fórmula para calcular este bamboleo y mostraron cómo usar simulaciones por computador (llamadas "bootstrapping") para medirlo con precisión. Probaron sus ideas con miles de escenarios de datos falsos en un laboratorio de computación. En estas simulaciones, sus nuevos métodos funcionaron tan bien como las mejores herramientas existentes cuando las reglas eran perfectas, pero fueron mucho mejores cuando las reglas eran erróneas o los datos eran complicados.

Finalmente, el equipo probó su método con datos del mundo real de Polonia. Querían estimar cuántas vacantes de empleo estaban dirigidas específicamente a trabajadores ucranianos. Combinaron una pequeña encuesta oficial del gobierno (la lista justa) con una base de datos masiva de ofertas de empleo de oficinas públicas de empleo (la lista sesgada). Los resultados mostraron que su método pudo fusionar con éxito estas dos fuentes muy diferentes para dar un estimado claro y confiable, demostrando que su estrategia de "Encuentra a tu gemelo" funciona en el mundo real, no solo en simulaciones por computadora.

En resumen, este artículo proporciona un conjunto de herramientas sólido y confiable para los estadísticos que necesitan mezclar datos justos pero pequeños con datos enormes pero sesgados. Ofrece una forma de obtener respuestas precisas incluso cuando las matemáticas no son perfectas, asegurando que las decisiones basadas en estos datos se construyan sobre una base sólida y no sobre conjeturas inestables.

Resumen Técnico: Integración de Datos de Muestras de No Probabilidad y Probabilidad con Emparejamiento de Media Predictiva Determinista

Planteamiento del Problema
El artículo aborda el desafío de estimar las características de la población integrando datos de muestras de probabilidad (que tienen probabilidades de inclusión conocidas pero a menudo carecen de la variable objetivo $Y$ ) y muestras de no probabilidad (que contienen la variable objetivo $Y$ pero carecen de un mecanismo de muestreo conocido). Mientras que la literatura existente propone métodos de Ponderación de Probabilidad Inversa (IPW), Estimadores de Predicción (PE) y Métodos Doblemente Robustos (DR), este estudio se centra en los estimadores de Imputación Masiva (MI). Específicamente, investiga el Emparejamiento de Media Predictiva (PMM) Determinista como una técnica para imputar valores a las unidades en una muestra de probabilidad utilizando valores observados de una muestra de no probabilidad. Los autores buscan cerrar la brección entre la imputación por regresión paramétrica/no paramétrica y la imputación por Vecino Más Cercano (NN), proporcionando propiedades teóricas rigurosas para contextos de integración de datos que no han sido plenamente explorados en la literatura previa.

Metodología
Los autores proponen y analizan dos algoritmos de PMM determinista semi-paramétricos para emparejar unidades de una muestra de probabilidad ( $S_P$ ) con una muestra de no probabilidad ( $S_{NP}$ ):

PMM A (emparejamiento $\hat{y}-\hat{y}$ ): Las unidades en $S_P$ se emparejan con unidades en $S_{NP}$ basándose en la similitud de sus valores predichos ( $\hat{y}$ ) derivados de un modelo de regresión $E[Y|X] = m(X, \beta)$ . La distancia de emparejamiento es $d(\hat{y}_i, \hat{y}_j)$ .
PMM B (emparejamiento $\hat{y}-y$ ): Las unidades en $S_P$ se emparejan con unidades en $S_{NP}$ basándose en la similitud del valor predicho de la unidad de $S_P$ y el valor observado de la unidad de $S_{NP}$ . La distancia de emparejamiento es $d(\hat{y}_i, y_j)$ .

En ambos enfoques, para cada unidad $i \in S_P$ , se identifican los $k$ vecinos más cercanos en $S_{NP}$ , y el valor imputado es el promedio de los valores $Y$ observados de estos vecinos. El estimador final para la media poblacional es un promedio ponderado de estos valores imputados utilizando pesos de diseño de la muestra de probabilidad.

El análisis teórico se basa en un modelo de superpoblación y una secuencia de poblaciones finitas. Las hipótesis clave incluyen:

Existencia de un estimador consistente $\hat{\beta}$ para los parámetros de regresión.
Desvanecimiento asintótico de los residuos de regresión (A2).
Continuidad de Lipschitz local de la función de regresión (A3).
Una condición de regularidad leve (A4) respecto a la representatividad de la muestra de no probabilidad, que reemplaza la estricta suposición de "positividad" requerida frecuentemente en los métodos NN.
Condiciones específicas para PMM A respecto a la estabilidad de los pesos de los donantes (B3) y la función de influencia de $\hat{\beta}$ (B2).

Contribuciones Clave

Consistencia Teórica: Los autores demuestran la consistencia de ambos estimadores PMM A y PMM B bajo una especificación de modelo correcta. Crucialmente, establecen la consistencia del estimador PMM A ( $\hat{y}-\hat{y}$ ) incluso bajo especificación errónea del modelo, siempre que el modelo de trabajo satisfaga ciertas condiciones de convexidad y compacidad sobre el soporte.
Extensión a Modelos No Paramétricos: El artículo demuestra que la consistencia del estimador PMM B ( $\hat{y}-y$ ) se extiende a técnicas de regresión no paramétricas (por ejemplo, regresión de kernel de Nadaraya–Watson, redes neuronales), siempre que el estimador de la función de regresión converja uniformemente.
Descomposición de la Varianza: Se deriva una novedosa descomposición de la varianza, dividiendo la varianza total en:
- $V_1$ : El componente de varianza basado en el diseño (análogo a la varianza de Horvitz-Thompson de los valores imputados).
- $V_2$ : Un componente de varianza adicional que surge de la aleatoriedad del proceso de imputación (selección de donantes y estimación de la regresión).
Estimación de la Varianza: Los autores proponen:
- Un estimador parcialmente analítico para $V_1$ .
- Un procedimiento de "mini-bootstrap" (Algoritmo 2) para estimar los términos de covarianza requeridos para $V_2$ .
- Un procedimiento de bootstrap completo (Algoritmo 3) que combina ambos componentes.
- Muestran que la expresión analítica propuesta para la varianza de $V_1$ también puede aplicarse al estimador estándar de Vecino Más Cercano (NN), extendiendo resultados previos.
Distinción de NN: El artículo distingue rigurosamente PMM de NN, señalando que son idénticos solo en el caso específico de un modelo lineal con una sola covariable. Se muestra que PMM es menos susceptible a la "maldición de la dimensionalidad" y no requiere la estricta suposición de positividad.

Resultados

Estudios de Simulación: Simulaciones extensas con $N=10^5$ $N = 1 0^{5}$ compararon los estimadores PMM contra los estimadores de Vecino Más Cercano (NN) y de Predicción de Regresión (GLM) bajo Muestreo Aleatorio Simple.
- Modelos Correctamente Especificados: Los estimadores PMM se comportaron de manera similar al GLM. El PMM B ( $\hat{y}-y$ ) generalmente exhibió errores estándar más bajos que el PMM A ( $\hat{y}-\hat{y}$ ).
- Especificación Errónea del Modelo: El PMM A demostró una robustez superior, manteniendo sesgos menores en comparación con NN y GLM cuando el modelo lineal fue mal especificado para un proceso generador de datos no lineal.
- Componentes de Varianza: Se encontró que la contribución del componente $V_2$ (incertidumbre de la imputación) fue no despreciable en muestras finitas, aumentando la varianza total de los estimadores de emparejamiento en aproximadamente un 40–60% en el estudio empírico.
- Tasas de Cobertura: Los estimadores de varianza analíticos y de bootstrap alcanzaron tasas de cobertura nominales del 95%.
Estudio Empírico: Los métodos se aplicaron para integrar una Encuesta de Vacantes de Empleo (muestra de probabilidad) con una Base de Datos de Ofertas de Empleo Central (muestra de no probabilidad) en Polonia para estimar la cuota de vacantes para trabajadores ucranianos.
- Las estimaciones puntuales a través de los métodos (GLM, NN, PMM, IPW, DR) fueron consistentes, situándose alrededor del 22%.
- La inclusión del componente $V_2$ mediante el mini-bootstrap aumentó significativamente los errores estándar, resaltando la importancia de contabilizar la incertidumbre del emparejamiento.
- PMM A y PMM B produjeron resultados indistinguibles en esta aplicación específica.

Significancia y Reivindicaciones
El artículo afirma que el PMM determinista ofrece una alternativa robusta para la integración de datos, particularmente la variante PMM A, que retiene la consistencia bajo la especificación errónea del modelo—una propiedad que no está garantizada para la imputación de regresión estándar o NN en altas dimensiones. Los autores enfatizan que su enfoque riguroso de la descomposición y estimación de la varianza proporciona un marco práctico para la cuantificación de la incertididad en la imputación masiva, abordando un vacío en la literatura existente donde la varianza de los estimadores NN y PMM en contextos de no probabilidad era desconocida o carecía de una descomposición que separara los errores de diseño y de imputación. La disponibilidad de software de código abierto (nonprobsvy package) facilita la aplicación de estos métodos. Los autores se mantienen modestos respecto al "mini-bootstrap" para $V_2$ , caracterizándolo como una corrección heurística para muestras finitas en lugar de un estimador generalmente consistente, y señalan que se necesita más investigación para procedimientos de PMM múltiplemente robustos y la selección óptima del hiperparámetro $k$ .

Más como este