📊 statistics

Data integration of non-probability and probability samples with deterministic predictive mean matching

Cet article propose et valide des estimateurs d'imputation par appariement de la moyenne prédictive déterministe pour l'intégration d'échantillons probabilistes et non probabilistes, établissant leur cohérence théorique et leurs propriétés de variance tant sous spécification que sous spécification erronée du modèle, tout en démontrant leur efficacité par des simulations et une application empirique aux données sur les vacances de postes.

Auteurs originaux : Aniela Czerniawska, Piotr Chlebicki, Łukasz Chrostowski, Maciej Beręsewicz

Publié 2026-07-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aniela Czerniawska, Piotr Chlebicki, Łukasz Chrostowski, Maciej Beręsewicz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de déterminer la taille moyenne de chaque élève d'une école immense. La manière la plus fiable de le faire est de choisir quelques élèves de manière totalement aléatoire (un « échantillon probabiliste ») et de mesurer leur taille. Parce que la sélection a été aléatoire, vous pouvez mathématiquement garantir que votre moyenne est proche de la vérité. Mais et si vous n'avez ni le temps ni l'argent pour mesurer ces élèves aléatoires ? Au lieu de cela, vous avez une liste énorme de volontaires qui se sont inscrits en ligne pour rejoindre un « club des gens grands » (un « échantillon non probabiliste »). Cette liste est immense, mais elle est biaisée : elle est remplie de joueurs de basket et de mannequins, donc la taille moyenne ici est bien trop élevée. Vous ne pouvez pas simplement utiliser cette liste, sinon la moyenne de votre école sera fausse.

C'est un casse-tête classique dans le monde de la statistique, un domaine dédié à donner du sens aux données. Le défi est l'« intégration de données » : comment mélanger une petite liste parfaitement équitable avec une liste énorme, désordonnée et biaisée pour obtenir une réponse parfaite ? Habituellement, les statisticiens essaient de deviner les « règles » qui relient les deux groupes (comme le lien entre la taille, l'âge ou le sexe) et utilisent ces règles pour corriger la liste biaisée. Mais et si ces règles étaient légèrement erronées ? Ou si les données étaient si complexes que les règles s'effondraient ? C'est là que l'article de Czerniawska et de son équipe intervient. Ils s'attaquent au problème de la combinaison de ces deux types de listes de données très différents pour obtenir une réponse fiable, même quand les mathématiques deviennent complexes.

Les auteurs proposent une nouvelle façon ingénieuse de réaliser ce mélange appelée « Appariement par la Moyenne Prédictive » (PMM pour Predictive Mean Matching). Voyez cela comme un jeu de « Trouvez votre jumeau » de haute technologie. Imaginez que vous ayez un élève de votre liste aléatoire équitable (appelons-le Alex) dont vous ne connaissez pas encore la taille, mais dont vous connaissez l'âge et le niveau scolaire. Vous cherchez dans la liste immense et biaisée en ligne un élève qui ressemble à Alex sur la base de ces détails. Une fois que vous avez trouvé ce « jumeau », vous empruntez sa taille et la donnez à Alex. En faisant cela pour chaque élève de la liste aléatoire, vous créez un portrait complet et précis de toute l'école.

L'article explore deux manières spécifiques de jouer à ce jeu de « Trouvez votre jumeau ». La première méthode, qu'ils appellent PMM A, cherche des jumeaux sur la base de ce que l'ordinateur prédit que la taille devrait être. Si l'ordinateur pense qu'Alex devrait mesurer 170 cm, il trouve quelqu'un dans la liste biaisée que l'ordinateur prédit également à 170 cm. La seconde méthode, PMM B, est un peu plus directe : elle cherche quelqu'un dans la liste biaisée dont la taille réelle, mesurée, correspond à ce que l'ordinateur prédit pour Alex.

Les chercheurs ont passé beaucoup de temps à prouver que ces méthodes fonctionnent réellement. Ils ont montré que si vous utilisez suffisamment de données, ces méthodes finiront par vous donner la bonne réponse, même si les règles de prédiction de votre ordinateur ne sont pas parfaites. Plus précisément, ils ont prouvé que la méthode PMM A (celle utilisant les valeurs prédites pour trouver des correspondances) est robuste à la spécification incorrecte du modèle sous certaines conditions. C'est une avancée majeure car d'autres méthodes populaires (comme la simple recherche du « plus proche voisin » basée sur les données brutes) peuvent échouer lamentablement si les données deviennent trop complexes ou si les règles de prédiction sont légèrement décalées. Les auteurs ont prouvé que leur approche d'« Appariement par la Moyenne Prédictive » est beaucoup plus robuste ; elle ne se brise pas aussi facilement lorsque les mathématiques deviennent complexes.

Ils ont également cherché comment mesurer à quel point nous pouvons être « sûrs » de la réponse. Lorsque vous empruntez des données à une liste biaisée, il y a une incertitude supplémentaire, comme un léger vacillement caché dans votre balance. Les auteurs ont développé une nouvelle formule pour calculer ce vacillement et ont montré comment utiliser des simulations informatiques (appelées « bootstrapping ») pour le mesurer avec précision. Ils ont testé leurs idées avec des milliers de scénarios de données fictives dans un laboratoire informatique. Dans ces simulations, leurs nouvelles méthodes ont performé aussi bien que les meilleurs outils existants lorsque les règles étaient parfaites, mais elles étaient bien meilleures lorsque les règles étaient erronées ou les données compliquées.

Enfin, l'équipe a testé sa méthode sur des données réelles provenant de Pologne. Ils voulaient estimer le nombre de vacances de postes spécifiquement destinées aux travailleurs ukrainiens. Ils ont combiné une petite enquête officielle du gouvernement (la liste équitable) avec une base de données massive d'offres d'emploi provenant des bureaux publics d'emploi (la liste biaisée). Les résultats ont montré que leur méthode pouvait fusionner avec succès ces deux sources très différentes pour donner une estimation claire et fiable, prouvant que leur stratégie de « Trouvez votre jumeau » fonctionne dans le monde réel, et pas seulement dans les simulations informatiques.

En résumé, cet article fournit une boîte à outils solide et fiable pour les statisticiens qui doivent mélanger des données équitables mais restreintes avec des données massives mais biaisées. Il offre un moyen d'obtenir des réponses précises même lorsque les mathématiques ne sont pas parfaites, garantissant que les décisions basées sur ces données reposent sur un terrain solide plutôt que sur des conjectures fragiles.

Résumé Technique : Intégration de Données d'Échantillons de Non-Probabilité et de Probabilité par Appariement de Moyenne Prédictive Déterministe

Énoncé du Problème
L'article traite du défi que représente l'estimation des caractéristiques de la population en intégrant des données provenant d'échantillons de probabilité (qui possèdent des probabilités d'inclusion connues mais manquent souvent de la variable cible $Y$ ) et d'échantillons de non-probabilité (qui contiennent la variable cible $Y$ mais manquent d'un mécanisme d'échantillonnage connu). Alors que la littérature existante propose des méthodes de Pondération par l'Inverse de la Probabilité (IPW), d'Estimateurs de Prédiction (PE) et de Double Robustesse (DR), cette étude se concentre sur les estimateurs d'Imputation de Masse (MI). Plus précisément, elle étudie l'Appariement de Moyenne Prédictive (PMM) Déterministe comme une technique pour imputer des valeurs pour les unités d'un échantillon de probabilité en utilisant des valeurs observées d'un échantillon de non-probabilité. Les auteurs visent à combler le fossé entre l'imputation par régression paramétrique/non-paramétrique et l'imputation par Voisinage Proche (NN), en fournissant des propriétés théoriques rigoureuses pour les contextes d'intégration de données qui n'ont pas été pleinement explorés dans la littérature antérieure.

Méthodologie
Les auteurs proposent et analysent deux algorithmes de PMM déterministes semi-paramétriques pour l'appariement d'unités d'un échantillon de probabilité ( $S_P$ ) à un échantillon de non-probabilité ( $S_{NP}$ ) :

PMM A (appariement $\hat{y}-\hat{y}$ ) : Les unités de $S_P$ sont appariées à des unités de $S_{NP}$ sur la base de la similitude de leurs valeurs prédites ( $\hat{y}$ ) dérivées d'un modèle de régression $E[Y|X] = m(X, \beta)$ . La distance d'appariement est $d(\hat{y}_i, \hat{y}_j)$ .
PMM B (appariement $\hat{y}-y$ ) : Les unités de $S_P$ sont appariées à des unités de $S_{NP}$ sur la base de la similitude entre la valeur prédite de l'unité de $S_P$ et la valeur observée de l'unité de $S_{NP}$ . La distance d'appariement est $d(\hat{y}_i, y_j)$ .

Dans les deux approches, pour chaque unité $i \in S_P$ , les $k$ plus proches voisins dans $S_{NP}$ sont identifiés, et la valeur imputée est la moyenne des valeurs $Y$ observées de ces voisins. L'estimateur final de la moyenne de la population est une moyenne pondérée de ces valeurs imputées en utilisant les poids de conception de l'échantillon de probabilité.

L'analyse théorique repose sur un modèle de superpopulation et une séquence de populations finies. Les hypothèses clés incluent :

L'existence d'un estimateur cohérent $\hat{\beta}$ pour les paramètres de régression.
La disparition asymptotique des résidus de régression (A2).
La continuité de Lipschitz locale de la fonction de régression (A3).
Une condition de régularité légère (A4) concernant la représentativité de l'échantillon de non-probabilité, remplaçant l'hypothèse stricte de "positivité" souvent requise pour les méthodes NN.
Des conditions spécifiques pour le PMM A concernant la stabilité des poids des donneurs (B3) et la fonction d'influence de $\hat{\beta}$ (B2).

Principales Contributions

Cohérence Théorique : Les auteurs prouvent la cohérence des estimateurs PMM A et PMM B sous une spécification de modèle correcte. Crucialement, ils établissent la cohérence de l'estimateur PMM A ( $\hat{y}-\hat{y}$ ) même sous spécification erronée du modèle, à condition que le modèle de travail satisfasse certaines conditions de convexité et de compacité sur le support.
Extension aux Modèles Non-Paramétriques : L'article démontre que la cohérence de l'estimateur PMM B ( $\hat{y}-y$ ) s'étend aux techniques de régression non-paramétriques (ex: régression à noyau de Nadaraya–Watson, réseaux de neurones), à condition que l'estimateur de la fonction de régression converge uniformément.
Décomposition de la Variance : Une nouvelle décomposition de la variance est dérivée, divisant la variance totale en :
- $V_1$ : La composante de variance basée sur la conception (analogue à la variance de Horvitz-Thompson des valeurs imputées).
- $V_2$ : Une composante de variance supplémentaire découlant de l'aléa du processus d'imputation (sélection des donneurs et estimation de la régression).
Estimation de la Variance : Les auteurs proposent :
- Un estimateur partiellement analytique pour $V_1$ .
- Une procédure de "mini-bootstrap" (Algorithme 2) pour estimer les termes de covariance requis pour $V_2$ .
- Une procédure de bootstrap complète (Algorithme 3) combinant les deux composantes.
- Ils montrent que l'expression analytique proposée pour $V_1$ peut également être appliquée à l'estimateur standard de Voisinage Proche (NN), étendant ainsi les résultats précédents.
Distinction de NN : Le papier distingue rigoureusement le PMM du NN, notant qu'ils ne sont identiques que dans le cas spécifique d'un modèle linéaire avec une seule covariable. Le PMM est montré comme étant moins sensible à la "malédiction de la dimensionnalité" et ne nécessite pas l'hypothèse stricte de positivité.

Résultats

Études de Simulation : Des simulations extensives avec $N=10^5$ $N = 1 0^{5}$ ont comparé les estimateurs PMM aux estimateurs de Voisinage Proche (NN) et de Prédiction par Régression (GLM) sous un échantillonnage aléatoire simple.
- Modèles Correctement Spécifiés : Les estimateurs PMM ont performé de manière similaire au GLM. Le PMM B ( $\hat{y}-y$ ) a généralement présenté des erreurs types plus faibles que le PMM A ( $\hat{y}-\hat{y}$ ).
- Spécification Erronée du Modèle : Le PMM A a démontré une robustesse supérieure, maintenant un biais plus faible par rapport au NN et au GLM lorsque le modèle linéaire était mal spécifié pour un processus générateur de données non linéaire.
- Composantes de Variance : La contribution de la composante $V_2$ (incertitude d'imputation) s'est révélée non négligeable dans les échantillons finis, augmentant la variance totale des estimateurs d'appariement d'environ 40 à 60 % dans l'étude empirique.
- Taux de Couverture : Les estimateurs de variance analytiques et de bootstrap ont atteint des taux de couverture nominaux de 95 %.
Étude Empirique : Les méthodes ont été appliquées pour intégrer une Enquête sur les Postes Vacants (échantillon de probabilité) avec une Base de Données Centrale des Offres d'Emploi (échantillon de non-probabilité) en Pologne afin d'estimer la part des postes vacants pour les travailleurs ukrainiens.
- Les estimations ponctuelles à travers les méthodes (GLM, NN, PMM, IPW, DR) étaient cohérentes, gravitant autour de 22 %.
- L'inclusion de la composante $V_2$ via le mini-bootstrap a significativement augmenté les erreurs types, soulignant l'importance de prendre en compte l'incertitude de l'appariement.
- Le PMM A et le PMM B ont produit des résultats indiscernables dans cette application spécifique.

Signification et Revendications
L'article affirme que le PMM déterministe offre une alternative robuste pour l'intégration de données, particulièrement la variante PMM A qui conserve la cohérence sous spécification erronée du modèle — une propriété qui n'est pas garantie pour l'imputation par régression standard ou le NN en haute dimension. Les auteurs soulignent que leur approche rigoureuse de la décomposition et de l'estimation de la variance fournit un cadre pratique pour la quantification de l'incertitude dans l'imputation de masse, comblant un vide dans la littérature existante où la variance des estimateurs NN et PMM dans les contextes de non-probabilité était soit inconnue, soit manquait d'une décomposition séparant les erreurs de conception et d'imputation. La disponibilité de logiciels en open-source (package nonprobsvy) facilite l'application de ces méthodes. Les auteurs restent modestes concernant le "mini-bootstrap" pour $V_2$ , le caractérisant comme une correction heuristique pour échantillons finis plutôt que comme un estimateur généralement cohérent, et notent que des recherches supplémentaires sont nécessaires pour les procédures PMM multi-robustes et la sélection optimale de l'hyperparamètre $k$ .

Articles similaires