📊 statistics

Toward design-based inference for data integration

Ce papier propose un cadre fondé sur la conception pour intégrer des échantillons non probabilistes et probabilistes en traitant les premiers comme une strate de certitude, permettant ainsi le développement d'estimateurs de régression cohérents qui restent non biaisés sans reposer sur des hypothèses de données manquantes au hasard non vérifiables.

Auteurs originaux : Andrius Čiginas, Ieva Burakauskaitė, Jae Kwang Kim

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andrius Čiginas, Ieva Burakauskaitė, Jae Kwang Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de dénombrer le nombre total de pommes dans un immense verger pour en faire rapport au conseil municipal. Vous avez deux façons d'obtenir ces données :

Le tas de « Bénévoles » : Un groupe de personnes qui adorent les pommes a déjà ramassé un énorme tas de pommes dans le verger et les a apportées à la porte. Vous savez exactement combien de pommes se trouvent dans ce tas car elles les ont comptées. Cependant, vous ne savez pas quels arbres elles ont choisis. Peut-être n'ont-elles ramassé que sur les grands arbres, faciles d'accès, ou peut-être n'ont-elles pris que les plus rouges. Vous ne pouvez pas être certain que leur tas représente l'ensemble du verger.
L'enquête « Officielle » : Vous avez un plan strict et scientifique pour parcourir le verger, cueillir des pommes sur des arbres spécifiques en utilisant une méthode aléatoire, et les compter. C'est la référence absolue en matière de précision, mais c'est coûteux et lent.

Le Problème :
Traditionnellement, les statisticiens tentent de mélanger ces deux tas. Ils supposent que le tas de « Bénévoles » est une représentation équitable de l'ensemble du verger (une grande hypothèse appelée « Manquant au hasard »). Si cette hypothèse est erronée — par exemple, si les bénévoles n'ont cueilli que des pommes rouges —, le dénombrement final sera faux, et aucune quantité de mathématiques ne pourra le corriger.

La Solution de l'Article : Une Stratégie en « Deux Étapes »
Les auteurs de cet article proposent une méthode ingénieuse et étape par étape pour combiner ces deux sources sans faire de suppositions risquées sur les habitudes des bénévoles.

Étape 1 : La Zone de « Certitude »

D'abord, vous traitez le tas de « Bénévoles » comme une zone achevée. Vous dites : « D'accord, nous avons compté chaque pomme de ce groupe spécifique. Nous n'avons pas besoin de deviner quoi que ce soit à leur sujet ; nous les acceptons simplement comme un fait établi. »

Étape 2 : L'Enquête « Complémentaire »

Ensuite, vous envoyez votre équipe d'enquête officielle, mais avec une règle stricte : Elle a l'interdiction de regarder les arbres qui se trouvent déjà dans le tas des Bénévoles. Elle ne sonde que les arbres restants que les bénévoles ont manqués.

Parce que l'équipe d'enquête ne regarde que les arbres « restants », et qu'elle utilise une méthode aléatoire stricte, ses données sont parfaitement fiables. Vous avez maintenant deux groupes distincts et non chevauchants :

Groupe A : Le tas de bénévoles connu et entièrement dénombré.
Groupe B : Le reste du verger échantillonné scientifiquement.

Les Deux Façons de Combiner les Données

Une fois que vous avez ces deux groupes, l'article suggère deux façons de calculer le total :

La Méthode « Séparée » : Vous calculez la taille moyenne des pommes pour les bénévoles et la moyenne pour l'équipe d'enquête séparément, puis vous les additionnez. C'est la méthode la plus sûre. Elle fonctionne même si les bénévoles étaient biaisés (par exemple, s'ils n'ont cueilli que des pommes rouges) car vous n'essayez pas de forcer leurs données à ressembler aux données de l'enquête.
La Méthode « Combinée » : Vous supposez que les bénévoles et l'équipe d'enquête sont fondamentalement le même type de personnes et vous mélangez leurs données pour obtenir une moyenne unique. C'est plus efficace (donne une estimation plus précise) uniquement si les deux groupes sont réellement similaires.

L'Astuce du « Pilote » (Rendre l'Enquête Plus Intelligente)

Voici la partie ingénieuse : Parce que vous avez déjà l'énorme tas de « Bénévoles », vous pouvez l'utiliser comme une étude pilote pour aider votre équipe d'enquête à travailler plus intelligemment.

Avant que l'équipe d'enquête ne parte, vous examinez le tas de bénévoles pour voir à quel point la taille des pommes varie. Si vous constatez que les grands arbres ont des tailles de pommes très variables, vous pouvez dire à votre équipe d'enquête : « Hé, allez vérifier plus d'arbres qui ressemblent à ces grands arbres. » Cela vous aide à concevoir une meilleure enquête qui obtient la réponse la plus précise avec le moins de travail possible. Cela s'appelle un échantillonnage optimal.

Pourquoi Cela Compte (Les Résultats)

Les auteurs ont testé cette idée avec des simulations informatiques et des données réelles provenant des statistiques gouvernementales lituaniennes (dénombrement des ventes d'entreprises et des ventes de médicaments en pharmacie).

C'est Robuste : Même lorsque le tas de « Bénévoles » était fortement biaisé (ne choisissant que des types spécifiques de pommes), la nouvelle méthode est restée précise. Les anciennes méthodes qui tentaient de « corriger » le biais mathématiquement ont échoué lamentablement dans ces cas.
C'est Efficace : Lorsque les deux groupes étaient similaires, les mélanger donnait une réponse légèrement meilleure. Lorsqu'ils étaient très différents, les garder séparés était plus sûr.
Pas d'Hypothèses Magiques : La méthode ne vous oblige pas à croire que les bénévoles ont cueilli des pommes au hasard. Elle les traite simplement comme un bloc de données connu et effectue les calculs mathématiques difficiles sur le reste.

L'Essentiel

Considérez cet article comme un nouveau code de règles pour mélanger des « données désordonnées et non vérifiées » avec des « données propres et scientifiques ». Au lieu d'essayer de forcer les données désordonnées à s'adapter à un modèle parfait (ce qui échoue souvent), il isole les données désordonnées comme un bloc connu, les utilise pour aider à concevoir une meilleure enquête pour le reste du monde, puis combine les résultats d'une manière mathématiquement garantie comme étant précise, peu importe à quel point les données désordonnées étaient étranges.

Résumé technique : Vers une inférence basée sur le plan d'échantillonnage pour l'intégration de données

Énoncé du problème
L'intégration d'échantillons non probabilistes (par exemple, réponses volontaires, données administratives) dans l'inférence sur une population finie constitue un défi croissant en statistiques officielles. Les approches traditionnelles reposent généralement sur la modélisation de probabilités de sélection inconnues sous une hypothèse de données manquantes au hasard (MAR), utilisant souvent un pondération par l'inverse de la probabilité (IPW) ou des estimateurs doublement robustes (DR). Cependant, ces méthodes font face à trois limitations critiques :

Hypothèses invérifiables : L'hypothèse MAR et la condition de positivité sont difficiles à vérifier en pratique, en particulier lorsque la sélection dépend de variables non observées ou du résultat de l'étude elle-même (non-missing-at-random, ou NMAR).
Redondance et efficacité : Dans les cadres d'échantillonnage indépendant où des échantillons probabilistes et non probabilistes sont tirés séparément de la même population, le chevauchement est inévitable. Cela conduit à des observations dupliquées et à une réduction de l'efficacité de l'estimation.
Complexité de la fusion : La combinaison d'échantillons indépendants nécessite souvent un paramètre de réglage de fusion (par exemple, un poids $\alpha$ ) qui est rarement choisi de manière optimale et dépend de variances estimées difficiles à minimiser en pratique.

Méthodologie : Un cadre séquentiel basé sur le plan d'échantillonnage
Les auteurs proposent un cadre d'échantillonnage séquentiel qui traite l'échantillon non probabiliste ( $S_{np}$ ) comme une strate de certitude entièrement observée. L'échantillon probabiliste ( $S_p$ ) est ensuite tiré exclusivement de l'ensemble complémentaire d'unités ( $U_1 = U \setminus S_{np}$ ) qui n'ont pas été incluses dans l'échantillon non probabiliste.

Cette approche élimine le besoin de modéliser le mécanisme de sélection de $S_{np}$ dans son intégralité, car ses probabilités d'inclusion sont effectivement égales à 1. Dans ce cadre, deux estimateurs de régression généralisée (GREG) sont développés :

Estimateur GREG séparé ( $\hat{Y}_{sepDI}$ ) : Ajuste le modèle de régression du résultat séparément au sein de la strate complémentaire $U_1$ .
Estimateur GREG combiné ( $\hat{Y}_{comDI}$ ) : Regroupe $S_{np}$ et $S_p$ pour estimer un seul coefficient de régression, en supposant l'homogénéité entre les strates.

Pour améliorer l'efficacité, l'échantillon non probabiliste sert de pilote pour estimer les composantes de variance. Sous un modèle de superpopulation de travail, ces estimations sont utilisées pour construire des probabilités d'inclusion de deuxième étage pour $S_p$ proportionnelles à l'écart-type conditionnel du résultat (optimalité Isaki–Fuller). Un test diagnostique d'homogénéité des coefficients est proposé pour guider le choix entre les estimateurs séparé et combiné.

Contributions clés
L'article apporte deux contributions théoriques distinctes et imbriquées :

Robustesse de l'inférence (cohérence de conception) :
Les auteurs établissent que les estimateurs GREG séparé et combiné sont cohérents par rapport au plan d'échantillonnage sous des conditions de régularité standard sur le plan de probabilité de deuxième étage. Crucialement, cette cohérence vaut sans aucune hypothèse concernant le mécanisme de sélection de l'échantillon non probabiliste. Les estimateurs restent valables sous les conditions MAR et NMAR. Cette robustesse est structurelle : en traitant $S_{np}$ comme une strate de certitude, les probabilités de sélection inconnues n'entrent jamais dans l'estimateur, rendant la modélisation du mécanisme non probabiliste inutile. Des estimateurs de variance par plug-in cohérents sont également fournis.
Optimalité asymptotique du plan d'échantillonnage :
Sous un modèle de superpopulation de travail qui vaut dans les deux strates (une condition strictement plus forte que MAR), l'échantillon pilote non probabiliste permet de construire des probabilités d'inclusion de deuxième étage qui atteignent l'optimalité asymptotique Isaki–Fuller pour l'estimateur séparé. Les auteurs soulignent que, bien que cette optimalité repose sur des hypothèses de modèle fortes, l'échec de ces hypothèses n'invalide ni la cohérence par rapport au plan d'échantillonnage ni les résultats d'estimation de variance de la première contribution. Ainsi, le plan basé sur un pilote offre des gains d'efficacité potentiels sans compromettre la validité de l'inférence.

Résultats
L'article valide ces contributions grâce à des études de simulation extensives et deux applications sur des données réelles utilisant les statistiques officielles lituaniennes (chiffre d'affaires des entreprises de services et ventes de médicaments en pharmacie).

Constats de la simulation :
- Sous MAR : Les estimateurs séquentiels et les concurrents standards ajustés par propension (IPW, DR) fonctionnent bien, bien que les estimateurs séquentiels atteignent généralement une erreur quadratique moyenne (RMSE) plus faible et évitent la redondance de l'échantillonnage indépendant.
- Sous NMAR : Les estimateurs séquentiels restent essentiellement sans biais avec des estimations de variance bien calibrées et une couverture nominale de l'intervalle de confiance à 95 %. En contraste frappant, les concurrents basés sur la propension (IPW, DR et estimateurs de fusion) présentent un biais sévère (dépassant 4,5 % de biais relatif) lorsque le mécanisme de sélection dépend du résultat.
- Efficacité du plan : Le plan optimal estimé (utilisant les estimations de variance du pilote) surpasse nettement les plans à probabilité égale et est largement supérieur aux plans proportionnels à la taille (PPS), qui ont montré une instabilité et un RMSE élevé.
Applications sur données réelles :
- Données de chiffre d'affaires (Hétérogénéité élevée) : Dans une application où l'échantillon pilote administratif sur-représentait les grandes entreprises, l'estimateur de régression séparé a été préféré. L'estimateur combiné était moins efficace en raison d'une forte hétérogénéité entre les strates.
- Données de pharmacie (Faible hétérogénéité) : Dans une application où l'échantillon volontaire et le complément étaient similaires, l'estimateur combiné a offert un gain d'efficacité modeste par rapport à l'estimateur séparé, malgré le rejet statistique de l'homogénéité des coefficients (un phénomène courant dans les grands échantillons où même des différences négligeables sont détectées).

Signification et affirmations
L'article affirme que son cadre séquentiel fournit une alternative robuste aux méthodes d'intégration de données dépendantes de modèles. En déplaçant l'accent de la modélisation des probabilités de sélection inconnues vers une approche stratifiée basée sur le plan d'échantillonnage, la méthode garantit une inférence valide même lorsque la sélection est NMAR.

Les auteurs positionnent les deux contributions comme « imbriquées plutôt que couplées » : la validité de l'inférence (cohérence de conception) est garantie indépendamment du mécanisme de sélection, tandis que les gains d'efficacité (optimalité Isaki–Fuller) sont conditionnels à un modèle de travail. L'article conclut que l'approche séquentielle élimine le besoin d'hypothèses invérifiables et de paramètres de réglage, offrant une solution transparente et implémentable pour intégrer des données non probabilistes dans les statistiques officielles, en particulier dans les scénarios où la source non probabiliste est importante et où le mécanisme de sélection est inconnu ou complexe.