📊 statistics

Small area estimation using incomplete auxiliary information

Cet article propose une approche en deux étapes pour l'estimation sur petites zones qui intègre des informations auxiliaires incomplètes et non probabilistes via un étalonnage de modèle et un modèle de Fay-Herriot, permettant d'obtenir des totaux de domaine plus précis sans modéliser le mécanisme de sélection de l'échantillon non probabiliste.

Auteurs originaux : Donatas Šlevinskas, Ieva Burakauskaitė, Andrius Čiginas

Publié 2026-02-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Donatas Šlevinskas, Ieva Burakauskaitė, Andrius Čiginas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef cuisinier chargé de préparer un grand banquet pour plusieurs régions différentes (nos "petites zones"). Votre objectif est de connaître exactement la quantité totale d'ingrédients nécessaires pour chaque région.

Le problème ? Vous avez une recette officielle (un échantillon probabiliste) qui est très fiable, mais vous n'avez pas assez de temps ni d'ingrédients pour cuisiner pour tout le monde. Pour certaines petites régions, votre échantillon est si petit que vos estimations directes sont comme des paris hasardeux : très incertaines.

Heureusement, vous avez accès à une seconde source de données (comme des registres administratifs ou des données web) qui contient des informations sur presque tout le monde. Mais attention : ces données sont incomplètes (elles ne couvrent pas tout le monde) et imparfaites (elles ne mesurent pas exactement la même chose que votre recette officielle). C'est comme si quelqu'un vous donnait une photo floue de l'ingrédient au lieu de l'ingrédient lui-même.

Voici comment les auteurs de cet article, Donatas Šlevinskas et ses collègues, proposent de résoudre ce casse-tête avec une méthode en deux étapes, expliquée simplement :

Étape 1 : Le "Jumeau Numérique" et la Calibration (L'art de l'ajustement)

Au lieu d'ignorer les données imparfaites, ils les utilisent intelligemment.

La Rencontre (Le chevauchement) : Ils regardent les personnes qui apparaissent à la fois dans leur recette officielle (fiable) et dans la source imparfaite (le "proxy"). C'est leur zone de rencontre.
L'Entraînement (Le modèle d'erreur) : Sur cette zone de rencontre, ils apprennent à traduire la "photo floue" en "vraie image". Ils créent un modèle mathématique qui dit : "Ah, quand la photo floue montre 10 kg, la vraie recette indique en réalité 12 kg."
La Prédiction : Ils appliquent cette règle à toute la population de la source imparfaite pour deviner ce que seraient les vraies valeurs pour les gens qui n'étaient pas dans l'échantillon officiel.
La Calibration (L'ajustement des poids) : Maintenant, ils reprennent leur échantillon officiel. Au lieu de simplement compter les personnes, ils ajustent le "poids" de chaque personne dans leur calcul. Ils disent : "Cette personne représente plus de monde parce que nos prédictions basées sur la source imparfaite nous disent qu'il y a plus d'activité ici."

L'analogie : Imaginez que vous essayez de deviner le poids moyen d'une équipe de basket. Vous ne pouvez peser que 3 joueurs (votre échantillon officiel), ce qui est risqué. Mais vous avez une liste de tous les joueurs avec leur taille (la source imparfaite). Vous remarquez que sur les 3 joueurs que vous avez pesés, leur taille correspond bien à leur poids. Vous utilisez cette relation pour estimer le poids des autres joueurs sur la liste, puis vous ajustez votre moyenne finale pour qu'elle reflète la réalité de toute l'équipe, pas seulement des 3 que vous avez pesés.

Étape 2 : Le Lissage (La magie des moyennes intelligentes)

Une fois qu'ils ont obtenu de meilleures estimations pour chaque région grâce à l'étape 1, ils font une dernière passe.

Ils utilisent un modèle statistique (appelé modèle de Fay-Herriot) qui agit comme un filtre de lissage. Si une petite région a une estimation un peu bizarre (trop haute ou trop basse) à cause d'un petit échantillon, ce modèle dit : "Attends, les régions voisines ont des valeurs similaires. Ta valeur est probablement un peu exagérée par le hasard. Prenons une moyenne pondérée entre ta valeur et celle de tes voisins."

Cela permet de "prêter de la force" aux petites régions en s'aidant des grandes régions bien connues.

Pourquoi c'est génial ? (Les résultats)

Les auteurs ont testé cette méthode sur trois cas réels en Lituanie :

Le chiffre d'affaires des entreprises (en utilisant les déclarations de TVA).
Les investissements (en utilisant une autre enquête incomplète).
Les offres d'emploi (en utilisant des données "grillées" sur internet).

Le résultat ?

Avant : Beaucoup de petites régions avaient des estimations "non fiables" (comme des paris perdants).
Après : Le nombre de régions "non fiables" a chuté drastiquement. La précision a augmenté, surtout pour les zones les plus difficiles.
Le secret : Cette méthode fonctionne sans avoir besoin de deviner pourquoi la source imparfaite est incomplète (ce qu'on appelle l'hypothèse "aléatoire manquante"). Elle contourne le problème en utilisant la relation entre les deux sources plutôt que de tenter de comprendre le mécanisme de sélection de la source imparfaite.

En résumé

C'est comme si vous aviez une boussole un peu défectueuse (la source imparfaite) et une carte très précise mais incomplète (l'échantillon officiel). Au lieu de jeter la boussole, vous l'utilisez pour corriger votre carte, puis vous lissez les détails pour obtenir une image parfaite de tout le territoire.

Cette approche permet aux statisticiens officiels de donner des chiffres précis même pour les tout petits villages ou les secteurs d'activité rares, en utilisant intelligemment les données massives et imparfaites dont nous disposons aujourd'hui.

1. Problématique et Contexte

L'estimation dans les petites zones (Small Area Estimation - SAE) repose traditionnellement sur des enquêtes par sondage probabiliste. Cependant, pour les domaines de petite taille, les estimateurs directs basés sur le plan de sondage souffrent souvent de grandes variances en raison de la petitesse des échantillons.

Parallèlement, de nouvelles sources de données (registres administratifs, big data, web scraping) deviennent disponibles. Ces sources présentent deux caractéristiques majeures :

Elles sont incomplètes : Elles ne couvrent pas toute la population.
Elles sont de nature non probabiliste : Le mécanisme de sélection des unités est inconnu ou non aléatoire.
Elles contiennent des variables de substitution (proxies) : Les données disponibles ( $y^*$ ) sont liées à la variable d'étude ( $y$ ) mais peuvent être bruitées, définies différemment ou sujettes à des erreurs de mesure.

Le défi central est d'intégrer ces informations auxiliaires incomplètes et non probabilistes pour améliorer la précision des estimations de totaux par domaine, sans faire d'hypothèses fortes (comme l'hypothèse d'absence de données manquantes au hasard - MAR) sur le mécanisme de sélection de la source non probabiliste.

2. Méthodologie Proposée

Les auteurs proposent une approche en deux étapes combinant l'estimation basée sur le modèle (model calibration) et les modèles de niveau de zone (area-level models).

Étape 1 : Estimation par Calibration de Modèle (Model Calibration - MC)

Cette étape vise à produire des estimateurs de totaux de domaine approximativement sans biais par rapport au plan de sondage, en intégrant la source non probabiliste.

Modélisation de l'erreur de mesure : Sur l'intersection ( $A \cap B$ ) entre l'enquête probabiliste ( $A$ ) et la source non probabiliste ( $B$ ), un modèle de travail d'erreur de mesure est ajusté pour relier la variable d'étude $y$ à la variable proxy $y^*$ et aux variables auxiliaires connues $x$ :
$y_i = g(y^*_i, x_i) + \varepsilon_i$
Le modèle $g(\cdot)$ peut être linéaire, non linéaire ou non paramétrique (ex: k-plus proches voisins).
Prédiction : Ce modèle est utilisé pour prédire les valeurs de $y$ pour les unités de la source non probabiliste ( $B \setminus A$ ).
Calibration : Des poids de calibration sont calculés pour les unités de l'échantillon probabiliste ( $A$ $A$ ) afin de satisfaire des contraintes spécifiques au domaine :
1. Aligner les tailles des strates (données manquantes vs données "big data") dans chaque domaine.
2. Aligner le total des prédictions du modèle ( $\hat{y}$ ) sur le total observé dans la source non probabiliste pour le domaine.
Estimateur : L'estimateur de total de domaine $\hat{t}^{MC}_m$ est obtenu en appliquant ces nouveaux poids aux observations $y$ de l'enquête.
Estimation de la variance : Une méthode de rééchantillonnage (Bootstrap de Rao-Wu-Yue) est utilisée pour estimer la variance de manière robuste, sans dépendre de la validité du modèle de travail pour l'inférence de conception.

Étape 2 : Modélisation de Niveau de Zone (Fay-Herriot)

Les totaux estimés à l'étape 1 et leurs variances servent d'entrées pour un modèle de niveau de zone.

Transformation : Une transformation logarithmique est appliquée pour stabiliser les variances (souvent hétéroscédastiques dans les données économiques).
Modèle Fay-Herriot (FH) : Un modèle mixte est ajusté :
$\log(\hat{t}^{MC}_m) = z_m^\top \beta + u_m + e_m$
où $z_m$ sont des covariables de niveau de domaine parfaitement connues (issues de registres complets), $u_m$ sont des effets aléatoires de domaine, et $e_m$ sont les erreurs d'échantillonnage.
Prédiction : Le prédicteur EBLUP (Empirical Best Linear Unbiased Predictor) est calculé pour obtenir des totaux de domaine lissés, en empruntant de la force (borrowing strength) aux domaines voisins via les covariables connues.

Comparaison avec l'approche de référence (Ybarra-Lohr)

Les auteurs comparent leur méthode à une extension du modèle FH (Ybarra & Lohr, 2008) qui intègre directement le total estimé de la variable proxy comme une covariable erronée. Cette approche de référence repose sur l'hypothèse MAR pour corriger le biais, ce que la méthode proposée évite.

3. Contributions Clés

Intégration sans hypothèse MAR : La méthode permet d'utiliser des données non probabilistes incomplètes sans avoir à modéliser le mécanisme de sélection (ignorabilité), contrairement aux méthodes d'imputation ou de pondération par probabilité inverse (IPW) classiques.
Flexibilité du modèle de liaison : L'approche permet d'utiliser des relations complexes (linéaires, à deux parties, non paramétriques) entre la variable proxy et la variable d'étude, adaptées à la structure des données.
Cadre hybride robuste : La combinaison de la calibration au niveau des unités (pour intégrer le proxy) suivie d'un modèle FH au niveau des zones (pour lisser les résultats avec des covariables exactes) offre une amélioration systématique de la précision.
Validation empirique rigoureuse : L'application à trois cas réels de statistiques officielles lituaniennes démontre la supériorité de la méthode par rapport aux estimateurs directs et à l'approche Ybarra-Lohr.

4. Résultats Empiriques

L'étude a été appliquée à trois enquêtes d'entreprises en Lituanie :

Chiffre d'affaires mensuel (données de TVA comme proxy).
Investissement annuel (données d'une autre enquête structurelle comme proxy).
Offres d'emploi trimestrielles (données de web scraping comme proxy).

Résultats principaux :

Réduction du RRMSE (Relative Root Mean Squared Error) : L'étape de calibration (MC) apporte la majeure partie des gains de précision.
- Pour le chiffre d'affaires, le RRMSE médian a chuté de 0,067 (GREG direct) à 0,029 (MC), soit une réduction d'environ 57 %.
- Pour les offres d'emploi, le RRMSE médian est passé de 0,249 (Hájek direct) à 0,144 (MC), soit une réduction de 42 %.
Amélioration de la fiabilité : Le nombre de domaines classés comme "non fiables" (RRMSE > 0,333) a considérablement diminué, voire été éliminé dans certains cas (ex: 2,1 domaines non fiables par mois pour GREG contre 0,2 pour MC dans le cas du chiffre d'affaires).
Rôle de l'étape FH : L'étape EBLUP apporte un gain supplémentaire, principalement en réduisant encore la queue supérieure de la distribution des erreurs (stabilisation des domaines les plus variables), mais le gain principal vient de la calibration.
Performance de l'approche Ybarra-Lohr : Elle s'est révélée moins performante et moins uniforme. Elle reste proche de l'estimateur direct pour le chiffre d'affaires et les offres d'emploi, et n'a montré des avantages que dans le cas de l'investissement (en éliminant les derniers domaines non fiables), mais sans améliorer la précision médiane autant que la méthode proposée.
Facteurs d'influence : L'efficacité de la méthode dépend de la taille relative de la source non probabiliste ( $|B|/|A|$ ) et de la force de la relation entre $y$ et $y^*$ . Les gains sont plus importants lorsque la source non probabiliste est grande et bien corrélée.

5. Signification et Implications

Cet article propose une solution pratique et robuste pour les statisticiens officiels confrontés à l'explosion des données non probabilistes.

Praticité : La méthode ne nécessite pas de connaître le mécanisme de sélection des données externes, un obstacle majeur dans les applications réelles.
Efficacité : Elle transforme des données bruyantes et incomplètes en estimateurs de haute précision pour les petites zones, là où les enquêtes traditionnelles échouent.
Généralité : Le cadre est adaptable à divers types de modèles de liaison (linéaires, non linéaires) et de sources de données (administratives, coupes, web scraping).

En conclusion, l'approche proposée démontre que l'intégration de données non probabilistes via une prédiction au niveau des unités suivie d'une calibration est une stratégie supérieure pour l'estimation dans les petites zones, surpassant les méthodes traditionnelles qui tentent d'intégrer ces données directement comme covariables erronées dans des modèles de régression.