📊 statistics

Model Assisted Data Integration: An unbiased sampling strategy to use nonprobability data

Cet article propose une stratégie d'échantillonnage appelée MADI qui combine des données non probabilistes avec un échantillon probabiliste pour produire des estimateurs sans biais de conception et à variance réduite, tout en permettant l'utilisation de modèles d'apprentissage automatique arbitraires.

Auteurs originaux : Martin Hyllienmark, Gustaf Strandell

Publié 2026-04-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Martin Hyllienmark, Gustaf Strandell

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Problème : La Recette de Cuisine Incomplète

Imaginez que vous êtes un grand chef statisticien (comme à l'Institut national de la statistique en Suède). Votre travail est de connaître exactement le revenu moyen de tous les Suédois.

Traditionnellement, pour avoir cette information, vous envoyez des enquêteurs interroger un échantillon de personnes choisi au hasard (comme si vous tiriez des noms dans un chapeau). C'est fiable, mais c'est cher, long et les gens n'aiment pas trop répondre aux sondages.

Aujourd'hui, il existe une mine d'or de données gratuites : les relevés bancaires, les factures d'électricité, les données de trafic, etc. C'est ce qu'on appelle les données non probabilistes.

Le hic ? Ces données ne couvrent pas tout le monde. Par exemple, les relevés bancaires numériques sont souvent remplis par les jeunes et les entreprises tech, mais pas par les retraités ou les petites entreprises traditionnelles.
Si vous utilisez seulement ces données, votre "recette" sera faussée (biaisée) : vous penserez que tout le monde gagne beaucoup d'argent, alors que ce n'est pas le cas.

🛠️ La Solution : La Méthode "MADI" (L'Alliance Parfaite)

Les auteurs, Martin et Gustaf, proposent une nouvelle stratégie appelée MADI (Data Integration Assistée par Modèle). Voici comment ça marche, avec une analogie simple :

1. Les Deux Équipes

Imaginez que vous avez deux équipes pour remplir un grand puzzle :

L'Équipe A (Les Données Non Probabilistes) : C'est une énorme équipe qui a déjà rempli 70% du puzzle (les données existantes). Mais attention, ils ont surtout rempli les pièces du centre et du haut. Ils ont laissé des trous énormes sur les bords (les personnes âgées, les petites entreprises, etc.).
L'Équipe B (L'Échantillon Probabiliste) : C'est une petite équipe d'enquêteurs très précise. Leur seul but est d'aller remplir exactement les trous que l'Équipe A a laissés.

2. Le Super-Intelligence Artificielle (Le Modèle)

Avant même d'envoyer l'Équipe B sur le terrain, vous utilisez une intelligence artificielle (un modèle d'apprentissage automatique, comme une forêt aléatoire ou "Random Forest").

Cette IA regarde les 70% du puzzle déjà remplis par l'Équipe A.
Elle apprend des règles : "Ah, quand on voit une personne de 20 ans avec un smartphone, elle gagne probablement X euros."
Elle essaie de prédire ce qui se trouve dans les trous manquants.

3. Le Secret de la Méthode MADI : La Vérification

C'est ici que la magie opère. La plupart des méthodes précédentes faisaient confiance aveuglément à l'IA. Si l'IA se trompait, le résultat final était faux.

La méthode MADI fait quelque chose de très intelligent :

Elle utilise la prédiction de l'IA pour combler les trous.
MAIS, elle envoie l'Équipe B (la petite équipe d'enquêteurs) vérifier quelques-unes de ces prédictions dans les zones manquantes.
Elle compare ce que l'IA a prédit avec la réalité mesurée par l'Équipe B.
Si l'IA s'est trompée, la méthode corrige le tir automatiquement.

L'analogie du GPS :
Imaginez que l'IA est un GPS qui vous dit : "Tournez à gauche, il y a un chemin rapide".

Les anciennes méthodes disaient : "Fais confiance au GPS, c'est tout."
La méthode MADI dit : "Fais confiance au GPS pour la direction, mais envoie un petit drone (l'échantillon) vérifier si le chemin est vraiment libre. Si le drone voit un obstacle, on ajuste la route immédiatement."

🏆 Pourquoi c'est génial ? (Les Résultats)

Grâce à cette méthode, les auteurs ont démontré deux choses incroyables grâce à des simulations réelles :

Moins d'effort, plus de précision : Au lieu d'avoir besoin d'un énorme échantillon d'enquêteurs (l'Équipe B) pour obtenir un résultat précis, ils peuvent utiliser un tout petit groupe. L'IA fait le gros du travail, et le petit groupe sert juste de "contrôle qualité".
- Résultat : On économise beaucoup d'argent et on dérange beaucoup moins les citoyens.
Zéro Biais (Pas de triche) : Même si les données de l'Équipe A sont très faussées (par exemple, si elles ne contiennent que des millionnaires), la méthode MADI reste honnête. Elle ne se contente pas de copier les données ; elle utilise la petite équipe pour corriger les erreurs de l'IA.
- Résultat : Le chiffre final est exact, même si les données de départ étaient imparfaites.

🚀 En Résumé

Ce papier propose de ne plus choisir entre "des données parfaites mais rares" (les sondages classiques) et "des données abondantes mais imparfaites" (les big data).

La méthode MADI, c'est comme faire une alliance entre un géant (les données existantes) et un sage (l'échantillon statistique), guidés par un génie (l'intelligence artificielle). Le géant fournit la matière première, le sage vérifie la réalité, et le génie relie les deux pour créer une image parfaite, rapide et peu coûteuse de la réalité.

C'est une révolution pour les statistiques officielles : on peut enfin utiliser les données du quotidien (banques, internet) sans avoir peur de se tromper, tout en économisant des ressources précieuses.

1. Problématique

L'objectif principal de la statistique d'enquête est de produire des estimations avec un biais minimal et une variance acceptable, tout en minimisant la charge de réponse et les coûts. Ces dernières années, les offices statistiques ont cherché à intégrer massivement des données non probabilistes (NPD) (ex: données de caisse, registres administratifs incomplets, données web) pour atteindre ces objectifs.

Cependant, l'utilisation exclusive ou l'intégration naïve de ces données pose un défi majeur : l'absence de contrôle sur le mécanisme de sélection. Contrairement aux échantillons probabilistes, les NPD ne disposent pas de probabilités d'inclusion connues, ce qui entraîne souvent des biais de sélection importants (sous-couverture ou sur-représentation de certains groupes).

Les méthodes existantes pour combiner NPD et échantillons probabilistes (imputation, calage, double robustesse) reposent souvent sur des hypothèses fortes, telles que le « manquant au hasard » (MAR), qui sont difficiles, voire impossibles, à vérifier en pratique. De plus, les estimateurs traditionnels comme le GREG (Generalized Regression) peuvent devenir instables ou produire des matrices singulières lorsque la taille de l'échantillon probabiliste est petite par rapport au nombre de variables auxiliaires.

2. Méthodologie : La stratégie MADI

Les auteurs proposent une nouvelle stratégie d'échantillonnage et un estimateur appelé MADI (Model Assisted Data Integration). Cette approche s'appuie sur l'estimateur d'intégration de données (DI) de Kim et Tam (2021) mais l'étend pour inclure des modèles d'apprentissage automatique arbitraires tout en garantissant l'absence de biais.

Concepts Clés

Partition de la population ( $U$ ) : La population est divisée en deux sous-ensembles disjoints :
- $A$ : Un sous-ensemble couvert par les données non probabilistes (NPD), où la variable d'étude $y$ est connue pour tous les individus.
- $B$ : Le complément de $A$ dans $U$ (la partie non couverte par les NPD).
Échantillonnage ciblé : Au lieu de tirer un échantillon probabiliste ( $s$ ) de toute la population $U$ , on tire un échantillon probabiliste ( $s_B$ ) uniquement de la sous-population $B$ .
Modélisation : Un modèle $\mu(x, A)$ est entraîné sur les données de $A$ (NPD) en utilisant les variables auxiliaires $x$ et la variable d'étude $y$ . Ce modèle peut être n'importe quel algorithme d'apprentissage automatique (forêt aléatoire, réseaux de neurones, etc.).

L'Estimateur MADI

L'estimateur du total de la population $t_y$ est construit comme suit :

$\hat{t}_{y, MADI} = \sum_{i \in A} y_i + \sum_{i \in B} \mu(x_i, A) + \sum_{i \in s_B} \frac{e_i}{\pi_{iB}}$

Où :

$\sum_{i \in A} y_i$ : Le total observé dans la partie couverte par les NPD.
$\sum_{i \in B} \mu(x_i, A)$ : La prédiction du total pour la partie non couverte ( $B$ ) basée sur le modèle entraîné sur $A$ .
$\sum_{i \in s_B} \frac{e_i}{\pi_{iB}}$ : Une correction de biais basée sur un estimateur de type Horvitz-Thompson appliqué aux résidus ( $e_i = y_i - \mu(x_i, A)$ ) de l'échantillon probabiliste $s_B$ .

Propriétés Théoriques

Non-biaisé (Design-unbiased) : Contrairement aux estimateurs GREG classiques où le modèle est estimé sur l'échantillon (introduisant un biais), ici le modèle est estimé sur les données externes $A$ . La correction par les résidus sur l'échantillon probabiliste garantit que l'estimateur final est non biaisé, quelle que soit la qualité du modèle.
Estimateur de variance non biaisé : Les auteurs proposent une formule de variance basée sur les résidus de l'échantillon probabiliste, permettant une estimation fiable de l'erreur sans dépendre d'hypothèses de linéarité du modèle.
Flexibilité du modèle : La méthode permet d'utiliser des modèles complexes (Machine Learning) sans risque de sur-ajustement (overfitting) biaisant l'estimation, car la validation se fait implicitement via la correction des résidus sur l'échantillon probabiliste.

3. Contributions Clés

Démocratisation du Machine Learning en sondage : MADI permet d'utiliser des modèles non paramétriques complexes (comme les forêts aléatoires) pour réduire la variance, là où les méthodes traditionnelles (GREG) échouent avec de petits échantillons et de nombreuses variables.
Réduction drastique de la taille d'échantillon : En exploitant les données NPD pour modéliser la majorité de la population, la partie probabiliste nécessaire pour corriger les erreurs de modèle est considérablement réduite.
Robustesse face aux biais de sélection : La méthode ne nécessite pas l'hypothèse de « manquant au hasard » (MAR) pour les données NPD. Elle fonctionne même si les données NPD sont fortement biaisées (Missing Not At Random - MNAR), tant que la partie non couverte ( $B$ ) est échantillonnée de manière probabiliste.
Estimateur de variance fiable : Contrairement à d'autres approches hybrides, MADI fournit un estimateur de variance non biaisé et robuste, essentiel pour la production de statistiques officielles.

4. Résultats (Simulations)

Les auteurs ont validé la méthode via deux simulations utilisant des données réelles du registre suédois des revenus et de la fiscalité (2021).

Simulation 1 (Comparaison des performances) :
- Comparaison de MADI avec des estimateurs traditionnels (HT, GREG) et des variantes naïves de forêts aléatoires.
- Résultat : L'estimateur MADI avec Forêt Aléatoire ( $SRS_B-MADI_{RF}$ ) a produit l'erreur quadratique moyenne (RMSE) la plus faible sur toutes les tailles d'échantillon, y compris les très petites tailles ( $n=25$ ).
- Les estimateurs GREG ont échoué ou produit des résultats instables pour les petits échantillons en raison de la singularité des matrices (trop de variables auxiliaires).
- MADI a maintenu un biais proche de zéro, contrairement aux estimateurs « naïfs » utilisant des modèles ML sans correction de résidus.
Simulation 2 (Taille d'échantillon pour une précision donnée) :
- Objectif : Déterminer la taille d'échantillon nécessaire pour atteindre un coefficient de variation (CV) de 1%.
- Résultat : MADI a nécessité des tailles d'échantillon probabiliste substantiellement plus faibles que les méthodes traditionnelles (HT et GREG).
- Dans de nombreux scénarios de biais de sélection (y compris des biais extrêmes), MADI a réduit le besoin d'échantillonnage de plus de 90% par rapport à un sondage traditionnel (HT) et de manière significative par rapport au GREG.
- Même avec des données NPD de petite taille (10% de la population) et un biais de sélection élevé, MADI restait compétitif ou supérieur aux méthodes classiques.

5. Signification et Implications

Cette recherche est cruciale pour les Offices Statistiques Nationaux (NSO) confrontés à la pression de réduire les coûts et la charge de réponse tout en maintenant la qualité des données.

Viabilité opérationnelle : MADI offre une voie pratique pour intégrer des données massives (Big Data) dans la production de statistiques officielles sans sacrifier la rigueur théorique (non-biais).
Économie des ressources : La réduction drastique de la taille des échantillons probabilistes nécessaires permet aux NSO de réallouer les ressources vers la collecte de données de meilleure qualité ou vers d'autres enquêtes.
Adaptabilité : La méthode est conçue pour s'intégrer dans les cycles de production intensifs des agences statistiques, utilisant des modèles ML robustes (comme les forêts aléatoires) qui nécessitent peu de réglage d'hyperparamètres.

En conclusion, la stratégie MADI représente une avancée majeure en combinant la flexibilité de l'apprentissage automatique avec la rigueur de l'inférence par sondage, permettant d'exploiter pleinement le potentiel des données non probabilistes tout en garantissant des estimations fiables et non biaisées.