A Total Statistical Error Framework for Comparing Census Data Collection Methods

Imaginez que vous essayez de prendre un cliché parfait d'une ville en pleine effervescence. Vous voulez savoir exactement qui vit où, combien de personnes il y a dans chaque maison, et où elles dorment habituellement. C'est le travail d'un recensement. Mais la vie est désordonnée. Les gens déménagent, ils oublient de remplir les formulaires, ou ils dorment dans un endroit temporaire comme une résidence universitaire ou un camp de construction. Lorsque les recenseurs ne parviennent pas à trouver une personne ou ne connaissent pas son adresse « habituelle », ils doivent deviner. Ce jeu de devinettes s'appelle l'imputation.

Maintenant, imaginez que vous avez deux façons différentes de faire ces devinettes. Peut-être qu'une méthode utilise une approche de « plus proche voisin » (trouver la personne la plus similaire qui a répondu et copier ses détails), et qu'une autre utilise un cerveau informatique complexe appelé « forêt aléatoire » (random forest) pour prédire la réponse. Comment savoir quel devineur est le meilleur ? Généralement, les statisticiens vérifient deux choses séparément : Ont-ils trouvé la personne ? Et ont-ils deviné la bonne adresse ? Mais et si une méthode trouve plus de personnes mais se trompe sur leurs adresses, tandis qu'une autre trouve moins de personnes mais réussit les adresses ? C'est comme comparer un chef qui cuisine un énorme repas mais en brûle la moitié, par rapport à un chef qui cuisine un petit repas parfaitement. Vous avez besoin d'un moyen de mesurer le repas entier, pas seulement les parties. Cet article construit un nouveau « carnet de notes » pour résoudre exactement ce problème, aidant les responsables à décider quelle méthode de devinette donne l'image la plus précise de la population.

---

Le Grand Duel des Recensements

Dans le monde du comptage des populations, obtenir la bonne adresse est tout aussi important que d'obtenir le bon compte. Si un étudiant est compté dans sa résidence universitaire alors que son adresse « habituelle » est en réalité celle de ses parents, c'est une erreur pour la planification locale. Les auteurs de cet article, Siu-Ming Tam et Anders Holmberg, ont réalisé que les statisticiens n'avaient pas de moyen unique et équitable de comparer les différentes méthodes de devinettes. Ils voulaient un score qui combine « Avons-nous trouvé la personne ? » et « Avons-nous trouvé la bonne adresse ? » en un seul chiffre simple.

Ils ont créé un nouveau cadre appelé le cadre de l'Erreur Statistique Totale (EST). Voyez cela comme un jeu vidéo où chaque personne du pays est un personnage. Pour chaque personnage, vous obtenez un point « Correct » (1) uniquement si deux choses se produisent : le recensement l'a réellement trouvé, et il lui a assigné la bonne adresse de domicile. Si le recensement l'a manqué entièrement, ou s'il l'a trouvé mais l'a placé dans la mauvaise maison, vous obtenez un point « Faux » (0). En additionnant tous ces points, vous obtenez un Taux de Justesse. Ce taux est le juge de paix ultime. Si la Méthode A a un taux de justesse plus élevé que la Méthode B, la Méthode A gagne. Peu importe si la Méthode A a trouvé légèrement moins de personnes ; si elle a trouvé les bonnes personnes aux bons endroits, c'est le meilleur outil.

Les Deux Façons de Noter

L'article explique qu'il existe deux façons de calculer ce score, selon les informations dont vous disposez.

Paradigme I : La Boîte Mystère (Enquête de Validation)
Parfois, vous ne connaissez pas l'adresse « réelle » de tout le monde. Vous n'avez qu'un échantillon. Imaginez que vous avez une boîte géante de données de recensement, mais que vous ne connaissez pas les vraies réponses. Pour vérifier votre travail, vous envoyez une équipe spéciale (une enquête de post-recensement, ou PES) vers un échantillon aléatoire de personnes pour leur demander : « Hé, où vivez-vous vraiment ? » Vous comparez les devinettes du recensement aux réponses de la PES. C'est comme un professeur qui corrige un examen en ne vérifiant que quelques questions au hasard. L'article montre que si les personnes qui ne répondent pas à la PES sont différentes de celles qui répondent (par exemple, si les personnes avec de mauvaises adresses sont plus difficiles à trouver), votre score sera biaisé. C'est comme si le professeur ne notait que les questions faciles parce que les questions difficiles sont trop illisibles. Les auteurs ont découvert que ce « non-réponse dépendante » peut faire paraître une mauvaise méthode comme étant excellente.

Paradigme II : La Clé Maîtresse (Référentiel Direct)
Parfois, vous avez la « vérité » pour tout le monde. Peut-être avez-vous un recensement précédent ou un registre gouvernemental parfait. Dans ce cas, vous n'avez pas besoin de deviner ou d'échantillonner ; vous comparez simplement la nouvelle méthode directement au registre maître. C'est comme avoir le corrigé de tout l'examen. Vous pouvez calculer le taux de justesse exact sans aucune supposition. L'article utilise cette méthode pour leur expérience principale car ils avaient accès à un ensemble de données massif du recensement australien de 2021 où ils connaissaient les vraies réponses pour tout le monde.

La Grande Expérience : Qui Devine le Mieux ?

Pour tester leur nouveau cadre, les auteurs ont mené une simulation massive utilisant des données réelles du recensement australien de 2021. Ils ont pris un groupe de 30 000 personnes et ont fait comme si 2 %, 5 % ou 10 % d'entre elles avaient des données « manquantes » (comme le revenu ou le type d'emploi). Ensuite, ils ont laissé deux différentes machines à deviner remplir les blancs :

1. k-Plus Proches Voisins (kNN) : Cette méthode cherche la personne dans la base de données qui est la plus similaire à celle dont les données manquent et copie ses informations.
2. Forêt Aléatoire (RF) : Il s'agit d'un modèle informatique plus complexe qui construit de nombreux arbres de décision pour prédire l'information manquante.

Ils ont testé ces méthodes dans une condition délicate appelée NMAR (Not Missing At Random - Non Manquant de Manière Aléatoire). Cela signifie que les personnes qui étaient « manquantes » ne l'étaient pas par hasard ; elles l'étaient parce qu'elles avaient des revenus élevés, et les personnes à hauts revenus étaient moins susceptibles de répondre aux questions du recensement. C'est un scénario réaliste qui rend la devinette très difficile.

Le Résultat Choc :
Lorsqu'ils ont examiné la « l'approche globale » (le score total incluant tout le monde), les trois méthodes semblaient presque identiques. Elles atteignaient toutes environ 95 % à 98 %. Pourquoi ? Parce que la plupart des gens n'avaient pas de données manquantes, ils étaient donc comptés correctement automatiquement. Le score global cachait le vrai problème.

Mais lorsqu'ils ont zoomé uniquement sur les personnes qui avaient besoin de devinettes (le « Taux de Justesse Conditionnel »), l'histoire change complètement.

• Le modèle de la Forêt Aléatoire était le grand vainqueur pour deviner les détails individuels. Il surpassait le kNN sur chaque variable testée. Par exemple, il a deviné le secteur d'activité correct 34 % du temps (contre 29 % pour le kNN) et le revenu correct 17 % du temps (contre 12,5 % pour le kNN).
• Cependant, en regardant l'image globale (obtenir les quatre détails manquants correctement en même temps pour la même personne), la méthode des k-Plus Proches Voisins (spécifiquement en utilisant un seul voisin) a en fait légèrement pris l'avantage. Elle a obtenu les quatre détails corrects pour 3,7 % des personnes concernées, contre 3,4 % pour la Forêt Aléatoire.

Pourquoi cette différence ? Parce que la Forêt Aléatoire devine chaque détail séparément. Elle peut obtenir le métier juste pour une personne mais se tromper sur le revenu. La méthode kNN récupère tous les détails du même « voisin », de sorte que les réponses restent cohérentes entre elles. C'était comme obtenir une tenue complète d'un ami plutôt que d'obtenir un haut d'un ami et un pantalon d'un autre ; la tenue complète s'ajuste mieux ensemble. Ainsi, bien que la Forêt Aléatoire soit le meilleur « spécialiste » pour les faits isolés, la méthode kNN, plus simple, était légèrement meilleure pour garder l'histoire cohérente.

Le Piège de l'Enquête Biaisée

La conclusion la plus critique de l'article provient de la simulation du « Paradigme I ». Les auteurs ont simulé un scénario où l'équipe de contrôle (la PES) avait du mal à trouver les personnes dont les données avaient été mal devinées.

• L'approche standard : Si vous regardez seulement les personnes qui ont répondu à la PES, vous pourriez penser que votre méthode de devinette est précise à 97 %.
• La réalité : La véritable précision n'était que d'environ 95 %.
• Le biais : L'approche standard surestimait la qualité d'environ 2,5 points de pourcentage.

Mais voici le plus frappant : lorsqu'ils ont examiné des groupes spécifiques (comme les personnes employées), l'erreur a explosé. Comme le groupe de personnes manquantes était petit (seulement 1,5 % à 6 % du groupe), le petit biais s'est amplifié massivement. L'approche standard affirmait que la précision pour les personnes employées était d'environ 50-60 %, alors que la véritable précision était en fait proche de 0 % ! C'était une surestimation catastrophique.

La Solution :
Les auteurs ont testé un correctif appelé CBB-NR. Cela consiste à ajouter un simple « marqueur » au modèle d'enquête : « Les données de cette personne étaient-elles manquantes et imputées en premier lieu ? »

• Lorsque ce simple marqueur a été ajouté, le biais a chuté de 90 %.
• Étonnamment, ajouter les valeurs réellement devinées (les suppositions de revenu ou d'emploi) n'a pas beaucoup aidé. Le simple marqueur « Oui/Non » indiquant « Cette personne est une supposition » était l'ingrédient magique.

Pourquoi Cela Importe

Cet article donne aux statisticiens une nouvelle règle de mesure équitable pour évaluer la qualité du recensement. Il prouve que regarder l'image globale (la précision globale) peut masquer des failles sérieuses dans la façon dont nous devinons les données manquantes. Il nous avertit également que si nos enquêtes de contrôle manquent les personnes les plus difficiles à trouver (celles avec de mauvaises devinettes), nous penserons que nos méthodes sont bien meilleures qu'elles ne le sont réellement.

Les auteurs montrent qu'en utilisant leur nouveau « Taux de Justesse » et en corrigeant le biais de l'enquête avec un simple marqueur, nous pouvons enfin comparer les méthodes comme kNN et la Forêt Aléatoire de manière équitable. Ils ont découvert que si les modèles informatiques complexes sont excellents pour deviner des faits isolés, les méthodes plus simples qui maintiennent l'ensemble des faits cohérents peuvent en fait être meilleures pour restituer l'histoire complète. Plus important encore, ils ont montré que sans corriger le biais de nos enquêtes de contrôle, nous naviguons à vue, pensant que nos cartes sont parfaites alors qu'elles pourraient être truffées de trous.