A capture-recapture hidden Markov model framework for register-based inference of population size and dynamics

Cet article propose un cadre évolutif basé sur des modèles de Markov cachés de type capture-recapture pour estimer avec précision la taille et la dynamique d'une population à partir de registres administratifs incomplets, en tenant compte simultanément des erreurs d'omission et de surcouverture grâce à une estimation par vraisemblance maximale et une quantification de l'incertitude par le « Bag of Little Bootstraps ».

L'essentiel

🎯 Le Problème : Le "Fantôme" dans les Registres

Imaginez que vous essayez de compter combien de personnes vivent réellement dans une ville. Habituellement, on fait un recensement (une grande enquête maison par maison), mais c'est cher, lent et ça ne se fait que tous les dix ans.

Aujourd'hui, beaucoup de pays (comme la Suède) utilisent une autre méthode : ils regardent les registres administratifs. C'est comme si la ville avait un immense tableau blanc où l'on inscrit chaque fois qu'une personne fait quelque chose : elle se marie, elle trouve un travail, elle va à l'hôpital, elle paie des impôts.

Le problème, c'est que ce tableau blanc est imparfait :

1. Les "Fantômes" (Faux Positifs) : Parfois, une personne a déménagé à l'étranger, mais elle a oublié de se désinscrire. Son nom reste sur le tableau parce que sa famille continue de toucher des allocations ou parce qu'elle a un compte bancaire actif. Pour le système, elle est toujours là, alors qu'elle est partie. C'est comme si un fantôme continuait de faire des courses dans le supermarché.
2. Les "Invisibles" (Faux Négatifs) : À l'inverse, une personne vit bien dans le pays, mais elle ne fait rien qui laisse une trace administrative cette année-là. Elle est là, mais le tableau blanc ne la voit pas.

Les méthodes actuelles pour compter les gens sont soit trop simplistes (elles comptent les fantômes), soit trop lentes pour traiter des millions de données.

🚀 La Solution : Le Détective "Capture-Recapture"

Les auteurs de ce papier (Lucy, Eleni, Bruno et Eleonora) ont créé un nouveau modèle mathématique, un peu comme un super-détective numérique.

Ils utilisent une technique appelée "Capture-Recapture", qui vient à l'origine de l'écologie pour compter les poissons dans un lac.

• L'idée : Si vous capturez 100 poissons, vous les marquez et vous les relâchez. Plus tard, vous en capturez 50, et 10 ont déjà un marqueur. Vous pouvez en déduire qu'il y a environ 500 poissons au total dans le lac.

Ici, au lieu de poissons, on capture des gens à travers différents registres (mariage, emploi, école, etc.).

🧠 Le Cerveau du Détective : Le Modèle "Caché"

Ce qui rend ce modèle génial, c'est qu'il ne se contente pas de regarder les listes. Il imagine ce qui se passe derrière le rideau.

Imaginez que chaque personne a un statut secret (son état caché) qui change chaque année :

• 🟢 Présent : La personne est là, en vie.
• 🟡 À l'étranger : La personne est partie, mais son nom reste sur le tableau (le "fantôme").
• 🔴 Décédé : La personne est morte.

Le modèle essaie de deviner ce statut secret en regardant les indices (les registres).

• Si quelqu'un apparaît sur le registre "Salaire", c'est un indice fort qu'il est Présent.
• Si quelqu'un n'apparaît que sur le registre "Revenus de la famille" (parce que son conjoint travaille), le détective se demande : "Est-ce qu'il est vraiment là, ou est-ce juste un fantôme administratif ?"

🎭 L'Analogie du Théâtre

Pour bien comprendre, imaginez un théâtre :

• La Scène (Les Registres) : C'est ce que le public voit. Les acteurs (les gens) apparaissent ou disparaissent selon les pièces (les registres).
• Les Coulisses (Le Modèle) : C'est ce qui se passe vraiment. Un acteur peut être parti en vacances (à l'étranger) mais son nom reste affiché sur l'affiche du théâtre parce que le directeur n'a pas eu le temps de changer l'affiche.

L'ancien modèle disait : "Si son nom est sur l'affiche, il est sur scène."
Le nouveau modèle dit : "Attends, il est sur l'affiche, mais il n'a pas joué depuis 3 ans et il n'a pas de rôle dans la pièce actuelle. Il est probablement parti en vacances, même si son nom est encore affiché."

🛠️ Comment ça marche techniquement (sans les maths) ?

1. Le Miroir des Âmes (Hétérogénéité) : Le modèle sait que tout le monde n'est pas pareil. Certains sont très actifs (ils ont un travail, un mariage, des enfants) et apparaissent souvent sur les listes. D'autres sont plus discrets. Le modèle crée deux "groupes invisibles" pour distinguer les très actifs des moins actifs, afin de ne pas se tromper en comptant.
2. Le Calculateur Ultra-Rapide (BLB) : Traiter les données de 720 000 personnes sur 14 ans est comme essayer de compter chaque grain de sable d'une plage à la main. C'est impossible. Les auteurs ont utilisé une astuce appelée "Bag of Little Bootstraps". Imaginez que vous prenez de petits échantillons de sable, vous les comptez très vite, et vous extrapolez le résultat pour toute la plage. Cela permet de faire des calculs complexes en quelques jours au lieu de quelques années.

🇸🇪 Le Cas Réel : La Suède

Les auteurs ont testé leur détective sur les données suédoises concernant les immigrants.

• Résultat : Ils ont pu distinguer les vrais résidents des "fantômes" administratifs.
• Découverte : Ils ont vu que pour certaines nationalités (comme les Danois ou les Norvégiens), il y a beaucoup de "fantômes" parce que les gens voyagent beaucoup entre ces pays et oublient de se désinscrire. Pour d'autres groupes, c'est différent.
• Avantage : Ils peuvent maintenant dire : "En 2010, il y avait X millions de personnes, mais Y milliers étaient en fait des fantômes administratifs."

💡 Pourquoi c'est important ?

C'est comme avoir une carte météo précise au lieu d'une vieille carte dessinée à la main.

• Pour le gouvernement : Cela permet de mieux répartir l'argent (écoles, hôpitaux) là où sont vraiment les gens, et pas là où ils sont juste "sur le papier".
• Pour la science : Cela permet de comprendre comment les gens bougent, partent et reviennent, sans avoir à faire des enquêtes coûteuses.

En résumé : Ce papier propose un nouveau détective mathématique capable de voir à travers les mensonges des registres administratifs pour compter la population avec une précision inédite, en distinguant les vrais vivants des fantômes administratifs.

Résumé technique

1. Problématique et Contexte

L'estimation précise de la taille et de la dynamique des populations (migrations, croissance démographique) est cruciale pour l'élaboration des politiques publiques et l'allocation des ressources. Les recensements traditionnels étant coûteux, peu fréquents et souvent obsolètes, de nombreux pays (notamment en Europe du Nord) adoptent des approches basées sur les registres administratifs.

Cependant, l'utilisation de ces registres pose des défis statistiques majeurs :

• Erreurs de fausses négatives (False Negatives) : Un individu présent dans la population peut ne pas apparaître dans un registre spécifique s'il n'effectue pas l'activité administrative requise (ex: emploi, mariage).
• Erreurs de fausses positives (False Positives) : Un individu absent (émigré ou décédé) peut apparaître dans un registre en raison de processus administratifs indirects ou de défauts de mise à jour (ex: un conjoint perçoit une allocation familiale alors que l'autre est parti). Ce phénomène est appelé surcouverture (overcoverage).
• Émigration temporaire : L'absence d'un individu n'est pas toujours permanente, rendant difficile la distinction entre une émigration temporaire et une sortie définitive.
• Hétérogénéité non observée : Les probabilités d'apparition dans les registres varient selon des facteurs comportementaux ou démographiques non enregistrés.

Les méthodes existantes (modèles log-linéaires, approches par « signe de vie ») sont soit limitées à des instantanés annuels (incapables de suivre la dynamique temporelle), soit incapables de gérer simultanément les erreurs de fausses positives et l'hétérogénéité non observée à grande échelle.

2. Méthodologie Proposée

Les auteurs proposent un cadre unifié combinant les modèles de capture-recapture (CR) de type Cormack-Jolly-Seber (CJS) et les Modèles de Markov Cachés (HMM), estimé par vraisemblance maximale.

A. Structure du Modèle HMM

Le modèle distingue un processus latent (l'état réel de l'individu) d'un processus d'observation (ce qui est enregistré dans les registres).

• États Latents : L'espace des états comprend :

  1. Présent et vivant.
  2. À l'étranger (émigré).
  3. Décédé (état absorbant).
     Dans l'étude de cas suédoise, l'état « À l'étranger » est subdivisé pour distinguer les émigrations enregistrées (déclaration officielle) des émigrations non enregistrées (surcouverture).

• Modèle de Transition : Les transitions entre états (survie, émigration, ré-immigration, décès) sont modélisées comme une chaîne de Markov. Les probabilités de transition dépendent de covariables observées (sexe, âge, pays de naissance, durée de séjour) via des régressions logistiques.

• Modèle d'Observation (Émission) :

  • Gestion des erreurs de fausses négatives : Utilise un modèle logit multinomial pour prédire la probabilité d'apparaître dans une combinaison spécifique de $K$ registres, conditionnellement à l'état « Présent ».
  • Gestion des erreurs de fausses positives : Introduit une probabilité non nulle pour qu'un individu « À l'étranger » apparaisse dans certains registres (notamment les registres de revenus familiaux) en raison de processus administratifs indirects.
  • Hétérogénéité non observée : Intégration d'un modèle à mélange fini (FMM). Les individus sont assignés à des classes latentes (ex: forte vs faible probabilité d'emploi) pour capturer les variations non expliquées par les covariables observées.

B. Inférence et Scalabilité

• Estimation : Utilisation de l'algorithme de Forward pour marginaliser sur les états latents et maximiser la vraisemblance.
• Quantification de l'incertitude : Face à la taille massive des données administratives (centaines de milliers d'individus), le bootstrap classique est impossible. Les auteurs utilisent la méthode du Bag of Little Bootstraps (BLB). Cette approche divise les données en sous-ensembles, effectue des rééchantillonnages pondérés, et agrège les résultats pour obtenir des intervalles de confiance fiables et scalables.
• Décodage : L'algorithme de Viterbi est utilisé pour reconstruire la trajectoire la plus probable (présent, absent, décédé) pour chaque individu à chaque année.

3. Étude de Cas et Résultats

L'approche est appliquée aux registres administratifs suédois concernant les adultes nés à l'étranger entrés entre 2003 et 2016 ($N \approx 722\,000$ individus).

• Données : Utilisation de 10 registres (mariage, emploi, études, revenus, etc.) couvrant 14 années.
• Résultats Clés :
  • Dynamique de migration : Le modèle identifie des variations significatives des probabilités d'émigration et de ré-immigration selon le pays de naissance et la durée de séjour. Par exemple, les individus du Danemark/Norway montrent une forte mobilité, tandis que ceux du Moyen-Orient et d'Afrique du Nord (MENA) ont des taux d'émigration plus faibles.
  • Surcouverture (Overcoverage) : Le modèle estime que la surcouverture dans le registre de la population totale atteint un pic d'environ 12,5 % vers 2009-2010, avant de diminuer.
  • Impact des erreurs de fausses positives : La comparaison avec des modèles réduits (sans gestion des fausses positives) montre que l'omission de ces erreurs conduit à une sous-estimation de la surcouverture de 3 à 4 points de pourcentage. Les individus absents mais apparaissant uniquement dans le registre des revenus familiaux sont correctement identifiés comme « absents » par le modèle complet.
  • Hétérogénéité : Le modèle à mélange fini sépare efficacement deux groupes d'individus selon leur probabilité d'apparaître dans le registre des revenus du travail, révélant des structures de participation au marché du travail non capturées par les covariables seules.

4. Contributions Principales

1. Cadre Unifié : Première approche combinant capture-recapture, HMM et modèles à mélange fini pour gérer simultanément l'émigration temporaire, les erreurs de fausses positives/négatives et l'hétérogénéité non observée.
2. Scalabilité : L'intégration du BLB permet d'appliquer ce modèle complexe à des données de population entière, contournant les limites computationnelles des approches bayésiennes MCMC précédentes (qui nécessitaient souvent des échantillons réduits).
3. Modélisation des Fausses Positives : Développement d'une structure d'émission permettant aux individus « à l'étranger » de générer des traces administratives indirectes, améliorant ainsi la précision de l'estimation de la population résidente réelle.
4. Trajectoires Individuelles : Contrairement aux méthodes de type « instantané » (MSE), ce modèle fournit des trajectoires longitudinales complètes pour chaque individu, permettant d'analyser les dynamiques démographiques fines.

5. Signification et Perspectives

Ce travail démontre la faisabilité et l'utilité d'une modélisation statistique avancée à haute résolution pour les registres administratifs nationaux. Il offre aux statisticiens et aux décideurs politiques un outil robuste pour :

• Corriger les biais de surcouverture dans les registres de population.
• Comprendre les flux migratoires et les comportements de résidence des populations mobiles.
• Optimiser l'allocation des ressources en se basant sur des estimations de population plus réalistes.

L'article souligne également la nécessité d'adapter ces modèles aux contextes où les registres sont moins complets ou les liens entre bases de données moins fiables, suggérant des extensions futures vers des modèles de niveau population (MSE) intégrant les composants clés de ce cadre CR-HMM pour une plus grande efficacité opérationnelle.