Comparative Evaluation of Dynamic Bayesian Hierarchical Models and Machine Learning Estimators for Small Area Employment Estimation in Data-Poor Settings

Dans le paysage vaste et souvent inégal des pays en développement, savoir exactement combien de personnes occupent un emploi dans un district spécifique est un défi qui peut freiner le progrès. Les gouvernements ont besoin de ces chiffres granulaires pour concevoir des programmes de protection sociale efficaces ou pour cibler les interventions sur le marché du travail là où elles sont le plus nécessaires. Cependant, les outils standards utilisés pour recueillir ces informations, connus sous le nom d'enquêtes auprès de la population active, sont généralement conçus pour donner des images précises de pays entiers ou de grandes régions. Lorsque les responsables tentent de décomposer ces chiffres en unités administratives plus petites, les tailles d'échantillon deviennent trop réduites pour être fiables, laissant les données truffées d'incertitudes. Pour résoudre ce problème, les statisticiens ont développé une technique appelée l'estimation de petites aires. L'idée centrale est simple mais puissante : au lieu de s'appuyer uniquement sur les données fragiles d'un seul petit district, la méthode emprunte la force aux zones voisines et à des informations connexes, telles que les données de recensement ou l'imagerie satellite, pour combler les lacunes. Pendant des décennies, la méthode la plus fiable pour y parvenir a été l'utilisation de modèles statistiques complexes qui traitent chaque zone comme faisant partie d'un système plus large et connecté. Récemment, une nouvelle vague d'algorithmes informatiques puissants, connus sous le nom d'apprentissage automatique (machine learning), est entrée dans le domaine, promettant de trouver des motifs dans les données que les modèles traditionnels pourraient manquer. La question qui se pose aux statisticiens modernes est de savoir si ces nouveaux outils flexibles peuvent remplacer les anciens et fiables, surtout dans les endroits où les données sont rares et où chaque fragment d'information compte.

Un chercheur de l'Université technique de Munich, Albert Schulle, a entrepris de répondre à cette question en opposant ces deux approches lors d'un test rigoureux. L'étude s'est concentrée sur le problème spécifique de l'estimation des taux d'emploi dans des contextes pauvres en données, en utilisant des données d'enquête réelles provenant de l'Inde comme terrain d'expérimentation. Le chercheur a comparé un cadre statistique sophistiqué, connu sous le nom de Modèle Hiérarchique Bayésien Dynamique, à une suite d'outils d'apprentissage automatique, incluant les forêts aléatoires (random forests) et le boosting de gradient (gradient boosting). L'objectif n'était pas seulement de voir quelle méthode devinait le taux d'emploi le plus proche de la vérité, mais de déterminer laquelle fournissait une image plus honnête de l'incertitude de cette supposition. Dans le monde de la statistique officielle, connaître la marge d'erreur est tout aussi important que le chiffre lui-même, car les décideurs politiques ne peuvent prendre de décisions sûres sans comprendre la fiabilité des données.

Pour mener cette comparaison, le chercheur a pris un ensemble de données massif couvrant 640 districts en Inde et l'a systématiquement réduit pour simuler différents niveaux de rareté des données. Il a créé des scénarios où le nombre de personnes interrogées dans chaque district était réduit de 25 %, puis de 50 %, et enfin de 75 %, simulant ainsi les conditions d'un environnement aux ressources limitées où les enquêtes sont peu fréquentes ou sous-financées. À chaque niveau de rareté, le modèle statistique et les algorithmes d'apprentissage automatique ont été sollicités pour estimer les taux d'emploi. La performance a été mesurée par la proximité des estimations avec les valeurs réelles, par la variation de ces estimations et, de manière cruciale, par la capacité des intervalles d'incertitude calculés à contenir les chiffres réels.

Les résultats ont révélé un vainqueur clair et constant pour les conditions spécifiques de rareté des données. Le Modèle Hiérarchique Bayésien Dynamique, qui repose sur une manière structurée d'emprunter des informations entre les zones et à travers le temps, a maintenu un avantage constant. Lorsque les tailles d'échantillon étaient très faibles, ce modèle a produit des estimations nettement plus précises et, ce qui est peut-être plus important, des intervalles d'incertitude dignes de confiance. Même lorsque les données ont été réduites aux trois quarts, les estimations du modèle sont restées fiables, ses intervalles de confiance capturant le taux d'emploi réel dans plus de 90 % des cas. Cette stabilité provient de la capacité du modèle à tirer les estimations extrêmes ou erratiques des petits districts vers une moyenne plus raisonnable, un processus qui empêche les suppositions sauvages lorsque les données locales sont trop ténues pour tenir debout seules.

En revanche, les méthodes d'apprentissage automatique, bien qu'impressionnantes lorsque les données sont abondantes, ont éprouvé des difficultés à mesure que l'information venait à manquer. Lorsque l'ensemble complet des données était disponible, ces algorithmes étaient performants, égalant souvent la précision du modèle statistique dans la prédiction des chiffres exacts de l'emploi. Ils étaient particulièrement doués pour repérer des relations complexes et non linéaires dans les données qu'un modèle plus simple pourrait ignorer. Cependant, à mesure que les tailles d'échantillon diminuaient, leurs performances se dégradaient rapidement. Les estimations devenaient moins précises et les intervalles d'incertitude qu'elles produisaient devenaient dangereusement trompeurs. Dans les scénarios de rareté les plus sévères, les modèles d'apprentissage automatique n'ont réussi à capturer le taux d'emploi réel dans leurs intervalles calculés que moins de la moitié du temps. Cela signifie qu'un décideur politique s'appuyant sur ces outils dans un contexte de pénurie de données recevrait un faux sentiment de précision, croyant connaître la réponse alors qu'il ne faisait que deviner de manière aléatoire.

L'étude a également examiné la manière dont chaque méthode gérait les données manquantes, un problème courant dans les pays en développement où les données auxiliaires, telles que les taux d'alphabétisation ou les indicateurs économiques, peuvent être incomplètes. Le modèle statistique s'est révélé remarquablement robuste, capable de compenser les pièces manquantes en s'appuyant sur les informations provenant des zones voisines. Les outils d'apprentissage automatique, qui dépendent fortement d'un ensemble complet de variables pour faire une prédiction, ont subi un déclin de performance beaucoup plus marqué lorsque les données manquaient. Cela suggère que dans des environnements où les données sont fragmentaires et peu fiables, l'approche structurée du modèle statistique est bien plus résiliente que la puissance de reconnaissance de formes de l'apprentissage automatique.

En fin de compte, la recherche suggère que si l'apprentissage automatique est un outil puissant pour la prédiction lorsque les données sont abondantes, il n'est pas encore prêt à remplacer les modèles statistiques établis pour l'estimation de petites aires dans les contextes de ressources limitées. Les méthodes d'apprentissage automatique ont montré qu'elles pouvaient être des compléments utiles, peut-être pour générer des estimations initiales ou gérer des ensembles de données riches, mais elles manquent des garde-fous intégrés qui garantissent la fiabilité lorsque les chiffres font défaut. Pour les bureaux nationaux de statistique des pays en développement, la voie à suivre est claire : le Modèle Hiérarchique Bayésien Dynamique reste le choix privilégié pour produire les statistiques officielles de l'emploi. Il offre un équilibre entre précision et incertitude honnête, essentiel pour des politiques fondées sur des preuves. L'étude conclut qu'en jouant la partie à enjeux élevés du comptage des chômeurs et des actifs dans les régions les plus confrontées au manque de données, l'approche mathématique traditionnelle et rigoureuse conserve l'avantage, garantissant que les décisions sont prises sur une base de vérité plutôt que sur l'illusion de la précision.