A note on the optimum allocation of resources to follow up unit nonrespondents in probability

Imaginez que vous êtes un détective tentant de résoudre un mystère concernant l'ensemble de la population d'une ville, mais que vous ne pouvez interroger qu'un petit groupe de personnes choisi au hasard. C'est le monde des enquêtes de probabilité, l'outil statistique utilisé par les gouvernements et les chercheurs pour comprendre tout, de l'effectif des moutons dans un champ au ressenti des gens sur leur emploi. Le gros problème ? Tout le monde ne répond pas à la porte. Certains ignorent le détective, certains raccrochent le téléphone, et d'autres refusent simplement de parler. C'est ce qu'on appelle la non-réponse.

Pendant longtemps, la règle standard pour ces détectives était simple : « Frappez à chaque porte qui ne répond pas jusqu'à ce que quelqu'un ouvre. » L'objectif était d'obtenir le taux de réponse le plus élevé possible — le pourcentage de personnes ayant dit « oui ». La logique était que si vous parlez à plus de personnes, votre image de la ville doit être plus claire. Cependant, les statisticiens se sont rendu compte qu'un taux de réponse élevé ne signifie pas toujours une image de haute qualité. Vous pourriez frapper à mille portes juste pour découvrir que les personnes qui ont fini par répondre viennent toutes du même quartier, vous laissant avec une vision biaisée de toute la ville. Le véritable objectif n'est pas seulement d'obtenir plus de réponses « oui » ; c'est d'obtenir la réponse la plus précise possible avec l'argent dont vous disposez. Ce document pose une question cruciale : si vous avez un budget limité pour frapper aux portes, comment devez-vous le dépenser pour obtenir le meilleur résultat possible, plutôt que simplement le plus bruyant ?

---

Le dilemme du détective : Pourquoi frapper à chaque porte pourrait être une perte de temps

Dans le monde des statistiques officielles, comme celles collectées par le Bureau australien de la statistique, il existe un tiraillement classique entre le coût et la qualité. Les statisticiens d'enquête disposent d'un budget pour le « Suivi de non-réponse » (SSN) — l'argent et le temps consacrés à poursuivre les personnes qui n'ont pas répondu la première fois. La stratégie de la vieille école consistait à utiliser ce budget pour assurer le suivi de chaque non-répondant, dans l'espoir de les transformer en répondants. La pensée était : « Plus de répondants égale de meilleures données. »

Mais les auteurs de ce document, SM Tam, A Holmberg et S Wang, soutiennent que cela revient à un détective dépensant tout son argent pour essayer d'interroger le même témoin peu coopératif encore et encore, juste pour dire qu'il a essayé, tout en ignorant d'autres pistes qui pourraient résoudre l'affaire plus rapidement. Ils soulignent que le taux de réponse est un mauvais indicateur de la qualité des données. Parfois, augmenter le taux de réponse peut en réalité rendre les données pires en introduisant plus de biais.

Au lieu de chercher un taux de réponse élevé, les auteurs proposent une nouvelle stratégie : Minimiser l'Erreur Quadratique Moyenne (EQM). En langage clair, l'EQM est une mesure de l'écart entre votre estimation et la vérité. L'objectif est de dépenser votre argent de suivi de manière à ce que votre estimation finale soit aussi proche de la vérité que possible, et non pas seulement la plus bruyante.

La nouvelle stratégie : La carte des « Groupes d'Homogénéité de Réponse »

Pour résoudre cela, les auteurs suggèrent une méthode qui ressemble un peu à un guide de stratégie de jeu vidéo. Ils divisent les non-répondants en groupes appelés Groupes d'Homogénéité de Réponse (GHR). Voyez ces groupes comme des quartiers où tout le monde a un score de « volonté de parler » similaire, appelé score de propension.

• Groupe A : Des personnes qui sont très susceptibles de répondre si on leur demande gentiment (Propension élevée).
• Groupe B : Des personnes très têtues et peu susceptibles de répondre, peu importe les efforts (Propension faible).

Le document soutient que vous ne devriez pas traiter tout le monde de la même manière. Si vous avez un budget limité, vous ne devriez pas gaspiller votre énergie à essayer de convaincre les membres du Groupe B, très têtus, de parler après avoir frappé cinq fois. Au lieu de cela, vous devriez concentrer votre énergie sur les groupes où quelques frappes supplémentaires apporteront réellement de nouvelles informations utiles.

Les auteurs utilisent un cadre mathématique appelé quasi-randomisation et pondération par l'inverse de la propension. Imaginez que vous prenez une photo d'une foule. Si vous ne photographiez que les personnes au premier rang, votre photo est biaisée. Mais si vous savez exactement combien de personnes se trouvent au dernier rang et quelle est leur probabilité de s'avancer, vous pouvez mathématiquement « étirer » la photo pour qu'elle semble montrer tout le monde. Ce document suggère d'utiliser ce calcul pour décider qui mérite l'effort supplémentaire d'une visite de suivi.

L'expérience de la ferme ovine

Pour tester leur idée, les auteurs ont réalisé une simulation utilisant des données réelles de l'enquête Rural Environment and Agricultural Commodities Survey (REACS) 2018/19 en Australie. Ils tentaient d'estimer le nombre de moutons dans les fermes.

Voici comment ils ont mis en place l'expérience :

1. Les données : Ils ont examiné 4 696 fermes. 3 525 étaient des fermes existantes (elles avaient déjà été enquêtées auparavant) et 1 171 étaient de nouvelles fermes.
2. La prédiction : Ils ont utilisé un algorithme informatique appelé Forêt Aléatoire (un type d'apprentissage automatique qui agit comme une équipe d'arbres de décision) pour prédire la probabilité de réponse de chaque ferme. Pour les nouvelles fermes, ils ont utilisé une méthode de « k-plus proches voisins », trouvant les fermes anciennes les plus similaires pour deviner le comportement des nouvelles.
3. Les groupes : Ils ont classé toutes les fermes non-répondantes en 10 groupes (GHR) basés sur leur probabilité de répondre, allant de « Très improbable » (0 % à 10 % de chance) à « Très probable » (90 % à 100 % de chance).
4. Le budget : Ils ont fixé un budget hypothétique de suivi de 30 000 $.

Les résultats : Dépenser intelligemment, pas durement

Les auteurs ont utilisé un solveur informatique (comme une calculatrice super intelligente) pour déterminer le nombre parfait de visites de suivi pour chaque groupe afin de minimiser l'erreur dans leur comptage de moutons, sans dépasser le budget.

L'ancienne méthode (Pratique courante) :
Si vous frappez simplement à chaque porte le même nombre de fois, vous pourriez finir par passer trop de temps sur les fermes super têtues (où vous n'obtenez aucun résultat) et pas assez sur les fermes « peut-être ». Dans leur simulation, cette approche « taille unique » a coûté 30 000 $ et a produit un taux de réponse de 99 %. Cependant, l'erreur dans leur comptage de moutons était toujours relativement élevée.

La nouvelle méthode (Allocation optimale) :
La méthode des auteurs a suggéré un plan très différent :

• Pour les groupes « Très improbables » : Frapper 6 fois sur le premier groupe et 5 fois sur le second. Ces groupes présentent une grande variance dans leurs données, ce qui signifie qu'ils contribuent le plus à l'incertitude globale de l'estimation. En allouant plus de visites ici, la stratégie cible les groupes spécifiques qui réduiront l'erreur le plus efficacement.
• Pour les groupes « Très probables » : Ne frapper qu'une seule fois. Ces personnes sont déjà susceptibles de répondre ; il n'est pas nécessaire de gaspiller de l'argent en frappant 6 fois.
• Le coût : Cette stratégie intelligente n'a coûté que 19 640 $ (environ les deux tiers du budget).
• Le résultat : Même en dépensant moins d'argent, ils ont réduit la variance de non-réponse (l'erreur causée par les personnes manquantes) de 57,77 milliards d'unités à 38,21 milliards d'unités.

La grande surprise :
La « Pratique courante » a obtenu un taux de réponse de 99 %, tandis que l'« Stratégie optimale » n'a obtenu qu'un taux de 97 %.

• Pratique courante : 99 % de taux de réponse, erreur plus élevée, coût de 30 000 $.
• Stratégie optimale : 97 % de taux de réponse, erreur plus faible, coût de 19 640 $.

Le document montre que le taux de réponse de 99 % était une « fausse victoire ». Il semblait impressionnant, mais il coûtait plus cher et donnait en réalité une image moins précise de la population ovine. L'allocation optimale a permis d'économiser de l'argent et de donner une meilleure réponse, même avec moins de personnes disant « oui ». Plus précisément, par rapport à la méthode standard de « frapper à chaque porte », l'allocation optimale a réduit la variance de non-réponse d'environ 3,9 %. (Note : la réduction de 10,4 % mentionnée dans le document fait référence à la réduction de l'erreur quadratique moyenne par rapport au fait de ne faire aucun suivi, et non par rapport à la méthode standard).

Ce que cela signifie pour l'avenir

Les auteurs concluent que courir après un taux de réponse élevé est un piège. C'est comme essayer de gagner un jeu en comptant simplement combien de fois vous criez « Échec et mat ! » au lieu de vérifier si vous avez réellement une main gagnante.

Leurs conclusions suggèrent que les statisticiens d'enquêtes devraient cesser de vouloir convertir chaque non-répondant. Au lieu de cela, ils devraient utiliser les données pour identifier les groupes qui ont besoin d'un petit coup de pouce supplémentaire et ceux qui s'en sortent déjà très bien. En allouant les ressources là où elles réduiront le plus l'Erreur Quadratique Moyenne, les agences peuvent obtenir de meilleures données pour moins d'argent.

Dans le cas spécifique de l'enquête sur les moutons, l'allocation optimale a réduit l'erreur de manière significative par rapport à l'absence de suivi, et par une marge plus petite mais significative par rapport à la méthode standard de « frapper à chaque porte », tout en économisant des milliers de dollars. Le document ne prétend pas qu'il s'agit d'un remède miracle pour tous les problèmes, mais il fournit une méthode mathématiquement solide pour rendre les suivages d'enquêtes plus intelligents, prouvant que parfois, savoir quand arrêter de frapper est aussi important que savoir quand commencer.