Optimal Control Variates for Survey Sampling and Causal Inference

Dans le monde de la statistique, les chercheurs sont souvent confrontés à un problème frustrant : lorsqu'ils tentent d'apprendre des choses sur un groupe important en étudiant un échantillon plus restreint, les résultats peuvent être extrêmement instables. Imaginez essayer de deviner la taille moyenne d'une foule en ne mesurant que quelques personnes. Si vous choisissez par hasard quelques individus exceptionnellement grands ou petits, votre estimation sera très erronée. Cela est particulièrement vrai lorsque les personnes choisies ne sont pas sélectionnées de manière aléatoire, mais selon des règles spécifiques qui rendent certains individus beaucoup plus susceptibles d'être sélectionnés que d'autres. Dans de tels cas, les statisticiens utilisent une méthode standard appelée pondération par l'inverse de la probabilité pour corriger ces chances inégales. Bien que cette méthode soit sans biais — ce qui signifie qu'elle donne la bonne réponse en moyenne sur de nombreux essais — elle souffre souvent d'une grande variabilité lors de chaque tentative individuelle, rendant les résultats instables et peu fiables.

Pour corriger cette instabilité, les statisticiens utilisent depuis longtemps une technique appelée variables de contrôle. L'idée est d'introduire une seconde information liée qui évolue de concert avec la mesure principale. En soustrayant la partie prévisible de cette seconde pièce de la mesure principale, le bruit global est réduit, laissant un signal plus pur. Depuis des décennies, les chercheurs appliquent cette astuce en utilisant des données supplémentaires dont ils disposent déjà, comme l'âge ou le revenu, pour lisser leurs estimations. Cependant, une nouvelle étude de Jinglong Zhao, de l'Université de Boston, suggère que l'outil le plus puissant pour cette tâche ne provient peut-être pas de données externes, mais du mécanisme même utilisé pour sélectionner l'échantillon.

Le travail de Zhao se concentre sur deux défis distincts mais liés : l'échantillonnage d'enquête, où les chercheurs posent des questions à un groupe de personnes sélectionnées, et l'inférence causale, où les scientifiques tentent de déterminer l'effet d'un traitement, tel qu'un nouveau médicament ou un programme d'éducation financière, souvent dans des contextes où les individus s'influencent les uns les autres. Dans les deux scénarios, la méthode standard de pondération des observations échoue souvent lorsque la probabilité d'être sélectionné ou traité est très faible. Cela arrive fréquemment dans les expériences du monde réel, comme les études de réseaux sociaux où la chance d'être exposé à une nouvelle idée dépend du nombre d'amis que l'on possède, ou dans les grandes enquêtes où les taux de réponse varient selon les régions. Lorsque ces probabilités sont faibles, les estimations standard deviennent si bruyantes que l'expérience perd sa capacité à détecter de réels effets.

L'article propose une manière unifiée de considérer plusieurs outils statistiques existants comme des cas particuliers d'une stratégie plus large. L'auteur montre que des méthodes populaires telles que l'estimateur de Hajek et l'estimateur de pondération par l'inverse de la probabilité augmentée (AIPW) tentent essentiellement d'annuler le caractère aléatoire en utilisant un ensemble spécifique et fixe de poids. Bien que ces méthodes fonctionnent bien en théorie, elles ne sont pas toujours le meilleur choix pour un ensemble de données spécifique. Zhao démontre qu'en traitant le processus de sélection lui-même comme une source d'information, on peut construire une « variable de contrôle » personnalisée, parfaitement adaptée à la structure spécifique des données. Au lieu d'utiliser une correction universelle, la nouvelle méthode calcule les poids optimaux en analysant la relation entre le plan d'échantillonnage et les résultats probables.

Pour trouver ces poids optimaux, l'article formule le problème comme une tâche de prise de décision en situation d'incertitude. Les chercheurs supposent que les résultats qu'ils tentent de mesurer suivent un schéma général, mais ils n'en connaissent pas les valeurs exactes. Ils utilisent ensuite une approche mathématique pour trouver l'ensemble de poids qui minimiserait la variance de l'estimation à travers tous les scénarios possibles. Le résultat est un ensemble de « bases optimales » qui agissent comme le contrepoids parfait au caractère aléatoire de l'échantillonnage. Dans les situations sans connexions sociales complexes, ces poids optimaux sont déterminés par les motifs prédominants, ou vecteurs propres, d'une matrice qui combine le plan d'échantillonnage et la variabilité attendue des résultats. Lorsque des réseaux sociaux sont impliqués, où le traitement d'une personne affecte ses voisins, le problème devient plus complexe, nécessitant un algorithme de recherche spécialisé pour trouver la meilleure solution.

L'article valide ces idées à travers des données réelles et des simulations informatiques. Dans une analyse d'une enquête environnementale suisse concernant les réglementations sur le gaspillage alimentaire, la nouvelle méthode a réduit l'erreur type de l'estimation de près de moitié par rapport à l'estimateur traditionnel de Horvitz-Thompson, tout en produisant le même résultat central. Cela signifie que les chercheurs pourraient être beaucoup plus confiants dans leurs conclusions sans collecter davantage de données. De même, dans une étude sur un programme d'éducation financière en Chine rurale, où le traitement s'est propagé via des réseaux sociaux, les estimateurs proposés ont systématiquement surpassé les méthodes standards, particulièrement dans les sous-groupes plus petits où le bruit est généralement le plus élevé. Les simulations ont confirmé que, bien que la nouvelle méthode introduise un léger biais, la réduction massive de la variance conduit à une estimation globale beaucoup plus précise.

L'étude clarifie également la relation entre ces nouveaux estimateurs et des techniques plus anciennes et bien connues. Elle montre que des méthodes comme l'estimateur de Hajek sont en réalité des approximations de l'approche par variable de contrôle optimale. Elles fonctionnent bien lorsque la taille de l'échantillon est très grande ou lorsque les résultats sont très stables, mais elles font défaut lorsque les données sont désordonnées ou que l'échantillon est modéré. La nouvelle approche offre un moyen d'aller au-delà de ces approximations, proposant une voie théoriquement fondée vers la meilleure réduction de variance possible pour un ensemble de données donné. En utilisant le plan d'échantillonnage lui-même comme variable de contrôle, la méthode évite le besoin de données auxiliaires externes, qui sont souvent indisponibles ou difficiles à intégrer correctement.

Enfin, cette recherche offre une boîte à outils pratique pour améliorer la précision des expériences et des enquêtes. Elle suggère que la clé pour réduire le bruit ne réside pas tant dans la collecte de plus d'informations, mais dans l'utilisation plus intelligente des informations existantes. En alignant mathématiquement le facteur de correction avec les particularités spécifiques du plan d'échantillonnage, les chercheurs peuvent extraire des enseignements plus fiables à partir de la même quantité de données. L'article conclut en notant que, bien que la méthode nécessite l'estimation de certains moments de la distribution des résultats, des techniques comme la division de l'échantillon (sample splitting) peuvent rendre cela réalisable en pratique. Ces découvertes fournissent une approche robuste et sensible au design pour sélectionner la meilleure correction de la variance, complétant les méthodes existantes qui se concentrent sur la robustesse face aux erreurs de modèle.