Selection on the Outcome: The Fraction of Nonresponse Bias That Survey Weighting Removes, with an Application to Subjective Well-Being

Chaque fois qu'un chercheur veut comprendre ce que les gens ressentent à propos de leur vie, il demande généralement à un échantillon de personnes de remplir un sondage. L'objectif est d'utiliser les réponses de ces quelques milliers de répondants pour décrire les sentiments de millions de personnes. Mais il y a un piège : tout le monde ne répond pas au téléphone ou ne remplit pas le formulaire. Certains sont trop occupés, certains sont trop malades, et d'autres ne veulent tout simplement pas parler à des inconnus. C'est ce qu'on appelle la non-réponse, et cela crée un fossé entre les personnes qui ont répondu et celles qui ne l'ont pas fait. Si les personnes qui restent chez elles sont différentes de celles qui répondent dans la manière même que le chercheur tente de mesurer, le chiffre final sera erroné. Pendant des décennies, la solution standard à ce problème a été la pondération. Les chercheurs prennent les réponses qu'ils possèdent et les ajustent mathématiquement pour correspondre à la démographie connue de l'ensemble du pays, telle que l'âge, le sexe, le niveau d'éducation et le lieu de résidence. L'idée est que si l'échantillon ressemble à la population sur le papier, ses réponses doivent aussi être représentatives.

Cette approche fonctionne bien lorsque la raison pour laquelle les gens sautent le sondage est liée à ces faits démographiques. Si les personnes plus âgées sont moins susceptibles de répondre, et que le chercheur sait combien de personnes âgées il y a dans le pays, il peut simplement donner plus de poids aux réponses des répondants plus âgés pour équilibrer la balance. Cependant, une nouvelle analyse suggère que cette correction standard échoue complètement lorsque la raison pour laquelle les gens sautent le sondage est la chose même qui est mesurée : leur propre bonheur. Si les personnes malheureuses sont moins susceptibles de participer parce qu'elles se sentent trop abattues pour parler, ou si les personnes très heureuses sont trop occupées à profiter de leur vie pour répondre, aucun ajustement démographique ne pourra corriger l'erreur résultante. L'article soutient que dans le domaine du bien-être subjectif, la correction standard n'élimine presque rien du biais, laissant les chiffres finaux faussés d'une manière que les chercheurs n'ont largement pas remarquée.

L'étude, dirigée par Shay Tsaban, examine précisément à quel point cet erreur cachée subsiste après que les chercheurs ont appliqué leurs techniques de pondération habituelles. La découverte fondamentale est que l'efficacité de la correction dépend entièrement de la mesure dans laquelle le bonheur d'une personne peut être prédit par son parcours. Si le bonheur était fortement lié à l'âge ou au revenu, la pondération standard fonctionnerait bien. Mais des décennies de recherche dans ce domaine ont établi le contraire : les circonstances de vie d'une personne expliquent très peu pourquoi elle se sent heureuse ou triste. L'article calcule que les variables standard utilisées pour la pondération — l'âge, le sexe, la race, l'éducation et la région — n'expliquent qu'environ 1,7 % des différences de bonheur déclaré parmi près de 70 000 personnes de l'Enquête sociale générale. Parce que ces variables expliquent si peu, le processus de pondération ne peut éliminer qu'environ 1,7 % du biais causé par le retrait des personnes malheureuses. Il laisse plus de 98 % de l'erreur intacte.

Cette découverte renverse un concept statistique courant. Pendant des années, les chercheurs ont cité le faible pouvoir prédictif de la démographie comme preuve que le bonheur est un état interne, et non seulement le produit de circonstances matérielles. Le travail de Tsaban montre que ce même chiffre bas est aussi le taux de réparation de la correction standard du domaine. Le fait même que les circonstances ne déterminent pas les sentiments est ce qui rend la correction standard de sondage si inefficace. L'article démontre cela par un contraste clair. Dans une autre étude impliquant des données de santé au Danemark, les chercheurs avaient accès à des registres nationaux qui comprenaient les dossiers médicaux des participants et des non-participants. Comme les dossiers de santé sont de puissants prédicteurs de qui abandonne une étude, les variables de pondération dans ce cas expliquaient une grande partie du résultat. Là, la pondération a réussi à éliminer la majeure partie du biais. La différence entre les deux cas n'était pas la qualité des mathématiques, mais l'information disponible pour faire les mathématiques. Dans la recherche sur le bien-être, l'information nécessaire n'existe tout simplement pas dans les données démographiques standard.

Les conséquences de cet oubli sont significatives pour notre compréhension du monde. L'article examine six types courants de conclusions tirées des sondages sur le bien-être, tels que la comparaison du bonheur entre différents pays, le suivi des changements au fil du temps ou l'examen des différences entre les groupes d'âge. Dans presque tous les cas, le biais suit une direction prévisible. Comme les personnes malheureuses sont plus susceptibles de se retirer, le groupe restant est légèrement plus heureux que la population réelle. Cela signifie que les moyennes nationales sont probablement trop élevées, et que l'écart entre les groupes heureux et malheureux est plus faible qu'il ne l'est réellement. Par exemple, lorsque les chercheurs constatent que le bonheur augmente avec l'âge, l'article suggère que cela pourrait être une illusion créée par le fait que les personnes âgées les moins heureuses ont déjà cessé de participer. De même, lorsque les chercheurs examinent l'inégalité du bonheur, les données sous-estiment probablement à quel point les choses sont réellement inégales, car les individus les plus en détresse sont absents du bas de l'échelle.

Malgré la gravité du problème, l'article note que la communauté de la recherche n'y a presque pas prêté attention. Un audit de plus de 1 600 articles récents dans les principales revues de bien-être a révélé que, bien que 72 % d'entre eux s'appuyaient sur des données de sondage, seulement environ 1,4 % mentionnaient la non-réponse, l'attrition ou les limites de leur échantillon. Les chercheurs ont passé des décennies à affiner les questions qu'ils posent et à vérifier si différentes cultures interprètent les mots de la même manière, mais ils ont largement ignoré si les personnes répondant aux questions représentent l'ensemble de la population. L'article soutient qu'il s'agit d'un angle mort critique. La solution ne nécessite pas une nouvelle théorie du bonheur, mais plutôt un changement dans la manière dont les chercheurs traitent leurs données. Au lieu de supposer que la pondération a réglé le problème, les chercheurs devraient rapporter quelle part du biais subsiste et utiliser des méthodes issues de la recherche médicale pour borner l'erreur possible. Cela implique de reconnaître que le chiffre final est une estimation avec une marge d'erreur connue et significative, plutôt qu'une mesure précise de l'humeur de la population.

L'étude conclut que le domaine doit cesser de traiter la moyenne pondérée comme une solution parfaite. Les ajustements démographiques standards ne sont pas une baguette magique qui fait apparaître les personnes manquantes ; ils sont une correction partielle qui ne fonctionne que lorsque les personnes manquantes disparaissent pour des raisons démographiques. Lorsqu'elles disparaissent à cause de leurs sentiments, la correction échoue. La voie à suivre consiste à accepter que les données actuelles sont incomplètes et à utiliser de nouveaux outils pour mesurer l'ampleur du fossé. En empruntant des techniques à la recherche médicale, où les données manquantes sont traitées comme une menace sérieuse pour la validité, les chercheurs en bien-être peuvent enfin commencer à voir l'image complète du bonheur humain, y compris les parties qui sont actuellement cachées dans le silence de ceux qui n'ont pas répondu.