How can the use of different modes of survey data collection introduce bias? A simple introduction to mode effects using directed acyclic graphs (DAGs)
Cet article utilise des graphes acycliques dirigés (DAG) pour expliquer comment les conceptions d'enquêtes en mode mixte introduisent un biais par le biais d'« effets de mode » et de « sélection de mode », démontrant que les ajustements statistiques naïfs comme le conditionnement peuvent par inadvertance créer un biais de collision tout en préconisant l'analyse de biais quantitative comme une solution plus robuste.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de comprendre à quel point les gens aiment un type de nourriture spécifique. Pour ce faire, vous leur demandez de remplir un sondage. Mais voici le rebondissement : vous les laissez choisir comment répondre. Certains remplissent un formulaire papier, d'autres répondent sur un site web, et d'autres encore discutent avec une personne au téléphone.
Cet article soutient que donner aux gens le choix de la manière de répondre peut en réalité fausser vos résultats de deux manières sournoises. Les auteurs utilisent un outil appelé « Graphes Acycliques Dirigés » (DAG) — qui sont essentiellement des organigrammes simples montrant les relations de cause à effet — pour expliquer pourquoi cela se produit et comment éviter d'être trompé.
Voici la décomposition du problème et des solutions, en utilisant des analogies de la vie quotidienne.
Les deux grands problèmes
1. L'effet de mode (Le problème du masque)
Imaginez que vous demandiez aux gens : « Mangez-vous des légumes ? »
- Scénario A : Vous posez la question en face à face avec un enquêteur amical. Les gens diront « Oui ! » parce qu'ils ne veulent pas paraître mauvais devant un humain (ils font preuve de politesse sociale).
- Scénario B : Vous posez la question sur un écran d'ordinateur privé. Ils taperont « Non » parce qu'ils se sentent en sécurité et honnêtes.
La vérité sur leurs habitudes alimentaires n'a pas changé, mais leur réponse a changé simplement à cause du « mode » (la méthode) utilisé. C'est ce qu'on appelle un Effet de Mode. C'est comme porter un masque qui change votre visage selon la personne qui vous regarde.
2. La sélection du mode (Le problème de l'auto-sélection)
Maintenant, imaginons qui choisit la méthode.
- Les jeunes technophiles pourraient préférer le site web.
- Les personnes plus âgées ou sans internet pourraient préférer l'appel téléphonique.
Cela signifie que le groupe de personnes répondant sur le site web est différent du groupe répondant par téléphone. C'est la Sélection de Mode. C'est comme si vous ne posiez des questions que sur les habitudes de conduite aux personnes possédant une voiture ; votre échantillon est déjà biaisé car les non-propriétaires de voitures ne sont pas là.
Le piège : Pourquoi le « corriger » peut l'aggraver
Le principal avertissement de l'article concerne ce qui arrive lorsque les chercheurs tentent de corriger le « Problème du Masque » sans réfléchir au « Problème de la Sélection de Mode ».
La correction naïve :
Si vous remarquez que les gens sur le site web disent « Non » pour les légumes et que les gens au téléphone disent « Oui », un chercheur pourrait se dire : « D'accord, je vais simplement séparer les données et les comparer. » Ou bien : « Je vais simplement ajouter une case "mode" dans mon équation mathématique pour annuler la différence. »
Le pièle (Le biais de collision) :
Les auteurs disent que cela est dangereux si le type de personne (par exemple, son âge ou son niveau d'éducation) a influencé à la fois la méthode qu'elle a choisie ET ce qu'elle a répondu.
Pensez à un videur de boîte de nuit :
- Le « Videur » est le Mode du sondage (Site Web vs Téléphone).
- Les « VIP » sont les personnes qui ont choisi le site web (peut-être sont-elles plus jeunes).
- Les « Habitués » sont les personnes qui ont choisi le téléphone (peut-être sont-elles plus âgées).
Si vous essayez de « corriger » les données en forçant la comparaison directe entre les VIP et les Habitués, vous pourriez accidentellement créer un lien fictif entre des choses qui ne sont pas liées.
L'avertissement de l'article :
Si vous essayez de « contrôler » le mode du sondage (en séparant les données ou en ajustant les calculs) alors que les personnes elles-mêmes ont choisi le mode en fonction de leurs caractéristiques, vous pourriez accidentellement créer une connexion factice entre vos variables. C'est comme observer un groupe de personnes qui possèdent toutes des voitures rouges et qui aiment toutes la pizza, et conclure que « Les voitures rouges causent un amour pour la pizza », alors qu'en réalité, ce sont les personnes qui aiment les deux qui ont simplement choisi le club de la voiture rouge.
L'article utilise des organigrammes (DAG) pour montrer que :
- Si le mode du sondage est juste un « masque » (affectant la réponse mais n'étant pas choisi par les traits de la personne), vous pouvez le corriger en séparant les modes.
- Si le mode du sondage est un « videur » (choisi en fonction des traits de la personne), essayer de le corriger en séparant les modes crée en réalité de nouvelles erreurs (appelées Biais de Collision).
Que devraient faire les chercheurs ?
L'article suggère trois façons de gérer cela, selon la situation :
- Ne rien toucher (Conditionnement) : Si vous êtes sûr que les gens n'ont pas choisi le mode en fonction de leurs traits, vous pouvez simplement séparer les données par mode. Mais si les gens ont choisi, ne faites pas cela !
- Deviner et compléter (Imputation) : Vous pourriez essayer de deviner ce que les « gens du site web » auraient dit s'ils avaient utilisé la « méthode téléphonique » et remplir les blancs. L'article prévient que c'est risqué car cela suppose que les données manquantes sont aléatoires, ce qui n'est généralement pas le cas. C'est comme essayer de deviner la réponse d'un ami à une question qu'on ne lui a pas posée, en supposant qu'il aurait répondu comme tout le monde.
- Le jeu du « Et si ? » (Analyse de biais quantitative) : C'est la méthode que les auteurs recommandent le plus. Au lieu d'essayer de corriger magiquement les données, admettez que les données sont désordonnées. Dites : « D'accord, supposons que l'effet de mode était de cette ampleur. Comment cela changerait-il nos résultats ? » Puis, essayez une taille différente. Si votre conclusion principale reste la même, peu importe la taille de l'erreur que vous supposez, vous pouvez être confiant dans vos conclusions.
L'essentiel
Lorsque vous mélangez différentes manières de collecter des données de sondage (comme le téléphone, le web et le papier), vous devez être prudent.
- La Méthode compte : Elle change la façon dont les gens répondent (Le Masque).
- Les Personnes comptent : Différents types de personnes choisissent différentes méthodes (Le Videur).
Si vous essayez de corriger le problème du « Masque » sans réaliser que le « Videur » est présent, vous pourriez accidentellement inventer une fausse histoire. La meilleure approche est de cartographier vos hypothèses (en utilisant ces organigrammes), de réaliser que vous ne pouvez pas toujours corriger parfaitement les données, et plutôt de tester à quel point vos résultats changeraient si les erreurs étaient plus grandes ou plus petites.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.