How can the use of different modes of survey data collection introduce bias? A simple introduction to mode effects using directed acyclic graphs (DAGs)
Dit artikel maakt gebruik van gerichte acyclische grafieken (DAG's) om uit te leggen hoe mixed-mode surveyontwerpen bias introduceren via "mode-effecten" en "mode-selectie", waarbij wordt aangetoond dat naïeve statistische aanpassingen zoals conditionering onbedoeld collider-bias kunnen creëren, terwijl het pleit voor kwantitatieve biasanalyse als een robuustere oplossing.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert uit te zoeken hoe graag mensen een specifiek type voedsel echt leuk vinden. Om dit te doen, vraag je hen om een enquête in te vullen. Maar hier is de twist: je laat hen zelf kiezen hoe ze antwoorden. Sommigen vullen een papieren formulier in, anderen beantwoorden het op een website, en weer anderen praten met een persoon via de telefoon.
Dit artikel betoogt dat het geven van keuzes aan mensen over hoe ze antwoorden, je resultaten op twee sluipende manieren kan verpesten. De auteurs gebruiken een hulpmiddel genaamd "Directed Acyclic Graphs" (DAGs) — wat in feite eenvoudige stroomdiagrammen zijn die oorzaak-gevolgrelaties laten zien — om uit te leggen waarom dit gebeurt en hoe je te voorkomen dat je wordt misleid.
Hier is de onderverdeling van het probleem en de oplossingen, gebruikmakend van alledaagse analogieën.
De Twee Grote Problemen
1. Het "Modus-effect" (Het Maskerprobleem)
Stel je voor dat je mensen vraagt: "Eet je groenten?"
- Scenario A: Je vraagt het hen van oog tot oog met een vriendelijke interviewer. Mensen zeggen misschien "Ja!", omdat ze niet slecht willen lijken in het bijzijn van een mens (ze zijn sociaal beleefd).
- Scenario B: Je vraagt het hen via een privé computerscherm. Ze typen misschien "Nee" omdat ze zich veilig en eerlijk voelen.
De waarheid over hun eetgewoonten is niet veranderd, maar het antwoord dat ze geven is veranderd, simpelweg door de "modus" (de methode) die ze gebruikten. Dit wordt een Modus-effect genoemd. Het is als het dragen van een masker dat je gezicht verandert afhankelijk van wie er kijkt.
2. De "Modusselectie" (Het Zelfselectieprobleem)
Stel je nu voor wie de methode kiest.
- Technologisch vaardige jongeren kiezen misschien de voorkeur voor de website.
- Ouderen of mensen zonder internet geven misschien de voorkeur aan het telefoongesprek.
Dit betekent dat de groep mensen die via de website antwoordt, anders is dan de groep die via de telefoon antwoordt. Dit is Modusselectie. Het is alsof je alleen mensen vraagt die een auto bezitten naar hun rijgewoonten; je steekproef is al vertekend omdat niet-autobezitters er niet bij zijn.
De Valstrik: Waarom "Fixen" het Erger Kan Maken
De belangrijkste waarschuwing van het artikel gaat over wat er gebeurt wanneer onderzoekers proberen het "Maskerprobleem" te oplossen zonder na te denken over het "Zelfselectieprobleem".
De Naïeve Fix:
Als je merkt dat mensen op de website "Nee" zeggen tegen groenten en mensen aan de telefoon "Ja", kan een onderzoeker denken: "Oké, ik zal de data gewoon scheiden en ze met elkaar vergelijken." Of: "Ik voeg gewoon een 'modus'-vak toe aan mijn wiskundige vergelijking om het verschil weg te werken."
De Valstrik (Collider Bias):
De auteurs zeggen dat dit gevaarlijk is als het type persoon (bijvoorbeeld hun leeftijd of opleiding) zowel invloed had op welke methode ze kozen EN op wat ze antwoordden.
Denk aan een uitsmijter bij een club:
- De "Uitsmijter" is de Survey Modus (Website versus Telefoon).
- De "VIP's" zijn de mensen die de website kozen (misschien zijn zij jonger).
- De "Reguliere gasten" zijn de mensen die de telefoon kozen (misschien zijn zij ouder).
Als je probeert de data te "fixen" door de VIP's en de Reguliere gasten direct met elkaar te vergelijken, kun je per ongeluk een valse link creëren tussen zaken die niet gerelateerd zijn.
De Waarschuwing van het Papier:
Als je probeert te "controleren voor" de survey modus (door de data te scheiden of de wiskunde aan te passen) wanneer de mensen zelf de modus kozen op basis van hun kenmerken, kun je per ongeluk een valse connectie creëren tussen je variabelen. Het is als kijken naar een groep mensen die allemaal een rode auto bezitten en ook van pizza houden, en concluderen dat "Rode auto's een liefde voor pizza veroorzaken", terwijl het eigenlijk de mensen die beide dingen leuk vinden toevallig net in de rode auto-club zijn gekomen.
Het papier gebruikt stroomdiagrammen (DAGs) om aan te tonen dat:
- Als de survey modus slechts een "masker" is (het beïnvloedt het antwoord maar wordt niet gekozen op basis van de kenmerken van de persoon), dan kun je dit oplossen door de modi te scheiden.
- Als de survey modus een "uitsmijter" is (gekozen door de kenmerken van de persoon), dan het proberen te fixen van de data door de modi te scheiden, daadwerkelijk nieuwe fouten creëert (genaamd Collider Bias).
Wat Moeten Onderzoekers Doen?
Het papier suggereert drie manieren om hiermee om te gaan, afhankelijk van de situatie:
- Niet aanraken (Conditioneren): Als je zeker weet dat de mensen de modus niet kozen op basis van hun kenmerken, kun je de data simpelweg scheiden per modus. Maar als zij de modus wél kozen, doe dit dan niet!
- Raden en Invullen (Imputatie): Je zou kunnen proberen te raden wat de "website-mensen" zouden hebben gezegd als ze de "telefoonmethode" hadden gebruikt, en de gaten in te vullen. Het papier waarschuwt dat dit riskant is omdat het ervan uitgaat dat de ontbrekende data willekeurig is, wat meestal niet zo is. Het is als proberen het antwoord van een vriend te raden op een vraag die je hem niet eens gesteld hebt, uitgaande van de aanname dat hij hetzelfde zou antwoorden als de rest.
- **Het "Wat als"-spel (Kwantitatieve Bias Analyse): het is de methode die de auteurs het meest aanbevelen. In plaats van te proberen de data magisch te repareren, erken je dat de data rommelig is. Je zegt: "Oké, laten we aannemen dat het modus-effect deze omvang had. Hoe zou dat onze resultaten veranderen?" En dan probeer je het met een andere grootte. Als je hoofdconclusie hetzelfde blijft, ongeacht hoe groot je het effect van de fout aanneemt, kun je vertrouwen op je bevindingen.
De Kernboodschap
Wanneer je verschillende manieren combineert om surveydata te verzamelen (zoals telefoon, web en papier), moet je voorzichtig zijn.
- De Methode doet ertoe: Het verandert hoe mensen antwoorden (Het Masker).
- De Mensen doen ertoe: Verschillende mensen kiezen verschillende methoden (De Uitsmijter).
Als je probeert het "Masker"-probleem op te lossen zonder te beseffen dat de "Uitsmijter" aanwezig is, kun je per ongeluk een vals verhaal verzinnen. De beste aanpak is om je aannames in kaart te brengen (met behulp van die stroomdiagrammen), te erkennen dat je de data niet altijd perfect kunt herstellen, en in plaats daarvan te testen hoeveel je resultaten zouden veranderen als de fouten groter of kleiner zouden zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.