Selection on the Outcome: The Fraction of Nonresponse Bias That Survey Weighting Removes, with an Application to Subjective Well-Being

Elke keer dat een onderzoeker wil begrijpen hoe mensen over hun leven denken, vraagt hij meestal aan een steekproef van mensen om een enquête in te vullen. Het doel is om de antwoorden van die paar duizend respondenten te gebruiken om de gevoelens van miljoenen mensen te beschrijven. Maar er is een addertje onder het gras: niet iedereen neemt de telefoon op of vult het formulier in. Sommige mensen zijn te druk, sommige zijn te ziek, en sommige willen simpelweg niet met vreemden praten. Dit wordt non-respons genoemd, en het creëert een kloof tussen de mensen die antwoordden en de mensen die dat niet deden. Als de mensen die thuisblijven anders zijn op precies de manier waarop de onderzoeker probeert te meten, dan zal het definitieve getal onjuist zijn. Decennialang was de standaardoplossing voor dit probleem wegingsfactoren. Onderzoekers nemen de antwoorden die ze hebben en passen deze wiskundig aan om te voldoen aan de bekende demografische kenmerken van het hele land, zoals leeftijd, geslacht, opleiding en waar mensen wonen. Het idee is dat als de steekproef op papier lijkt op de populatie, de antwoorden ook representatief moeten zijn.

Deze aanpak werkt goed wanneer de reden waarom mensen de enquête overslaan gerelateerd is aan die demografische feiten. Als oudere mensen minder waarschijnlijk antwoorden, en de onderzoeker weet hoeveel oudere mensen er in het land zijn, dan kan hij simpelweg de antwoorden van de oudere respondenten meer gewicht geven om de schaal in evenwicht te brengen. Echter, een nieuwe analyse suggereert dat deze standaardoplossing volledig faalt wanneer de reden waarom mensen overslaan precies datgene is wat wordt gemeten: hun eigen geluk. Als ongelukkige mensen minder waarschijnlijk deelnemen omdat ze zich te neerslachtig voelen om te praten, of als zeer gelukkige mensen te druk zijn met het genieten van hun leven om te antwoorden, dan kan geen enkele demografische aanpassing de resulterende fout herstellen. Het artikel stelt dat in het vakgebied van het subjectief welzijn de standaardcorrectie bijna geen enkele bias wegneemt, waardoor de definitieve cijfers vertekend blijven op een manier die onderzoekers grotendeels niet hebben opgemerkt.

De studie, geleid door Shay Tsaban, onderzoekt precies hoeveel van deze verborgen fout overblijft nadat onderzoekers hun gebruikelijke wegingstechnieken toepassen. De kernontdekking is dat de effectiviteit van de oplossing volledig afhangt van hoeveel iemands geluk voorspeld kan worden door hun achtergrond. Als geluk sterk verbonden zou zijn met leeftijd of inkomen, zou de standaardweging goed werken. Maar decennia aan onderzoek in dit veld hebben echter het tegenovergestelde vastgesteld: de levensomstandigheden van een persoon verklaren heel weinig van waarom zij zich gelukkig of ongelukkig voelen. Het artikel berekent dat de standaardvariabelen die voor weging worden gebruikt — leeftijd, geslacht, ras, opleiding en regio — slechts ongeveer 1,7 procent van de verschillen in gerapporteerd geluk verklaren onder bijna 70.000 mensen in de General Social Survey. Omdat deze variabelen zo weinig verklaren, kan het weggingsproces slechts ongeveer 1,7 procent van de bias veroorzaakt door ongelukkige mensen die uitvallen, verwijderen. Het laat meer dan 98 procent van de fout ongemoeid.

Dit bevinding zet een veelvoorkomende statistiek op zijn kop. Jarenlang hebben onderzoekers de lage voorspellende kracht van demografie aangehaald als bewijs dat geluk een interne staat is, en niet slechts een product van materiële omstandigheden. Tsabans werk laat zien dat ditzelfde lage getal ook de herstelratio is van de standaardcorrectie in het vakgebied. Het feit dat omstandigheden gevoelens niet bepalen, is juist wat de standaard enquête-oplossing zo ineffectief maakt. Het artikel illustreert dit met een duidelijk contrast. In een andere studie naar gezondheidsgegevens uit Denemarken hadden onderzoekers toegang tot nationale registers die zowel medische dossiers bevatten voor deelnemers als voor niet-deelnemers. Omdat medische dossiers sterke voorspellers zijn voor wie uit een studie uitvalt, verklaarden de wegingsvariabelen in dat geval een groot deel van de uitkomst. Daar verwijderde de weging succesvol het grootste deel van de bias. Het verschil tussen de twee gevallen was niet de kwaliteit van de wiskunde, maar de informatie die beschikbaar was om de wiskunde uit te voeren. In welzijnsresearch is de noodzakelijke informatie simpelweg niet aanwezig in de standaard demografische gegevens.

De gevolgen van dit over het hoofd zien zijn aanzienlijk voor hoe we de wereld begrijpen. Het artikel onderzoekt zes veelvoorkomende soorten conclusies die uit welzijnsenquêtes worden getrokken, zoals het vergelijken van geluk tussen verschillende landen, het volgen van veranderingen in de loop van de tijd, of het kijken naar verschillen tussen leeftijdsgroepen. In bijna elk geval verloopt de bias in een voorspelbare richting. Omdat ongelukkige mensen eerder uitvallen, is de resterende groep iets gelukkiger dan de werkelijke populatie. Dit betekent dat nationale gemiddelden waarschijnlijk te hoog zijn, en dat het gat tussen gelukkige en ongelukkige groepen kleiner is dan het in werkelijkheid is. Wanneer onderzoekers bijvoorbeeld zien dat geluk stijgt bij het ouder worden, suggereert het artikel dat dit mogelijk een illusie is, gecreëerd door het feit dat de minst gelukkige ouderen al gestopt zijn met deelnemen. Op dezelfde manier, wanneer onderzoekers kijken naar ongelijkheid in geluk, geeft de data waarschijnlijk een onderschatting van hoe ongelijk de zaken werkelijk zijn, omdat de meest getergde individuen ontbreken aan de onderkant van de schaal.

Ondanks de ernst van het probleem merkt het artikel op dat de onderzoeksgemeenschap er vrijwel geen aandacht aan heeft besteed. Een audit van meer dan 1.600 recente artikelen in top-welzijnsbladen toonde aan dat, hoewel 72 procent van hen vertrouwde op enquêtegegevens, slechts ongeveer 1,4 procent melding maakte van non-respons, uitval of de beperkingen van hun steekproef. Onderzoekers hebben decennia besteed aan het verfijnen van de vragen die ze stellen en aan het controleren of verschillende culturen de woorden op dezelfde manier interpreteren, maar ze hebben grotendeels genegeerd of de mensen die de vragen beantwoorden wel de hele populatie vertegenwoordigen. Het artikel stelt dat dit een kritieke blinde vlek is. De oplossing vereist geen nieuwe theorie over geluk, maar eerder een verandering in de manier waarop onderzoekers hun gegevens behandelen. In plaats van ervan uit te gaan dat weging het probleem heeft opgelost, zouden onderzoekers moeten rapporteren hoeveel van de bias overblijft en methoden uit medisch onderzoek moeten gebruiken om de mogelijke fout te begrenzen. Dit houdt in dat zij moeten erkennen dat het definitieve getal een schatting is met een bekende, significante foutmarge, in plaats van een nauwkeurige meting van de stemming van de populatie.

De studie concludeert dat het vakgebied moet stoppen met het behandelen van het gewogen gemiddelde als een sluitende oplossing. De standaard demografische aanpassingen zijn geen toverstaf die de ontbrekende mensen laten verschijnen; het zijn gedeeltelijke oplossingen die alleen werken wanneer de ontbrekende mensen ontbreken om demografische redenen. Wanneer zij ontbreken vanwege hun gevoelens, faalt de oplossing. De weg voorwaarts houdt in dat men accepteert dat de huidige gegevens incompleet zijn en nieuwe instrumenten gebruikt om de omvang van de kloof te meten. Door technieken te lenen uit medisch onderzoek, waar ontbrekende gegevens worden behandeld als een ernstige bedreiging voor de validiteit, kunnen welzijnsonderzoekers eindelijk het volledige beeld van menselijk geluk in beeld brengen, inclusief de delen die momenteel verborgen blijven in de stilte van degenen die niet hebben geantwoord.