Obvious Objectivity of Quantification and the Replication Crisis: the exemple of Human Resource Management Research

In de wereld van bedrijfsvoering bestaat een sterke overtuiging dat cijfers de waarheid spreken. Wanneer een bedrijf zijn werknemers wil begrijpen, richt het zich vaak op enquêtes waarbij mensen hun gevoelens beoordelen op een schaal van één tot vijf, of van "eens" tot "oneens". Deze beoordelingen worden vervolgens ingevoerd in computerprogramma's die de cijfers verwerken om patronen te vinden, ideeën te testen en te verklaren wat waar is over hoe mensen werken. Deze aanpak, bekend als kwantitatief onderzoek, is de standaardmethode geworden voor het bestuderen van menselijke hulpbronnen (human resources). Het belooft een niveau van objectiviteit en precisie dat wetenschappelijk aanvoelt, vergelijkbaar met het meten van de temperatuur of het gewicht van een object. Echter, een groeiende groep wetenschappers maakt zich zorgen dat dit vertrouwen in cijfers mogelijk misplaatst is. Zij stellen dat de instrumenten die worden gebruikt om menselijke gedachten en gedragingen te meten, vaak worden behandeld alsof ze fysieke zaken meten, ook al gedragen gevoelens en attitudes zich niet zoals temperatuur of gewicht. Deze spanning heeft geleid tot een crisis van vertrouwen, waarbij studies die op papier solide lijken, niet dezelfde resultaten opleveren wanneer anderen proberen ze te herhalen.

Twee onderzoekers van de Université du Québec à Rimouski besloten te onderzoeken of deze crisis ook plaatsvindt binnen het vakgebied van human resource management. Ze stelden een eenvoudige maar diepzinnige vraag: zijn de methoden die onderzoekers gebruiken om werknemers te bestuderen werkelijk zo rigoureus als ze lijken, of volgen ze slechts een reeks gewoonten die een illusie van zekerheid creëren? Om dit te achterhalen, voerden zij geen nieuw experiment uit of verzamelden zij nieuwe gegevens van een enkel bedrijf. In plaats daarvan voerden zij een massale review uit van bestaand onderzoek. Zij verzamelden 398 artikelen die gepubliceerd waren in de tien belangrijkste internationale tijdschriften gewijd aan human resource management. Uit deze grote stapel filterden zij 82 studies die getallen en statistieken gebruikten om vragen te beantwoorden over hoe mensen worden aangestuurd, hoe zij leiden en hoe zij zich in organisaties gedragen. Hun doel was om te zien hoe deze studies drie specifieke, veelvoorkomende praktijken hanteerden: hoe ze survey-beoordelingen behandelden, hoe ze hun ideeën testten en wie ze om antwoorden vroegen.

De onderzoekers ontdekten dat het vakgebied diep verankerd is in een systeem dat prioriteit geeft aan de schijn van striktheid boven werkelijke methodologische degelijkheid. Ten eerste keken ze naar hoe onderzoekers met survey-beoordelingen omgaan. In deze studies worden mensen vaak gevraagd te kiezen uit een lijst met opties zoals "oneens", "neutraal" en "eens". Dit worden ordinale schalen genoemd omdat ze een volgorde aangeven, maar de afstand tussen "oneens" en "neutraal" is niet noodzakelijkerwijs hetzelfde als de afstand tussen "neutraal" en "eens". Ondanks dit behandelden de overgrote meerderheid van de studies deze beoordelingen echter alsof het precieze metingen waren, zoals inches of kilogrammen. Ze berekenden gemiddelden en gebruikten complexe statistische formules die uitgaan van gelijke tussenruimtes tussen de keuzes. De onderzoekers vonden dat 66 procent van de kwantitatieve studies dit deed, waardoor subjectieve meningen effectief werden omgezet in valse cijfers die precies lijken te zijn, maar die geen reële wiskundige basis hebben.

Vervolgens onderzocht het team hoe deze studies hun ideeën testten. De meeste onderzoeken vertrouwden op een standaardprocedure genaamd nullhypothese-significantietoetsing. In eenvoudige termen is dit een methode waarbij onderzoekers proberen te bewijzen dat een resultaat niet slechts een toevalstreffer is. Als de wiskunde aantoont dat het resultaat onwaarschijnlijk is door toeval, verklaren ze het tot een succes. De onderzoekers ontdekten dat 93 procent van de studies deze methode gebruikte als hun primaire manier om te bepalen wat waar is. Ze merkten op dat dit een routinematige gewoonte is geworden in plaats van een weloverwogen keuze. De studies stelden zelden de vraag of deze methode wel gepast was voor de specifieke vraag die gesteld werd. In plaats daarvan werd de aanwezigheid van een specifiek statistisch resultaat een signaal dat het werk wetenschappelijk was, ongeacht of de onderliggende gegevens een dergelijke sterke conclusie ondersteunden.

Het derde probleem dat de onderzoekers blootlegden, betrof wie er daadwerkelijk werd bestudeerd. Om een geldige claim te kunnen maken over een hele groep mensen, moet een onderzoeker idealiter deelnemers willekeurig selecteren, zoals het trekken van namen uit een hoed, zodat iedereen een gelijke kans heeft om te worden opgenomen. Dit zorgt ervoor dat de resultaten kunnen worden toegepast op de bredere populatie. De review toonde echter aan dat 98 procent van de studies gebruik maakte van niet-willekeurige steekproeven. Dit betekent dat de onderzoekers simpelweg vroegen aan wie ook maar beschikbaar was, zoals werknemers van een specifiek bedrijf die bereid waren deel te nemen, of mensen die vrijwillig een enquête invulden via internet. Omdat deze groepen niet willekeurig zijn, delen ze vaak specifieke kenmerken die de resultaten vertekenen. Zo kunnen mensen die vrijwillig een enquête over werktevredenheid invullen, bijvoorbeeld gelukkiger of enthousiaster zijn dan de gemiddelde werknemer. De onderzoekers ontdekten dat bijna geen van de studies toegaf dat dit een groot probleem was. In plaats daarvan presenteerden zij hun bevindingen alsof ze golden voor alle werknemers, waarbij ze negeerden dat hun gegevens afkomstig waren van een zeer specifieke, niet-willekeurige groep.

Misschien wel de meest opvallende bevinding was niet alleen dat deze praktijken gebruikelijk waren, maar dat ze zelden als problemen werden besproken. Wanneer onderzoekers een artikel schrijven, voegen ze meestal aan het einde een sectie toe waarin ze de zwaktes of beperkingen van de studie vermelden. De auteurs van deze review controleerden deze secties om te zien of de onderzoekers toegaven dat ze niet-willekeurige steekproeven gebruikten, survey-beoordelingen als precieze getallen behandelden of zwaar vertrouwden op standaard statistische toetsen. Ze ontdekten dat bijna niemand dat deed. Slechts één artikel uit de 82 noemde het overmatige gebruik van statistische toetsing als een beperking. De andere twee grote problemen werden bijna volledig genegeerd. Deze stilte suggereert dat deze methoden zo genormaliseerd zijn geraakt dat onderzoekers ze niet langer zien als keuzes die rechtvaardiging behoeven. Het is simpelweg de manier waarop de dingen gebeuren.

De onderzoekers stellen dat deze situatie een zelfversterkende cyclus creëert. Omdat iedereen deze methoden gebruikt, lijken ze legitiem. Omdat ze legitiem lijken, publiceren tijdschriften ze, en worden studenten geleerd ze te gebruiken. Dit creëert een vorm van "hegemoniale robuustheid", waarbij het vakgebied sterk en wetenschappelijk aanvoelt omdat het een reeks gedeelde regels volgt, zelfs als die regels op drijfzand zijn gebouwd. Het resultaat is een kennisvoorraad die precies lijkt, maar mogelijk niet betrouwbaar is. Wanneer andere wetenschappers proberen deze studies te herhalen met andere groepen mensen of licht afwijkende methoden, komen de resultaten vaak niet overeen. Dit is de kern van de replicatiecrisis: het onvermogen om bevindingen te reproduceren die ooit als solide werden beschouwd.

Het artikel concludeert dat de oplossing niet is om te stoppen met het gebruik van getallen of om het onderzoek naar human resources op te geven. In plaats daarvan pleiten de onderzoekers voor een eerlijkere en meer reflectieve aanpak. Ze suggerien dat wetenschappers transparant moeten zijn over de grenzen van hun instrumenten. Als een survey-beoordeling geen precieze meting is, moeten ze dat ook zeggen. Als een steekproef niet willekeurig is, moeten ze uitleggen hoe dat de claims die ze doen beperkt. Ze dringen er bij het vakgebied op aan om weg te bewegen van het behandelen van statistische formules als magische spreuken die waarheid garanderen, en toe te bewegen naar een dieper begrip van wat de gegevens daadwerkelijk representeren. Door de imperfecties in hun methoden te erkennen, zouden onderzoekers een eerlijker en duurzamer fundament kunnen bouwen voor het begrijpen van hoe mensen werken, in plaats van te vertrouwen op een systeem dat de schijn van zekerheid produceert terwijl het zijn eigen gebreken verbergt.