Obvious Objectivity of Quantification and the Replication Crisis: the exemple of Human Resource Management Research

In der Welt des Business Managements herrscht der starke Glaube vor, dass Zahlen die Wahrheit sagen. Wenn ein Unternehmen seine Mitarbeiter verstehen möchte, greift es oft auf Umfragen zurück, bei denen Menschen ihre Gefühle auf einer Skala von eins bis fünf oder von „stimme gar nicht zu“ bis „stimme voll und ganz zu“ bewerten. Diese Bewertungen werden dann in Computerprogramme eingespeist, die die Zahlen berechnen, um Muster zu finden, Ideen zu testen und zu erklären, was die Arbeitsweise von Menschen über die Wahrheit aussagt. Dieser Ansatz, bekannt als quantitative Forschung, ist zum Standard in der Untersuchung der Humanressourcen geworden. Er verspricht ein Maß an Objektivität und Präzision, das sich wissenschaftlich anfühlt, ähnlich wie das Messen der Temperatur oder des Gewichts eines Objekts. Viele Wissenschaftler sind jedoch besorgt, dass dieses Vertrauen in Zahlen fehl am Platz sein könnte. Sie argumentieren, dass die Werkzeuge, die zur Messung menschlicher Gedanken und Verhaltensweisen verwendet werden, oft so behandelt werden, als würden sie physische Dinge messen, obwohl sich Gefühle und Einstellungen nicht wie Temperatur oder Gewicht verhalten. Diese Spannung hat zu einer Vertrauenskrise geführt, bei der Studien, die auf dem Papier solide erscheinen, nicht dieselben Ergebnisse liefern, wenn andere versuchen, sie zu wiederholen.

Zwei Forscher der Université du Québec à Rimouski beschlossen zu untersuchen, ob diese Vertrauenskrise innerhalb des Feldes des Human Resource Managements stattfindet. Sie stellten eine einfache, aber tiefgründige Frage: Sind die Methoden, die Forscher verwenden, um Mitarbeiter zu untersuchen, tatsächlich so rigoros, wie sie scheinen, oder folgen sie nur einem Satz von Gewohnheiten, die eine Illusion von Gewissheit erzeugen? Um dies herauszufinden, führten sie kein neues Experiment durch und erhoben keine neuen Daten von einem einzelnen Unternehmen. Stattdessen führten sie eine massive Überprüfung bestehender Forschungsergebnisse durch. Sie sammelten 398 Artikel, die in den zehn führenden internationalen Fachzeitschriften für Human Resource Management veröffentlicht wurden. Aus diesem großen Haufen filterten sie 82 Studien heraus, die Zahlen und Statistiken verwendeten, um Fragen darüber zu beantworten, wie Menschen geführt werden, wie sie leiten und wie sie sich in Organisationen verhalten. Ihr Ziel war es zu sehen, wie diese Studien drei spezifische, häufige Praktiken handhabten: wie sie mit Umfragebewertungen umgingen, wie sie ihre Ideen testeten und wen sie um Antworten baten.

Die Forscher fanden heraus, dass das Feld tief in einem System verwurzelt ist, das die Erscheinung von Rigorosität über die tatsächliche methodische Fundierung priorisiert. Zuerst untersuchten sie, wie Forscher mit Umfragebewertungen umgehen. In diesen Studien werden Menschen oft gebeten, aus einer Liste von Optionen zu wählen wie „stimme gar nicht zu“, „stimme nicht zu“, „neutral“, „stimme zu“ und „stimme voll und ganz zu“. Dies sind Ordinalskalen, da sie eine Ordnung aufzeigen, aber der Abstand zwischen „stimme nicht zu“ und „neutral“ ist nicht notwendigerweise derselbe wie der Abstand zwischen „neutral“ und „stimme zu“. Ungeachtet dessen behandelte die überwiegende Mehrheit der Studien diese Bewertungen so, als wären sie präzise Messungen, wie Zoll oder Kilogramm. Sie berechneten Durchschnittswerte und verwendeten komplexe statistische Formeln, die von gleichen Abständen zwischen den Auswahlmöglichkeiten ausgehen. Die Forscher fanden heraus, dass 66 Prozent der quantitativen Studien dies taten, wodurch subjektive Meinungen effektiv in künstliche Zahlen verwandelt wurden, die zwar präzise aussehen, aber über keine echte mathematische Grundlage verfügen.

Als Nächstes untersuchte das Team, wie diese Studien ihre Ideen testeten. Die meiste Forschung stützte sich auf ein Standardverfahren namens Nullhypothesen-Signifikanztest. Vereinfacht ausgedrückt ist dies eine Methode, bei der Forscher versuchen zu beweisen, dass ein Ergebnis kein bloßer Zufall ist. Wenn die Mathematik zeigt, dass das Ergebnis unwahrscheinlich durch Zufall zustande gekommen ist, erklären sie es für einen Erfolg. Die Forscher fanden heraus, dass 93 Prozent der Studien diese Methode als ihren primären Weg nutzten, um zu entscheiden, was wahr ist. Sie stellten fest, dass dies eher zu einer routinierten Gewohnheit als zu einer durchdachten Entscheidung geworden war. Die Studien hinterfragten selten, ob diese Methode für die spezifische Fragestellung angemessen war. Stattdessen wurde das Vorhandensein eines spezifischen statistischen Ergebnisses zu einem Signal dafür, dass die Arbeit wissenschaftlich sei, ungeachtet dessen, ob die zugrunde liegenden Daten eine solch starke Schlussfolgerung tatsächlich stützten.

Das dritte Problem, das die Forscher aufdeckten, betraf die Frage, wer tatsächlich untersucht wurde. Um eine gültige Aussage über eine ganze Gruppe von Menschen zu treffen, muss ein Forscher idealerweise Teilnehmer zufällig auswählen, etwa durch das Ziehen von Namen aus einem Hut, damit jeder die gleiche Chance hat, einbezogen zu werden. Dies stellt sicher, dass die Ergebnisse auf die breitere Bevölkerung übertragen werden können. Die Überprüfung zeigte jedoch, dass 98 Prozent der Studien nicht-zufällige Stichproben verwendeten. Das bedeutet, dass die Forscher einfach diejenigen fragten, die verfügbar waren, wie etwa Mitarbeiter eines bestimmten Unternehmens, die bereit waren teilzunehmen, oder Menschen, die sich freiwillig für eine Online-Umfrage meldeten. Da diese Gruppen nicht zufällig sind, teilen sie oft spezifische Merkmale, die die Ergebnisse verzerren. Beispielsweise könnten Menschen, die sich freiwillig zu einer Umfrage über die Arbeitszufriedenheit melden, zufriedener oder engagierter sein als der Durchschnittsarbeiter. Die Forscher fanden heraus, dass fast keine der Studien dies als großes Problem bezeichnete. Stattdessen präsentierten sie ihre Ergebnisse so, als ließen sie sich auf alle Arbeitnehmer übertragen, wobei sie ignorierten, dass ihre Daten von einer sehr spezifischen, nicht-zufälligen Gruppe stammten.

Der vielleicht bemerkenswerteste Befund war nicht nur, dass diese Praktiken verbreitet waren, sondern dass sie selten als Probleme diskutiert wurden. Wenn Forscher eine Arbeit schreiben, fügen sie meist am Ende einen Abschnitt ein, um die Schwächen oder Einschränkungen der Studie aufzuführen. Die Autoren dieser Übersicht prüften diese Abschnitte, um zu sehen, ob die Forscher angaben, nicht-zufällige Stichproben verwendet zu haben, Bewertungen als präzise Zahlen zu behandeln oder sich stark auf Standard-Statistiktests zu verlassen. Sie fanden heraus, dass so gut wie niemand dies tat. Nur ein Artikel von 82 erwähnte den übermäßigen Gebrauch statistischer Tests als eine Einschränkung. Die anderen beiden Hauptprobleme wurden fast vollständig ignoriert. Dieses Schweigen deutet darauf hin, dass diese Methoden so normalisiert wurden, dass Forscher sie nicht mehr als Entscheidungen ansehen, die einer Rechtfertigung bedürfen. Sie sind einfach die Art und Weise, wie die Dinge gemacht werden.

Die Forscher argumentieren, dass diese Situation einen sich selbst verstärkenden Kreislauf schafft. Weil alle diese Methoden verwenden, wirken sie legitim. Weil sie legitim wirken, veröffentlichen Journale sie, und Studenten werden angewiesen, sie zu nutzen. Dies schafft eine Form der „hegemonialen Robustheit“, bei der sich das Feld stark und wissenschaftlich anfühlt, weil es einem Satz gemeinsamer Regeln folgt, selbst wenn diese Regeln auf wackeligen Fundamenten stehen. Das Ergebnis ist ein Wissensstand, der präzise aussieht, aber möglicherweise nicht zuverlässig ist. Wenn andere Wissenschaftler versuchen, diese Studien mit anderen Gruppen von Menschen oder leicht veränderten Methoden zu wiederholen, stimmen die Ergebnisse oft nicht überein. Dies ist das Herz der Replikationskrise: die Unfähigkeit, Ergebnisse zu reproduzieren, die einst als solide galten.

Das Paper kommt zu dem Schluss, dass die Lösung nicht darin besteht, die Verwendung von Zahlen einzustellen oder die Untersuchung von Humanressourcen aufzugeben. Stattdessen fordern die Forscher einen ehrlicheren und reflektierteren Ansatz. Sie schlagen vor, dass Wissenschaftler transparent über die Grenzen ihrer Werkzeuge sein müssen. Wenn eine Umfragebewertung keine präzise Messung ist, sollten sie das auch so benennen. Wenn eine Stichprobe nicht zufällig ist, sollten sie erklären, wie dies die Reichweite ihrer Aussagen einschränkt. Sie drängen das Feld dazu, sich von der Vorstellung zu lösen, statistische Formeln seien magische Sprüche, die Wahrheit garantieren, und stattdessen zu einem tieferen Verständnis dessen überzugehen, was die Daten tatsächlich repräsentieren. Indem Forscher die Unvollkommenheiten ihrer Methoden anerkennen, könnten sie ein ehrlicheres und dauerhafteres Fundament für das Verständnis der Arbeitswelt schaffen, anstatt sich auf ein System zu verlassen, das die Erscheinung von Gewissheit produziert, während es seine eigenen Mängel verbirgt.