Obvious Objectivity of Quantification and the Replication Crisis: the exemple of Human Resource Management Research

Dans le monde de la gestion d'entreprise, il existe une croyance profonde selon laquelle les chiffres disent la vérité. Lorsqu'une entreprise souhaite comprendre ses employés, elle se tourne souvent vers des sondages où les gens évaluent leurs sentiments sur une échelle de un à cinq, ou de « pas du tout d'accord » à « tout à fait d'accord ». Ces évaluations sont ensuite injectées dans des programmes informatiques qui traitent les chiffres pour trouver des modèles, tester des idées et déclarer ce qui est vrai concernant la manière dont les gens travaillent. Cette approche, connue sous le nom de recherche quantitative, est devenue la norme pour étudier les ressources humaines. Elle promet un niveau d'objectivité et de précision qui semble scientifique, un peu comme la mesure de la température ou du poids d'un objet. Cependant, un nombre croissant de scientifiques s'inquiètent du fait que cette confiance dans les chiffres pourrait être mal placée. Ils soutiennent que les outils utilisés pour mesurer les pensées et les comportements humains sont souvent traités comme s'ils mesuraient des choses physiques, même si les sentiments et les attitudes ne se comportent pas comme la température ou le poids. Cette tension a conduit à une crise de confiance, où des études qui semblent solides sur le papier ne produisent pas les mêmes résultats lorsque d'autres tentent de les reproduire.

Deux chercheurs de l'Université du Québec à Rimouski ont décidé d'examiner si cette crise se produit à l'intérieur du domaine de la gestion des ressources humaines. Ils ont posé une question simple mais profonde : les méthodes utilisées par les chercheurs pour étudier les employés sont-elles réellement aussi rigoureuses qu'elles le paraissent, ou ne font-elles que suivre un ensemble d'habitudes qui créent une illusion de certitude ? Pour le découvrir, ils n'ont pas mené une nouvelle expérience ou collecté de nouvelles données auprès d'une seule entreprise. Au lieu de cela, ils ont effectué une revue massive de la recherche existante. Ils ont rassemblé 398 articles publiés dans les dix meilleures revues internationales dédiées à la gestion des ressources humaines. De cet immense tas, ils ont filtré 82 études qui utilisaient des chiffres et des statistiques pour répondre à des questions sur la façon dont les gens sont gérés, comment ils dirigent et comment ils se comportent dans les organisations. Leur objectif était de voir comment ces études traitaient trois pratiques spécifiques et courantes : la manière dont elles traitaient les évaluations de sondage, la manière dont elles testaient leurs idées et qui elles interrogeaient pour obtenir des réponses.

Les chercheurs ont découvert que le domaine est profondément ancré dans un système qui privilégie l'apparence de la rigueur au détriment de la validité méthodologique réelle. Premièrement, ils ont examiné comment les chercheurs gèrent les évaluations de sondage. Dans ces études, on demande souvent aux gens de choisir parmi une liste d'options comme « pas du tout d'accord », « pas d'accord », « neutre », « d'accord » et « tout à fait d'accord ». Ce sont des échelles ordinales car elles montrent un ordre, mais la distance entre « pas d'accord » et « neutre » n'est pas nécessairement la même que la distance entre « neutre » et « d'accord ». Malgré cela, la grande majorité des études a traité ces évaluations comme s'il s'agissait de mesures précises, comme des pouces ou des kilogrammes. Elles ont calculé des moyennes et utilisé des formules statistiques complexes qui supposent un espacement égal entre les choix. Les chercheurs ont constaté que 66 % des études quantitatives ont fait cela, transformant ainsi des opinions subjectives en faux chiffres qui paraissent précis mais manquent d'un véritable fondement mathématique.

Ensuite, l'équipe a examiné comment ces études testaient leurs idées. La plupart des recherches reposaient sur une procédure standard appelée test de signification de l'hypothèse nulle. En termes simples, il s'agit d'une méthode où les chercheurs tentent de prouver qu'un résultat n'est pas seulement un coup de chance aléatoire. Si les mathématiques montrent que le résultat est peu susceptible de se produire par hasard, ils déclarent que c'est un succès. Les chercheurs ont constaté que 93 % des études utilisaient cette méthode comme leur principal moyen de décider de ce qui était vrai. Ils ont noté que cela était devenu une habitude routinière plutôt qu'un choix réfléchi. Les études ne remettaient presque jamais en question la pertinence de cette méthode par rapport à la question spécifique posée. Au lieu de cela, la présence d'un résultat statistique spécifique devenait le signal que le travail était scientifique, indépendamment du fait que les données sous-jacentes soutiennent une conclusion aussi forte.

Le troisième problème que les chercheurs ont découvert concernait l'identité des personnes étudiées. Pour faire une affirmation valide sur un groupe entier de personnes, un chercheur doit idéalement choisir des participants de manière aléatoire, comme si l'on tirait des noms d'un chapeau, afin que chacun ait une chance égale d'être inclus. Cela garantit que les résultats peuvent être appliqués à la population plus large. Cependant, la revue a montré que 98 % des études utilisaient des échantillons non aléatoires. Cela signifie que les chercheurs ont simplement interrogé ceux qui étaient disponibles, comme les employés d'une entreprise spécifique qui acceptaient de participer, ou des personnes qui se sont portées volontaires pour remplir un sondage en ligne. Comme ces groupes ne sont pas aléatoires, ils partagent souvent des traits spécifiques qui biaisent les résultats. Par exemple, les personnes qui se portent volontaires pour répondre à un sondage sur la satisfaction au travail pourraient être plus heureuses ou plus engagées que la moyenne des travailleurs. Les chercheurs ont constaté que presque aucune des études n'admettait que cela représentait un problème majeur. Au lieu de cela, elles présentaient leurs conclusions comme si elles s'appliquaient à tous les travailleurs, ignorant le fait que leurs données provenaient d'un groupe très spécifique et non aléatoire.

La découverte la plus frappante fut peut-être non pas que ces pratiques étaient courantes, mais qu'elles étaient rarement discutées comme des problèmes. Lorsque les chercheurs rédigent un article, ils incluent généralement une section à la fin pour énumérer les faiblesses ou les limites de l'étude. Les auteurs de cette revue ont vérifié ces sections pour voir si les chercheurs admettaient l'utilisation d'échantillons non aléatoires, le traitement des évaluations comme des nombres précis, ou le recours massif à des tests statistiques standards. Ils ont découvert que presque personne ne le faisait. Un seul article sur les 82 mentionnait l'utilisation excessive des tests statistiques comme une limite. Les deux autres problèmes majeurs étaient presque totalement ignorés. Ce silence suggère que ces méthodes sont devenues si normalisées que les chercheurs ne les considèrent plus comme des choix nécessitant une justification. Ce sont simplement les façons de faire.

Les chercheurs soutiennent que cette situation crée un cycle auto-renforçant. Parce que tout le monde utilise ces méthodes, elles semblent légitimes. Parce qu'elles semblent légitimes, les revues les publient et les étudiants apprennent à les utiliser. Cela crée une forme de « robustesse hégémonique », où le domaine semble fort et scientifique parce qu'il suit un ensemble de règles partagées, même si ces règles reposent sur des bases fragiles. Le résultat est un corpus de connaissances qui semble précis mais qui peut ne pas être fiable. Lorsque d'autres scientifiques tentent de reproduire ces études avec des groupes de personnes différents ou des méthodes légèrement différentes, les résultats ne correspondent souvent pas. C'est le cœur de la crise de la reproductibilité : l'incapacité de reproduire des découvertes qui étaient autrefois considérées comme solides.

L'article conclut que la solution n'est pas d'arrêter d'utiliser les chiffres ou d'abandonner l'étude des ressources humaines. Au contraire, les chercheurs appellent à une approche plus honnête et réfléchie. Ils suggèrent que les scientifiques doivent être transparents sur les limites de leurs outils. Si une évaluation de sondage n'est pas une mesure précise, ils doivent le dire. Si un échantillon n'est pas aléatoire, ils doivent expliquer comment cela limite ce qu'ils peuvent affirmer. Ils exhortent le domaine à s'éloigner du traitement des formules statistiques comme des formules magiques garantissant la vérité, pour tendre vers une compréhension plus profonde de ce que les données représentent réellement. En reconnaissant les imperfections de leurs méthodes, les chercheurs pourraient construire un fondement plus honnête et durable pour comprendre comment les gens travaillent, plutôt que de s'appuyer sur un système qui produit l'apparence de la certitude tout en cachant ses propres failles.