Obvious Objectivity of Quantification and the Replication Crisis: the exemple of Human Resource Management Research

在商业管理领域，存在一种强烈的信念，即数字会讲述真相。当一家公司想要了解其员工时，通常会转向调查问卷，让人们在 1 到 5 分之间，或在“非常不同意”到“非常同意”之间进行评分。这些评分随后被输入计算机程序，通过计算数字来寻找模式、测试想法，并宣布关于人们如何工作的真理。这种被称为定量研究的方法已成为研究人力资源的标准化方式。它承诺了一种类似于测量温度或物体重量般的客观性和精确度，让人感觉具有科学性。然而，越来越多的科学家担心，这种对数字的信心可能被误放了。他们认为，用于衡量人类思想和行为的工具经常被当作是在测量物理实体，尽管感受和态度并不像温度或重量那样运作。这种紧张关系导致了一场信心危机，即那些在纸面上看起来很扎实的研究，在他人尝试重复实验时却无法产生相同的结果。

魁北克大学里穆斯基分校的两名研究人员决定调查人力资源管理领域是否正在发生这种危机。他们提出了一个简单而深刻的问题：研究人员用来研究员工的方法真的像它们看起来那样严谨吗，还是仅仅在遵循一套创造了确定性错觉的习惯？为了找出答案，他们并没有进行新的实验或从单一公司收集新鲜数据。相反，他们对现有研究进行了大规模的回顾。他们收集了发表在十本国际顶级人力资源管理期刊上的 398 篇文章。从这堆庞大的资料中，他们筛选出 82 项利用数字和统计学来回答关于人员管理、领导力以及组织内行为问题的研究。他们的目标是观察这些研究是如何处理三个特定且常见的做法：如何处理调查评分、如何测试其观点，以及向谁寻求答案。

研究人员发现，该领域深陷于一种优先考虑“严谨的外表”而非“实际方法论健全性”的系统中。首先，他们观察了研究人员如何处理调查评分。在这些研究中，人们经常被要求从一系列选项中做出选择，例如“非常不同意”、“不同意”、“中立”、“同意”和“非常同意”。这些被称为定序尺度，因为它们显示出一种顺序，但“不同意”与“中立”之间的距离并不一定等于“中立”与“同意”之间的距离。尽管如此，绝大多数研究仍将这些评分视为精确的测量值，就像英寸或公斤一样。他们计算平均值并使用复杂的统计公式，这些公式假设选项之间的间距是相等的。研究人员发现，66% 的定量研究都这样做，实际上是将主观意见转化成了看似精确但缺乏真实数学基础的虚假数字。

接下来，团队检查了这些研究如何测试其观点。大多数研究依赖于一种被称为“零假设显著性检验”的标准程序。简单来说，这是一种研究人员试图证明结果并非偶然巧合的方法。如果数学显示该结果不太可能是由随机因素导致的，他们就会宣布成功。研究人员发现，93% 的研究使用这种方法作为判定真理的主要手段。他们指出，这已经变成了一种常规习惯，而非深思熟虑的选择。这些研究很少质疑这种方法是否适用于特定的问题。相反，特定统计结果的存在成为了科学性的信号，无论底层的实际数据是否支持如此强力的结论。

第三个研究人员揭示的问题涉及研究对象是谁。为了对一个群体做出有效的断言，研究人员理想情况下需要随机抽取参与者，就像从帽子里抽签一样，以确保每个人都有被包含的机会。这能确保结果可以推广到更广泛的人群。然而，这项回顾显示，98% 的研究使用了非随机样本。这意味着研究人员只是询问了任何可用的人员，例如愿意参与的特定公司的员工，或者是通过网络填写调查问卷的志愿者。由于这些群体不是随机的，他们往往拥有会扭曲结果的特定特征。例如，那些自愿参加关于工作满意度调查的人，可能比平均水平的工人更快乐或更有投入感。研究人员发现，几乎没有研究承认这是一个重大问题。相反，他们将研究结果呈现为适用于所有劳动者，忽略了其数据来自于一个非常特定且非随机群体的这一事实。

或许最令人震惊的发现不在于这些做法很普遍，而在于它们极少被作为问题进行讨论。当研究人员撰写论文时，他们通常会在结尾部分列出研究的弱点或局限性。这篇综述的作者检查了这些部分，以查看研究人员是否承认使用了非随机样本、将评分视为精确数字，或过度依赖标准统计测试。他们发现几乎没有人这样做。在 82 篇文章中，只有一篇提到了过度使用统计测试是一个局限性。另外两个主要问题则几乎被完全忽略了。这种沉默表明，这些方法已经变得如此常态化，以至于研究人员不再将其视为需要解释的选择。它们仅仅是“做事的方式”。

研究人员认为，这种情况创造了一个自我强化的循环。因为每个人都使用这些方法，它们看起来就显得合法；因为它们看起来合法，期刊便发表它们，学生也学习使用它们。这创造了一种“霸权稳健性”（hegemonic robustness），即该领域通过遵循一套共享的规则，表现得既强大又科学，即便这些规则建立在不稳固的基础之上。其结果是一套看起来精确但可能并不可靠的知识体系。当其他科学家尝试用不同的群体或略有不同的方法来重复这些研究时，结果往往无法匹配。这就是复制危机（replication crisis）的核心：即无法重现曾经被认为是坚实的发现。

论文总结道，解决方案并不是停止使用数字或放弃对人力资源的研究。相反，研究人员呼吁采取一种更加诚实和反思性的方法。他们建议，科学家需要透明地说明其工具的局限性。如果一个调查评分不是精确的测量，他们应当如实说明。如果样本不是随机的，他们应当解释这如何限制了他们所能做出的断言。他们敦促该领域不要再将统计公式视为保证真理的“魔法咒语”，而是转向对数据实际代表意义的更深层理解。通过承认方法的缺陷，研究人员可以建立一个更诚实、更持久的理解人类工作方式的基础，而不是依赖于一个通过隐藏自身缺陷来制造“确定性假象”的系统。