Developing and assessing a scale for measuring human–AI alignment in hiring decisions

在现代世界中，机遇的守门人正在发生变化。几十年来，雇佣某人的决定完全取决于人类的判断，这一过程受到经验、直觉以及有时存在的无意识偏见的影响。如今，人工智能正越来越多地介入这一角色，在人类看到名字之前，先筛选数以千计的简历并做出初步选择。这种转变提出了一个根本性的问题：当机器做出招聘决策时，它的思考方式是否像人？答案并不在于简单地询问计算机是对是错，研究人员实际上是在探究机器的选择在多大程度上镜像了人类实际决策时那种混乱、多样且往往不一致的方式。为了理解这一点，科学家们开始不仅将招聘视为一种经济交易，更将其视为一种对齐测试，衡量人类推理与算法逻辑之间的距离。

一个研究团队致力于通过一种他们称为“劳动力市场图灵测试”的新方法来测量这种距离。经典的图灵测试由几十年前提出，旨在观察机器是否能让一个人相信它也是人类。而这个新版本则颠覆了剧本。它不是在问机器能否欺骗人类，而是在问机器的决策在多大程度上看起来像人的决策。研究人员并非简单地要求人工智能挑选最佳候选人。他们在厄瓜多尔设计了一个受控实验，涉及277名专业人类招聘人员。这些真实的人被雇佣来评审十种不同类型工作的两两申请人，涵盖从仓库助理到软件开发人员的各种职位。为了确保测试公平，并专注于决策风格而非特定的资历，每组配对中的申请人在技能、教育和经验方面都是匹配的。他们之间唯一的区别是身份标识，例如性别、性取向或移民状态——这些因素在逻辑上不应影响谁被录用。

人类招聘人员做出了他们的选择，随后研究人员构建了一个数字镜像。他们创建了四个不同的由大语言模型驱动的人工智能代理团队，执行完全相同的任务。第一支被称为“机器人”（Robots）的团队，仅接收挑选最佳候选人的基本指令。第二支“化身”（Avatars）团队被要求模仿特定的招聘人员，模拟其性格特征、受教育程度和职业背景。第三支“克隆”（Clones）团队则更进一步；他们不仅被要求模仿特定的某个人，还被限制只能看到该人类所看到的相同信息，且顺序完全一致。最后一支“随机主义者”（Randomistas）团队通过投掷数字硬币来做出选择，作为纯粹随机性的基准。其目标是观察哪一支AI团队做出的决策看起来最像人类招聘人员。

为了衡量结果，研究人员开发了一个量表，将每一位招聘人员（无论是人类还是机器）都置于一条单一的线上。在线条的一端是一个被称为“天网”（Skynet）的参考点，它代表了基础“机器人”团队做出的平均选择。这并不是衡量公平性的指标，而是衡量纯粹的算法一致性。一个总是与“天网”保持一致的招聘人员表现得高度类机器化。而经常与“天网”产生分歧的招聘人员则表现得更具人性。研究发现，平均水平的人类招聘人员与机器之间存在显著差异。事实上，人类的选择大约比机器的典型行为偏离了1.73个标准差。这意味着，平均而言，人类比基础人工智能更缺乏可预测性和一致性。

研究人员发现，他们越试图让AI表现得像人，AI就越接近人类的平均水平，但却从未真正抵达。即使是那些被编程为模仿特定人类并受限于观察相同信息的“克隆”团队，其产生的选择模式在统计学上仍与真实的人类不同。最令人惊讶的发现来自“随机主义者”。那些仅仅通过投掷硬币来做决定的AI代理，其选择模式竟然比任何复杂的AI团队都更接近人类的平均水平。这表明，人类在招聘中的决策包含了一种随机性或不一致性，即使是最具人性化的AI也难以复制这种特质。人类不仅仅是在做出理性的、基于规则的选择，他们还在做出包含一定不可预测性的选择，而机器即便在被告知要表现得像人时，也无法完全捕捉到这一点。

研究还显示，人类与机器之间的差距会随着工作的复杂程度而扩大。当招聘人员在为简单的职位（如清洁工或仓库工人）进行选择时，人类与机器的意见较为一致。然而，随着工作变得更加繁重，需要专门技能或更高学历时，这种一致性便下降了。机器与人类开始出现更剧烈的分歧。此外，当一对候选人非常相似，仅在年龄或从业年限上有微小差异时，人类与机器的分歧也变得更加频繁。机器似乎会对这些细微之处过度敏感并据此做出决定，而人类则更倾向于认为候选人本质上是平等的。这表明，AI对微小的差异具有超强警觉性，而人类则更容易接受模糊性。

研究人员还探讨了能否解释为什么某些人类比其他人更具“机器感”。他们检查了招聘人员的性格、认知测试得分、受教育程度以及从业经验。令人惊讶的是，这些因素都没有提供明确的解释。一名招聘人员的智力或其从业年限，并不能预测其是否会做出看起来像机器的选择。唯一显示出微弱关联的是性格特征：自尊心较高的招聘人员往往表现得略微更具机器感，而神经质程度较高的招聘人员则略微不那么具有机器感。但即便考虑到这些因素，人类与机器选择之间的绝大部分差异仍然无法得到解释。这表明，人类做出此类决策的方式涉及一个复杂的、隐藏的维度，无法通过标准的调查或测试来衡量。

最终，这项研究表明，完美的模仿人类判断不仅需要捕捉到挑选某种类型候选人的平均倾向，还需要捕捉到人类推理的全方位多样性，包括其不一致性。即使经过调整以使其更具人性化，人工智能系统也往往比人类更具一致性和基于规则的特性。这产生了一个悖论：AI系统越试图做到完美的一致性和理性，它看起来就越不像人类。研究人员认为，这种差异对于理解如何在招聘中使用AI至关重要。如果我们希望AI获得信任，我们需要明白它不会自然地表现得像人。它不会自然地拥抱与人类相同的模糊性或随机性。研究结论指出，在我们把招聘的钥匙交给算法之前，必须认识到这些系统不仅仅是更快速的人类；它们是本质上不同的决策者，运行着一种稳定且受规则约束的逻辑，但这种逻辑往往与人类选择那混乱的现实相异。