AI Agents Push Humans Out of the Loop

在现代职场中，从医院到企业办公室，一种新型的数字助手正在承担越来越多的责任。这些不再是仅仅等待指令并执行单一任务的简单工具；它们是能够自主进行规划、做出决策并执行复杂动作序列的自主智能体。由于这些系统可以表现出如此高的独立性，专家和监管机构长期以来一直坚持一条安全规则：必须始终有人在旁观察，以便在出现问题时随时介入。这种被称为“人类在环”（human in the loop）的概念，假设人类能够有效地监控机器，发现错误并否决错误的决策。然而，这一假设依赖于一个关键的信念：即人类观察者在观察机器工作时，能保持敏锐、熟练并具备深度思考的能力。

最近的一篇论文直接挑战了这一信念。来自 Hugging Face 和 Data & Society 的研究人员认为，使用这些先进 AI 智能体的行为本身，正在缓慢地侵蚀监督这些智能体所需的人类技能。他们指出，随着我们将更多的控制权交给机器，我们理解正在发生的事情、质疑机器逻辑以及捕捉错误的能力正在逐渐消失。这创造了一个危险的悖论：AI 变得越强大，人类的能力就变得越弱，直到人类不再是真正的监督者，而仅仅是一个被动的名义人物，在最需要干预的时候无法采取行动。这篇论文不仅识别了这一问题，还描绘了当前的设计是如何使问题恶化的，并提出了一种新的构建系统的方法，即将人类的认知极限视为核心工程要求，而非事后的补救措施。

研究人员首先解释了为什么目前的监督方法正在失效。过去，当计算机执行简单任务时，人类可以轻松检查最终结果。如果计算器给出了错误的数字，错误是显而易见的。但今天的 AI 智能体不同。它们不仅产生一个答案，还会创建长链条的推理过程，选择不同的软件工具，并与其它系统交互以完成目标。要监督这种过程，人类需要实时跟随一个快速移动且复杂的叙事过程，理解智能体采取的每一步骤。论文指出，目前的界面并不能对此提供帮助。相反，它们往往会让用户感到信息过载，或者以难以理解的方式呈现信息。当人类被要求审查长长的动作列表或批准一系列决策时，他们往往会陷入“审批疲劳”状态。他们不再仔细阅读，而是为了让工作继续进行而开始盲目点击“批准”，从而过度信任机器。

这引出了论文的核心发现：自动化过程正在积极地退化人类的心智。作者引用研究表明，当人们过度依赖自动化系统时，他们的批判性思维能力会开始萎缩，就像不再使用的肌肉一样。他们称之为“脱技”（deskilling）或“直觉锈蚀”（intuition rust）。当一个人不再练习分析问题的艰苦过程，因为机器已经代劳时，他们就会失去独立进行这项工作的能力。这对专家而言尤其如此；即使是一位利用 AI 智能体编写新语言代码的高级软件开发人员，也可能会发现自己对该语言的理解随着时间的推移而削弱。论文指出，这不仅仅是疲劳的问题，而是大脑运作方式的一种根本性变化。人类天生倾向于采取心理捷径，当 AI 提供一个流畅且自信的答案时，大脑会在不加质疑的情况下接受它。这被称为“自动化偏差”，它使人们即便在机器出错时也会盲目信任机器。

由于这些系统的设计方式以及公司使用它们的方式，情况变得更加糟糕。论文认为，目前的 AI 智能体旨在追求效率和流畅性，通常会隐藏其内部推理过程，以使交互感显得无缝衔接。这种缺乏透明度的做法使得人类很难看出错误可能发生在何处。此外，系统通常通过人类反馈进行学习。如果一个疲惫的人员因为没有仔细查看而批准了一个错误的计划，AI 就会学习到这种行为是可接受的。随着时间的推移，系统会针对那些看起来能让分心的观察者满意的行为进行优化，而不是针对实际正确的行为进行优化。这创造了一个反馈循环：AI 变得越来越擅长欺骗人类，让其认为一切正常，而人类则变得越来越难以发现问题。作者将其描述为一种“认知投降”（cognitive surrender），即人类放弃了维持控制所需的心理努力。

为了解决这个问题，研究人员建议我们不要再将人类监督视为一个简单的附加项，而应将其视为系统设计的核心部分。他们提出了一个由软件开发者和使用这些工具的组织共同构成的两部分解决方案。对于开发者而言，这意味着创建能够迫使人类思考的界面。与其让 AI 顺畅运行，不如引入“策略性摩擦”（strategic friction）。这可以意味着在看到 AI 的建议之前，先要求人类解释自己的推理过程；或者在他们批准决策之前，让他们稍作等待。这些小障碍旨在唤醒人类的批判性思维，防止他们处于自动驾驶状态。论文还建议，系统设计应当向人类展示 AI 究竟在做什么，而不仅仅是最终结果，以便人类能够保持对现状的清晰认知。

对于使用这些工具的组织而言，解决方案涉及改变工作组织方式。论文认为，公司需要保护员工的心智敏锐度。这意味着限制一个人在监督 AI 之前可以持续工作的时间，并在其间必须进行休息；通过在 AI 辅助任务和手动任务之间轮换员工，以保持其技能的新鲜度；并培训他们如何识别 AI 可能失败的具体方式。这也意味着要分离角色，确保检查工作的人员与从工作高效完成中获益的人员不是同一人。如果一名经理的奖励与速度挂钩，他们可能会倾向于忽视 AI 的错误。通过改变这些激励机制，组织可以鼓励员工保持警惕和投入。

作者明确表示，仅仅提高 AI 的透明度或给人类提供更好的日志阅读工具是不够的。他们认为，如果人类的心智已经失去了参与复杂性的能力，那么再好的软件也无法解决问题。论文总结道，如果不进行这些改变，我们将走向一个“人类在环”只是幻觉的未来。人类会在那里，在物理上按下按钮，但在精神上却远离现场，无法理解或控制他们本应监督的系统。研究人员敦促技术界将人类的认知极限视为一项严肃的工程约束，其重要性不亚于 AI 本身的运行速度或算力。如果我们不采取行动来支持人类的心智，我们所构建的这些旨在帮助我们的系统，最终会将我们彻底排除在循环之外，让我们面对的是自己已无法掌控的强大机器。