✨ 要点🔬 技术摘要
在现代人工智能的世界中，一个常见的安全承诺是“人在回路”（human in the loop）的概念。这个短语暗示，虽然计算机可能会做出决策或采取行动，但始终有人在场观察、批准或在出现问题时阻止机器。这是一个令人安心的画面，就像一名飞行员坐在自动驾驶飞机的驾驶舱内，随时准备接管控制权。多年来，监管者和设计者一直将人类的存在视为系统安全且受控的证据。然而，这个简单的画面忽略了一个关键细节：仅仅因为人类在场，并不意味着他们真的拥有改变现状的力量。人类可能正在看错误的屏幕，接收信息太晚，或者发现用于停止机器的按钮已被软件本身禁用。问题不再仅仅是是否有人在观察，而是通往人类控制权的路径是否开放、清晰，并且不受机器自身过滤的影响。
一组研究人员着手调查这种隐藏在“人类监督”的承诺与这些系统实际运作方式之间的差距。他们没有研究理论构想或对人工智能的未来梦想；相反，他们检查了十七个已经在被使用或非常接近部署的真实世界系统。这些是复杂的“代理型”（agentic）系统，这意味着它们可以观察环境、规划行动，并以高度的独立性执行任务。研究人员想要追踪一段信息从机器注意到重要事项的那一刻起，到人类可能能够进行干预的那一刻为止的精确旅程。他们寻找了决定哪些问题会被展示给人类、何时通知该人类，以及在最终收到警报后该人类仍被允许采取哪些行动的具体规则和软件门槛。
研究人员发现，在他们研究的几乎所有系统中，人类在技术层面上仍然是老板，拥有停止或改变机器的最终权威。然而，行使这种权威的路径却受到机器本身的深度管理。他们将这种现象称为“控制同化”（control assimilation）。这是一种结构性的状况，即控制的机制被内置于系统的代码之中。计算机决定哪些事件重要到足以展示给人类，过滤掉其余的，并确定人类被允许介入的确切时刻。在十七个系统中的十六个中，研究人员发现，机器拥有强大的、有据可查的方式来停止特定的局部问题，但往往缺乏一种清晰的、有据可查的方式让由人类来停止整个系统。更重要的是，在十七个案例中的十四个案例中，系统本身决定了何时招募人类的注意力，通常是基于其自身关于严重程度或置信度的内部规则。
这意味着，人类可能在形式上处于领导地位，但他们往往是在一条由机器已经铺设好的路径上运行。机器可能会因为认为风险较低而隐藏危险情况，或者可能以一种让人难以理解完整背景的方式呈现问题。在某些情况下，人类只有在机器已经失败或遇到异常情况之后才被召唤，而不是在决策发生前被要求进行批准。研究表明，虽然人类的名字可能出现在批准按钮上，但机器通常控制着这个按钮是否可见、是否能及时按下，或者人类是否有足够的信息做出明智的选择。研究人员发现，在他们检查的系统中，只有极少数系统能让他们清楚地看到人类实际上在行使直接控制权来改变结果。在许多其他系统中，人类的角色被简化为审查一份由机器已经筛选过的案例列表，或者对机器判定为紧急的警报做出反应。
研究人员谨慎地指出，这并不意味着人类是无用的，也不意味着这些系统必然是危险的。它仅仅意味着系统的安全性不仅仅取决于是否有个人在场。它取决于通往那个人的路径的设计。如果过滤信息或路由警报的软件存在缺陷，人类可能直到为时已晚才会看到危险。这项研究表明，对于这些系统要实现真正的安全，我们需要超越“人在回路”这个简单的标签，去检查控制人类进入回路的技术架构。我们需要追问：谁在控制人类的注意力？在信息到达人类之前有哪些信息被隐藏了？以及当情况至关重要时，人类是否仍然拥有停止机器的力量？研究结果表明，形式上的权威可以与一种现实并存，即实际的行动能力受到其原本旨在监督的技术的严格限制。
技术摘要：智能体 AI 中的控制同化（Control Assimilation）
1. 问题陈述
本文探讨了智能体（Agentic）及高度自主 AI 系统治理中的一个关键空白：形式化人类权威 与操作性控制访问权限 之间的结构性背离。虽然“人机回环”（Human-in-the-loop, HITL）常被视为安全与监督的证据，但该术语在结构上仍缺乏明确定义。人类可能存在于工作流中，却无法实现控制，具体表现为：
无法控制哪些信息被呈现给人类。
无法控制哪些案例被提请审查。
无法控制干预窗口的时机。
无法控制现有的可用操作是否真的能改变系统的轨迹。
作者指出，在智能体 AI 中，控制路径本身可能成为技术处理的产物。系统逻辑、策略引擎或治理基础设施可能会决定哪些事件被视为异常、如何进行表征，以及当最终需要人类介入时，哪些选项仍然是可执行的。这导致了一种情况：形式上的责任依然存在，但行使控制的实际能力却受到了技术的中介作用并可能受到限制。
2. 研究方法
本研究采用了预设的、横向的、保持溯源性的架构级证据合成法 。
数据来源： 在 Web of Science Core Collection、IEEE Xplore、ACM Digital Library 和 OpenAlex 中进行了检索，共获得 6,754 个唯一的规范化 Work ID。筛选过程： 通过冻结的优先级路由方案，将 1,156 条记录分配至第一波（P1）队列。其中 990 条记录进行了实质性的全文评估。分析单元： 分析单元是具体的架构案例 ，而非出版物。针对描述同一系统的多个论文或版本进行了合并。最终数据集包含由 25 个来源/表现形式 Work ID 支持的 17 个独特的架构案例 。编码框架： 作者对特定的控制功能分配进行了编码，包括：
最小机器中介控制深度（MMCD）： 系统状态与人类控制点之间必要的机器中介转换次数。干预机会与能力： 是否存在可用的干预点和可执行的操作。形式化权威 vs. 有效控制： 区分记录在案的治理权利与观察到的实际控制后果。独立约束准则（ICC）： 执行机制是否独立于行动模型的自愿合规性而运行。
分类分类法： 通过显式的决策规则推导出了三种常见的配置（RC）：
RC-A：基于选择性闸门的委托（Selective gate-based delegation）： 人类闸门针对特定风险/晋升；常规执行被委托。RC-B：异常/接管控制（Exception/takeover control）： 人类控制主要通过故障、异常或转移而被招募。RC-C：经过上游机器过滤后的终端用户最终行动控制（End-user final-action control after upstream machine filtering）： 用户保留最终选择权，但选项由系统预先过滤或排序。
验证： 一名独立的盲审人员在无法接触原始标签或外部文献的情况下，对所有 17 个标准化的中性架构摘要进行了重新分类，实现了 100% 的一致性（Cohen's κ \kappa κ
3. 核心结果
对 17 个冻结架构案例的分析得出以下结果：
配置分布：
RC-A（选择性闸门）： 11 个案例 (64.7%)。RC-B（异常/接管）： 4 个案例 (23.5%)。RC-C（终端用户最终行动）： 2 个案例 (11.8%)。
控制机制：
局部控制 vs. 全局控制： 在 16/17 个案例中，局部否决/覆盖机制的记录比全局/系统停止能力更为充分。仅有 1 个案例支持全局停止，1 个案例支持部分停止，15 个案例未知。中介注意力： 在 14/17 个案例中，存在明显的系统或策略中介的人类注意力招募。这种中介包括确定性策略引擎、阈值和路由规则，而非仅仅是 AI 模型。
有效控制行使：
在 14 个可评估结果的架构中，仅在 5/14 个案例（基于基础规则）和 3/14 个案例（基于严格的高置信度规则）中记录到了直接的人类控制行使 。
在 7 个案例中，观察到了操作控制后果（闸门、阻断），但无法隔离出具体的人类贡献。
可复现性： 独立重新分类确认了 RC 标签的稳定性，配置分配未发生变化。
4. 核心贡献
本文引入了**控制同化（Control Assimilation）**的概念来描述这一特定的结构性状态。
定义： 控制同化被定义为将控制功能（塑造感知、案例选择、授权、时机或干预）纳入自主技术架构的过程。在这种状态下，人类可能保留形式化或终极的权威，但行使该权威的路径是受到技术中介的。与现有概念的区别： 作者澄清了控制同化不同于：
简单的自动化等级量表。
自动化偏差（一种认知效应）。
“有意义的人类控制”（一种规范性要求）。
纵向的“工具性继承”（代理权的逐渐转移）。
操作化： 本研究提供了一种重建和编码“通往人类控制之路”的方法，识别了人类控制边界的位置以及上游发生的转换过程。
5. 重要性与主张
本文的意义在于将监督的重点从人类的存在 转向了控制路径的完整性 。
治理启示： 作者认为，形式化权威可以持续存在，而实际的控制访问权限可能在技术上变得受限。这造成了“虚假保证”的风险，即治理机制在纸面上存在，但在实践中在结构上受到限制。监管影响： 研究结果表明，诸如《欧盟 AI 法案》（要求具备理解、监控、忽略和停止系统的能力）等法规必须作为端到端的控制路径 进行测试。审计应验证：
招募人类的机制是什么。
在人类看到案例之前发生了哪些转换。
剩余的时间和信息量是多少。
哪些操作在技术上是可执行的，且独立于行动中的智能体。
设计启示： 监督应当被设计为一种控制系统，而不仅仅是一个角色标签。系统必须公开升级决策的溯源，并区分机器选择的注意力与独立抽样的审查。
主张的审慎性：
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。