💻 computer science

AI Risk-Management Control in Human-in-the-Loop Systems: Governing the Operating Confidence Threshold as a Delegation Boundary

本文提出将人机协同人工智能系统中的运行置信度阈值视为一种源自显式成本效益分析、而非仅仅是调优参数的正规且可审计的风险接受控制，并论证了其在受监管的专业场景中稳定自动化授权并最小化人工审查方面的有效性。

原作者： Musarat Kabir-Chisty

发布于 2026-10-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Musarat Kabir-Chisty

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代职场中，人工智能正越来越多地被要求做出重要的决策。它负责整理文档、匹配数据库中的姓名以及标记重要信息。然而，大多数软件仍有一个尚未解决的关键问题：计算机何时应该自行决策，又何时应当停下来请求人类的帮助？这不仅仅是一个技术设置，更是一个关于信任与责任的问题。如果机器在出错时表现得过于自信，可能会造成严重的后果，而这些后果在察觉之前可能已无法挽回；如果机器表现得过于谨慎，则会浪费昂贵的人类专家的时间，使他们无法从事更重要的工作。机器将决策权交还给人类的那个点被称为“置信度阈值”（confidence threshold）。可以将它想象成高速公路上的限速标志：它告诉驾驶员何时该减速并接管控制权。直到现在，许多组织在设定这个限制时，往往是在凭直觉或选择一个像百分之九十这样圆满的数字，而没有给出选择该特定数字的明确理由。

Musarat Kabir-Chisty 的一项新研究认为，这个限制不应是凭空猜测。相反，它应该是一个经过仔细计算的决定，应被视为与任何受监管行业中的安全规则同等严肃对待。作者在法律科技领域工作，他开发了一种方法来寻找完美的“移交点”，其核心在于权衡两种不同类型错误的成本。第一种错误发生在计算机在人类查看之前就根据错误答案采取行动时。第二种错误发生在计算机即使拥有正确答案却仍停止并寻求人类帮助时。在法律或移民等领域，第一种错误比第二种危险得多。一份发往法院的错误文件可能会毁掉一个案件，而人类审查一份正确的文件仅仅会多花几分钟时间。该研究提出，组织应当根据他们愿意为规避未经人工审核的错误风险而支付的人力成本，来设定其置信度阈值。

为了测试这一理念，研究人员将该方法应用于伦敦一家律师事务所使用的两个真实系统。第一个系统旨在帮助移民律师管理数以千计的客户文件。每当有新文件到达时，计算机都会尝试将其分类到正确的文件夹中。如果计算机非常有把握，它会自动归档文件；如果它不确定，则会将文件发送给人类律师进行检查。第二个系统处理客户记录，试图将新客户名单中的姓名与现有案例数据库进行匹配。同样，如果匹配清晰，系统就会关联记录；如果存在歧义，则必须由人类做出决定。在这两个案例中，团队通过观察数千份文档和记录的实际得分，来观察系统在不同置信度水平下的表现。

结果揭示了这些系统实际运作方式中一些令人惊讶的现象。在文档分类任务中，计算机的置信度得分并不是均匀分布的。相反，它们被锐利地分为两组：系统要么非常自信（得分接近顶端），要么相当不确定。处于“似懂非懂”状态的案例极少。由于存在这种间隙，研究人员发现，只要将阈值设置在自信与不确定之间的这段空白区域，所选的具体数值其实并不重要。无论他们将限制设在百分之九十二还是百分之九十五，系统向人类审核员发送的文档数量都是完全一样的。这使得决策既稳健又安全。在涉及客户记录的第二个任务中，模式甚至更加清晰。匹配得分要么极高，要么极低，中间几乎没有任何数据。这意味着系统可以自动处理近一半的案例，同时仅将极少数真正困难的案例留给人类专家。

研究还表明，这种方法改变了责任归属。通过将阈值视为一项正式规则而非单纯的软件设置，组织可以清晰地记录他们为何选择让机器处理某些案例而不处理其他案例。如果发生错误，他们可以追溯并发现该决策是基于人类时间成本与错误风险之间的计算权衡而做出的。这使得系统具有可审计性。研究人员发现，当使用这种方法时，计算机在未经人类帮助下犯错的数量极低，同时它进行不必要求助的次数也被控制在最低限度。该系统运行高效，是因为它的设计旨在匹配工作的特定风险，而非仅仅遵循通用规则。

这项工作表明，高风险领域的未来取决于我们如何管理这些移交点。仅仅构建一台聪明的计算机是不够的，我们还必须构建一套聪明的流程，来决定何时信任它。研究证明，通过观察实际数据并理解现实世界的错误成本，组织可以充满信心地设定这些限制。他们可以确保人类专家不会被容易的任务淹没，也不会在机器可能出错的罕见时刻处于盲目状态。最终，目标不是取代人类判断，而是精确定义人类判断从哪里开始、到哪里结束，从而创造一种让机器与人类各施其长、协同合作的伙伴关系。

技术摘要：人机协同系统中的 AI 风险管理控制

问题陈述
在高风险组织环境（如法律、金融、医疗）中，AI 系统越来越多地在“置信度门控”（confidence-gated）范式下运行：当模型的置信度得分超过阈值 ( $\tau$ ) 时，系统自动执行；否则，将决策权移交给人工审查。虽然现有的治理框架要求进行人工监督，但很少就如何操作化“人类权威向机器权威转移”的具体决策边界提供指导。

目前，运行阈值通常被视为技术超参数，被设定为任意的整数（如 0.90 或 0.95），而缺乏明确的理由。本文认为，运行阈值本质上是一种风险接受控制。它定义了一个组织在无需人工审查的情况下，所能容忍的残余自动化错误水平。在法律实务等受监管的环境中，错误的成本是不对称的：误判接受（对错误决策自动执行）可能会损坏记录或违反职业义务，而误判拒绝（将正确的决策升级为人工处理）仅仅是浪费专家时间。将阈值仅视为一个调优参数，掩盖了将后果性决策委托给机器所涉及的伦理和治理影响。

方法论
本文提出了一种透明且具有成本敏感性的框架，将运行阈值作为“决策委托边界”进行治理。该方法由三个核心组件组成：

将其表述为选择性分类： 将问题表述为不对称错误成本下的选择性分类（带有拒绝选项的分类）。系统最小化总期望成本函数 $J(\tau)$ ：
$J(\tau) = C_{FA} \cdot FA(\tau) + C_{FR} \cdot FR(\tau)$
其中 $C_{FA}$ 和 $C_{FR}$ 分别是误判接受和误判拒绝的成本，而 $FA(\tau)$ 和 $FR(\tau)$ 是在阈值 $\tau$ 下的预期错误计数。最优阈值 $\tau^*$ 是指增加一次自动错误所带来的边际成本等于增加一次不必要升级的边际成本的点。
成本比例的治理： 比例 $C_{FA} : C_{FR}$ 并非由模型决定，而是由组织价值观和风险承受能力决定的。本文建议，该比例应由风险负责人或合规职能部门持有，其数值应根据实际后果（可逆性、监管风险、受影响人群）推导得出，并予以记录。或者，组织可以设定一个最高可容忍的选择性风险，并据此选择实现该风险的最低阈值。
经验验证与敏感性分析： 该方法要求：
- 校准： 验证置信度得分是否反映了观察到的准确度（例如通过可靠性图），因为现代基础模型往往存在过度自信的问题。
- 得分分布分析： 检查置信度得分的分布，以确定运行点位于“平坦盆地”（对 $\tau$ 的微小变化具有鲁棒性）还是“陡峭斜坡”（具有脆弱性）。
- 分类别阈值： 承认单一的全局阈值对于异构数据可能并非最优；可以通过在特定类别内应用成本目标来推导分类别阈值。

核心贡献

重构阈值： 主要贡献在于治理层面的转变，即将运行阈值视为一个治理构件，而非单纯的模型参数。它是体现委托机器权威的具体控制手段，必须经过记录、证明并定期审查。
成本敏感协议： 提供了一套可重复的协议，通过显式的期望成本目标来推导阈值，将机器学习机制与法律责任和职业责任联系起来。
可审计性： 该框架提供了一种使委托权威可审计的机制。通过记录成本比例、得分分布和最终阈值，组织可以在发生不利结果时，重建自动化决策的逻辑依据。

部署结果
该方法在受监管法律实务中的两个真实场景部署中得到了验证：

文档分类（移民案件处理）：
- 任务： 将文件自动归档至案件清单。
- 数据： 2,471 份分类器已见文档。
- 分布： 置信度得分呈现明显的双峰分布，99.0% 的文档（2,471 份中的 2,447 份）得分 $\ge 0.98$ ，而在 0.60 到 0.95 之间存在稀疏走廊。
- 结果： 发现使成本最小化的阈值 ( $\tau^*$ ) 在 [0.83, 0.85] 范围内。部署的阈值设为 0.92，作为一种保守余量。分析表明，该运行点具有鲁棒性：成本函数 $J(\tau)$ 在广泛范围内是平坦的，这意味着阈值的微小变化不会显著改变预期成本。系统实现了 0.04% 的选择性风险，覆盖率为 99.6%。
实体解析（记录关联）：
- 任务： 将客户实体与案件数据库进行比对。
- 数据： 270 个已关联实体。
- 分布： 呈现尖锐的双峰分布，包含一个高置信度峰值 ( $\ge 0.90$ ) 和一个低置信度峰值 ( $\le 0.65$ )，在 0.70 至 0.90 之间存在完全空白的间隙。
- 结果： 自动关联阈值设为 0.90。由于没有任何实体落在 0.70–0.90 范围内，因此 0.90 的具体选择在经验上是稳健的；任何位于该空白间隙内的阈值都会路由完全相同的实体。仅有 2.2% 的案例需要人工审查，从而将监督力量集中在真正具有歧义的案例上。

意义与主张
本文谦虚地指出，其贡献在于治理而非机器学习方法论。基于期望成本的标准是经典的，其新颖之处在于将阈值重新定义为一种受治理、有记录且可审计的构件。

问责制： 将阈值视为治理构件恢复了责任链。它确保了“决策委托边界”不是一个不透明的配置，而是一个经过审议的、刻意的组织选择。
有意义的监督： 通过设计阈值，将人类注意力集中在真正存在不确定性的案例上（而不是让审查员淹没在简单的案例中，或隐藏错误），该方法支持的是“有意义的人类监督”，而非名义上的“机械化盖章”。
普适性： 虽然是在法律工作流中进行的演示，但该框架适用于任何高风险的“接受或延迟”系统（例如金融入驻、临床记录），即 AI 在超过置信度阈值时采取行动的场景。

本文结论认为，设定阈值是一种分配道德和职业责任的制度设计行为。因此，它应当获得与任何其他关于后果性权威的委托同等的显式证明与记录。

技术摘要：人机协同系统中的 AI 风险管理控制

类似论文