💻 computer science

Responsible Agentic AI Requires Explicit Provenance

本文主张，在整个代理式人工智能生命周期中建立明确、可量化且可追溯的溯源机制，是将责任转化为可计算且可执行要素的根本前提，从而解决当前因无法在复杂的多方代理组合中界定损害责任而导致的信任赤字问题。

原作者： Jinwei Hu, Xinmiao Huang, Qisong He, Youcheng Sun, Yi Dong, Xiaowei Huang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinwei Hu, Xinmiao Huang, Qisong He, Youcheng Sun, Yi Dong, Xiaowei Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《负责任的代理型人工智能需要明确的溯源性》的通俗解读，辅以日常类比进行拆解。

核心问题：“机器中的幽灵”

想象你雇佣了一个机器人团队来打理你的家。一个机器人负责订购杂货，另一个预订航班，第三个管理你的电子邮件。它们彼此交流、制定计划并执行行动，而你无法每时每刻都盯着它们。

现在，想象它们不小心预订了去错误大洲的航班、删除了你的重要文件，或者给老板发了一封令人尴尬的邮件。当你问“这是谁干的？”时，每个人都把责任推给另一个人：

机器人制造商说：“我的机器人没问题；它只是使用了别人提供的工具。”
工具制造商说：“我的工具完美无缺；是机器人误用了它。”
平台方说：“我们只是提供了舞台；是演员们搞砸了。”

由于这些机器人在复杂的循环中协同工作，错误并非由单一部件造成，而是由它们所有的交互方式引发的涌现性事故。目前，我们没有任何方法能确切追踪错误是如何发生的，或者谁真正负有责任。这种缺乏“书面记录”的情况，让人们不敢信任这些系统。

解决方案：“明确溯源性”（终极黑匣子）

作者认为，要解决这个问题，我们不需要对单个机器人进行更好的测试。我们需要明确溯源性。

将溯源性想象为整个 AI 系统的超详细、不可篡改的“飞行记录仪”或“黑匣子”。但与仅在事故发生后记录数据的普通黑匣子不同，这个黑匣子必须在事件发生的同时记录一切，以便我们在事故恶化前将其阻止。

论文指出，这个“黑匣子”必须完成三件具体的事：

可量化性（“多少”计量器）： 它必须能够精确衡量每个人或每个部分对错误贡献了多少。
- 类比： 如果发生车祸，系统不应只说“这是一起意外”。它应该说：“轮胎制造商对风险贡献了 20%，驾驶员贡献了 50%，道路设计贡献了 30%。”
可追溯性（“谁”与“何时”地图）： 它必须保留清晰的事件链记录。如果发生错误，我们必须能够回放录像，确切地看到哪一个决策导致了下一个糟糕的步骤。
- 类比： 这就像 GPS 历史记录，不仅显示车去了哪里，还显示它在每个路口为什么左转，以及是谁下达了转弯指令。
可干预性（“紧急刹车”）： 系统必须实时记录这些数据。如果 AI 开始朝着灾难方向行进，我们需要尽早看到预警信号，以便在损害发生之前踩下刹车。
- 类比： 烟雾探测器不应只在房子烧光后才报警，而应检测到第一缕烟雾并自动关闭炉灶。

运作机制：四层架构

论文提出像盖房子一样分四层构建该系统：

第一层：设计（蓝图）： 在构建 AI 之前，我们必须绘制一张地图，显示每个部分如何连接。我们需要知道哪个“技能”与哪个“工具”对话，以及谁拥有它们。
第二层：工程（施工）： 我们将“黑匣子”构建到系统中。它实时监视 AI 的思维和行动，将杂乱的数据转化为清晰、可读的日志。
- 论文的实验： 作者在 AI 代理上测试了一种“神经符号”监控器（智能看门狗）。他们发现，该监控器能在 AI 实际失败之前预测其即将失败，证明了这种“早期预警”是可行的。
第三层：部署（交通规则）： 这是人类介入的环节。我们利用黑匣子的数据来决定谁应负责。如果 AI 犯错，系统会查看日志并指出：“这部分失败是因为开发者未设置安全限制。”
第四层：体验（长期视角）： 这一层关注缓慢、渐进的问题。有时 AI 不会立即崩溃；它会在数月内逐渐改变你的行为（例如缩小你的选择范围）。这一层追踪这些缓慢的变化，以确保没有人随时间推移被操纵。

“责任张量”（记分卡）

作者引入了一个复杂的数学术语，称为责任张量。将其想象为一个多维记分卡。

这个记分卡不再给出简单的“有罪/无罪”判决，而是按以下方式分解责任：

谁做的（开发者、平台、用户）。
什么类型的规则被违反（道德、安全、法律、专业规范）。
他们贡献了多少。

这将“出了问题”这种模糊的感觉转化为具体的计算：“平台对安全违规负有 40% 的责任，开发者对道德违规负有 60% 的责任。”

为何这很重要

论文总结道，我们不能仅指望 AI 表现良好，也不能仅依赖“信任”。如果我们想让 AI 代理预订航班、编写代码并管理我们的生活，我们就必须拥有这种“明确溯源性”基础设施。

没有它，责任仍是一种主观猜测。有了它，责任就变成了可计算的（我们可以计算它）和可执行的（我们可以修复它并追究责任人的责任）。技术正在飞速发展；这个“黑匣子”是确保速度不会导致我们无法修复的灾难的唯一途径。

技术摘要：负责任的代理人工智能需要明确的溯源性

1. 问题陈述

代理人工智能（Agentic AI）——即能够在现实环境中进行自主规划、工具使用和 multi-step 执行的系统——的迅速普及，已超出了问责机制的发展速度。虽然各个组件（例如技能、工具、模型）可能通过安全审计，但它们在代理内部的组合往往会导致涌现性危害、监管违规以及责任分散。

当前的“可信人工智能”方法依赖于组件层面的基准测试和事后审计。这些方法之所以失败，是因为：

组合风险：在隔离状态下验证的安全属性无法在交互中存续。
责任分散：危害源于长视野轨迹和分布式因果链，没有任何单一行为者从头到尾设计或控制这些链条。
缺乏可计算性：责任仍是一个主观且未受强制执行的概念，因为缺乏明确的、可追溯的记录（溯源性）将特定危害与特定方及其因果贡献联系起来。

该论文认为，如果没有贯穿整个代理生命周期的明确溯源性，责任就无法变得可计算、可操作或可执行。

2. 方法论与形式化

作者提出了一个基于明确溯源性的框架，以使责任可计算。这涉及形式化分配责任所需的必要证据和结构层。

2.1 核心定义

代理轨迹 ( $\tau$ )：环境状态与联合代理动作的有限序列。
因果贡献 ( $\kappa$ )：衡量某一方对危害事件 $\omega$ 的因果影响力。其定义为：该方决策下危害发生的概率与反事实轨迹（其中这些决策被中和）下危害发生概率之差：
$\kappa(p, \omega, \tau) = \Pr[\omega | \tau] - \Pr[\omega | \tau_{-p}]$
认知立场 ( $\varepsilon$ )：衡量某一方在时间 $t$ 基于其角色和可用信息所知晓或应合理预见的内容。
可计算责任 ( $\rho$ )：为每一方 $p$ $p$ 针对危害 $\omega$ $ω$ 分配责任权重的函数，需满足：
1. 比例性： $\rho \propto \kappa \cdot \mathbb{1}[\text{可预见}]$ 。
2. 完备性：个体责任之和加上剩余机构责任等于 1。
3. 不可规避性：各方不能通过系统复杂性逃避对可预见贡献的责任。
责任张量 ( $R$ )：一个多维结构 $R \in [0, 1]^{|P| \times |\Omega| \times |D|}$ ，编码了各方、危害事件以及社会技术维度（例如标准、监管、专业性）之间的责任关系。

2.2 四层生命周期议程

为了使这些定义可操作化，该论文 outlines 了一个四层研究议程：

L1（设计）：在部署之前建立表示各方、模型和技能的因果依赖图 ( $G$ )。这确保系统设计能够产生必要的溯源性。
L2（工程）：实施在线轨迹监控，以实时估计轨迹风险 ( $\Pr[\omega | e_t, \alpha_{t:T}]$ )。该层必须生成结构化的、与故障对齐的执行记录，以支持可追溯性（回顾性）和可干预性（前瞻性）。
L3（部署）：将技术溯源性转化为规范性判断。这涉及定义“责任边界”、维度权重 ( $w_k$ ) 和事件响应计划，将因果信号映射到特定方。
L4（体验）：解决在长视野内发生但未跨越单步阈值的累积性危害（例如自主性侵蚀、偏见放大）。这需要对用户选择集和信念分歧进行大规模人口监测。

3. 关键结果与实验

该论文展示了针对**L2（工程）**层的初步实验验证，具体侧重于在线因果信号的可估计性。

实验设置：作者利用了一个附加到代理系统的即插即用神经符号（NeSy）监控架构。该架构将原始代理轨迹转换为规范的步骤级表示，并使用各种监控器（神经序列模型、有限状态机、Transformer、GRU）对其进行评分，而无需修改代理的内部结构。
数据集：实验在四个基准测试中进行：WebArena、TAU2Bench、SkillsBench 和 TerminalBench。
指标：使用精确率 - 召回率曲线下面积 (AUPRC) 来衡量监控器在危害显现之前识别失败轨迹的能力。
发现：
- 学习到的监控器显著优于随机基线和零样本大语言模型（LLM）基线。
- 有限状态变体成功地将警告行为压缩为人类审计员可读的符号状态，提供了可追溯性所需的可检查证据。
- 监控器足够早地识别出高风险前缀，从而支持在不可逆转的后果累积之前进行干预，验证了可干预性要求。
案例研究：作者展示了这些符号状态（例如“不匹配的搜索查询”、“外部搜索重定向”）如何映射回部署链中的特定方（例如技能开发者、平台运营商），以填充责任张量，将主观指责转化为可计算的分配。

4. 意义与主张

该论文将明确溯源性定位为负责任的代理人工智能的必要条件，而非任意的改进。

结构性必要性：作者认为，当前人工智能采用中的“信任赤字”是结构性的，而不仅仅是技术性的。责任缺口之所以存在，是因为没有任何一方产生在组合行为导致危害时分配责任所需的可量化、可追溯和可干预的记录。
范式转变：这项工作将领域从“基准驱动的评估”（在隔离状态下评估能力）转向“溯源性基础的问责”（在整个生命周期中评估责任）。
可操作性：通过将责任形式化为基于因果贡献和可预见性的可计算函数，该论文声称使责任概念对监管者、开发者和机构变得可操作。
机构信任：作者认为，代理人工智能采用的瓶颈并非缺乏能力，而是缺乏信任。明确的溯源性基础设施被视为建立大规模授权所需的机构信任的机制。

该论文得出结论：弥合技术进步与责任结构之间的差距是一项共同义务，需要计算机科学、法律、伦理学和社会科学之间持续协作，以设计代理人工智能所需的问责基础设施。