🤖 AI

CIVeX: Causal Intervention Verification for Language Agents

本文介绍了 CIVeX，这是一种因果干预验证器，通过将拟议的操作映射到结构因果查询以确保可识别的因果效应，从而保障语言智能体的工具使用可靠性，进而在标准验证防护措施失效的混杂工作流中防止错误执行。

原作者： Fabio Rovai

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Fabio Rovai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一艘宇宙飞船的船长。你的飞船由一个高级 AI 助手控制，它可以按下按钮来改变航向、打开舱门或启动推进器。这个 AI 非常聪明，但它有一个危险的盲点：它只关注历史。

如果 AI 发现每次飞船向左转时温度就会下降，它可能会得出结论：“向左转能让飞船降温！”于是，它按下“左转”按钮试图降温。

但如果温度下降的真正原因是飞船同时进入了一片阴暗的星云呢？AI 并不知道星云的存在。它只是看到了某种模式。如果 AI 在没有星云的情况下向左转，飞船实际上可能会变得更热。在数据世界中，这被称为混淆：一个隐藏的因素诱使你误以为两件事之间存在关联，而实际上它们并无关联。

本文介绍了一种名为CIVeX（因果干预验证）的新安全机制，旨在阻止 AI 做出这些危险的猜测。

问题：“有效”并不等于“安全”

目前，当 AI 想要按下某个按钮时，它会执行以下检查清单：

语法检查：命令是否书写正确？
权限检查：AI 是否被允许执行此操作？
预测检查：AI 是否认为这会奏效？

本文认为，通过这些检查就像司机拥有有效的驾照、车况良好的汽车和可靠的 GPS 导航一样。但这并不意味着司机知道转动方向盘实际上会导致汽车转向，尤其是当存在不可见的力量（如强风或湿滑路面）干扰结果时。

解决方案：“因果证书”

CIVeX 扮演着一位严格的安全检查员的角色，除非 AI 能用数学证明该行动确实会导致预期结果，否则它拒绝让 AI 按下按钮。

CIVeX 不再仅仅询问“这以前发生过吗？”，而是问：“如果我们强制发生这件事，它是否会导致预期结果？”

为了获得行动许可，AI 必须出示一份因果证书。你可以将这份证书视为一份“安全护照”，它必须包含四项具体内容：

地图（因果图）：一张展示行动、结果和隐藏因素之间如何关联的图示。
证明（可识别性）：一个数学论证，表明即使存在隐藏因素，我们也能计算出实际效果。
安全边际（下置信界）：一项保证，即使在最坏的情况下，该行动也不会造成伤害。
来源（数据溯源）：证明数据来源的证据，以防有人伪造数据。

四种裁决

当 AI 提出一项行动时，CIVeX 会审查证书并给出以下四种答复之一：

执行：“地图清晰，数学推导成立，且安全边际充足。可以执行。”
拒绝：“数学分析表明这很可能对我们有害，或者安全边际过低。不要执行。”
实验：“由于存在隐藏因素，我们尚无法确定。但如果你能运行一个小型、安全的测试（如随机对照试验）来证明其有效性，我们将允许你尝试。”
** abstain（ abstain）**：“我们完全不知道会发生什么，猜测的风险太大。什么也不做。”

表现如何（竞赛结果）

作者们在"Causal-ToolBench"（一个包含 1,890 种不同场景的模拟环境）中测试了 CIVeX 与其他方法的性能。

“总是猜测”的 AI：在隐藏因素误导 AI 的棘手情境中，该方法有 45% 的时间会犯错，并经常造成伤害。
“从不行动”的 AI：这种方法很安全但毫无用处。即使在安全的情况下，它也拒绝行动，从而错失了收益。
“大语言模型”AI：即使被给予“逐步思考”的智能提示，该 AI 仍然会犯错。它擅长推理，但无法保证安全。在棘手场景中，它仍有约 1% 到 10% 的概率按下“危险按钮”。
CIVeX：在测试中它零犯错。它从未按下会导致伤害的按钮。关键在于，它并非仅仅通过“什么都不做”来“求稳”；它成功识别出何时可以安全行动，以及何时需要先进行测试。

局限性（注意事项）

本文非常诚实地指出了 CIVeX不能做什么：

它需要一张好地图：CIVeX 假设提供给它的“地图”（因果图）是正确的。如果地图错误，安全保证就会失效。本文建议，在现实世界中，需要由人类或其他系统对这些地图进行签署确认，以确保其准确性。
它是守门员，而非驾驶员：CIVeX 不决定做什么；它只决定 AI 是否被允许做它想做的事。
它不是魔法：它依赖于拥有能够进行“安全测试”（实验）的数据，以便在情况不明时采取行动。

核心结论

本文总结道，为了让 AI 智能体安全地改变世界（例如删除文件、交易股票或修复代码），我们需要停止询问“这个行动是否有效？”，转而询问“这个行动是否经过因果证明？”

CIVeX 是首个提出以下观点的系统：“除非你能用一份数学证书证明，按下这个按钮确实会导致你想要的良性结果，而不会引发你担心的恶性后果，否则我不会让你按下按钮。”

技术摘要：CIVeX——语言代理的因果干预验证

1. 问题陈述

当前用于工具型语言代理的安全机制（例如模式验证器、策略过滤器、状态预测器和自验证提示）确保了动作是格式正确、被允许且逻辑一致的。然而，这些防护措施未能解决混杂环境中的一个关键失效模式：一个有效的工具调用并不一定是一个有效的干预。

在观测日志中，由于代理未知的潜在混杂因素，某个动作可能与高效用相关。当该动作被执行时，可能会产生低效用或造成危害，因为历史相关性并未反映真实的因果效应。现有的安全栈并未验证拟议的状态改变动作是否对目标结果具有可识别的因果效应。本文认为，如果不验证可识别性，代理就有执行“有害陷阱”动作的风险——即观测信号暗示有益，但真实因果效应却有害的情况。

2. 方法论：CIVeX

作者引入了CIVeX（因果干预验证），这是一种运行时验证器，将工具执行视为因果推断问题。CIVeX 不预测动作，而是通过在执行前要求假设范围的因果证书来对动作进行门控。

2.1 因果证书

有效的执行需要一份证书 $C = (G, A, \pi, \hat{\theta}, LCB_\alpha, prov, risk)$ ，包含：

$G$ ：关于动作和状态变量的已承诺因果图（包括通过双向边表示的潜在混杂）。
$A$ ：一组显式假设（例如 SUTVA、图的正确性）。
$\pi$ ：机器可验证的识别证明（例如后门调整、前门分解或工具变量）。
$\hat{\theta}$ ：因果效应 $E[Y \mid do(T=t^*)]$ 的点估计。
$LCB_\alpha$ ：在 $1-\alpha$ 水平下对 $\hat{\theta}$ 的单侧置信下界。
$prov$：所用数据的来源元数据（哈希）。
$risk$：潜在危害的上限。

2.2 分诊算法

CIVeX 将拟议动作映射为结构因果查询，并将其路由至四种可审计的裁决之一：

执行 (EXECUTE)：仅当查询在已承诺的图下可识别、单侧 $LCB_\alpha$ 超过效用阈值 ( $\tau_u$ ) 且成本在风险限制 ( $\tau_r$ ) 内时发出。
拒绝 (REJECT)：如果查询可识别，但 $LCB_\alpha$ 不足或成本超过风险限制，则发出。
实验 (EXPERIMENT)：如果效应不可识别（例如由于未阻断的混杂路径），但动作是可逆且低成本的，则发出。这将触发对实验数据（例如随机对照试验风格的数据集）的请求，以解析该图。
放弃 (ABSTAIN)：如果效应不可识别，且动作不可逆或成本过高，则发出。

2.3 理论保证

本文提供了两个关键命题：

命题 1：非因果验证器（仅依赖观测信号）在混杂环境中的错误执行率至少等于“有害陷阱”的比例。
命题 2：在正确的图承诺和有效估计量下，CIVeX 执行有害动作的概率被单侧置信水平 $\alpha$ 所界定。该界限适用于每个实例，而不仅仅是渐近情况。

3. 主要贡献

因果证书的形式化：本文定义了一个严格的、可审计的对象，将拟议动作与结构因果查询、识别论证和不确定性界限联系起来。
CIVeX 验证器：一种分诊算法，强制执行可识别性和风险约束，区分有效的工具调用与有效的干预。
Causal-ToolBench：一个新的基准测试，包含跨六个工具工作流家族（例如数据库索引、服务重启）的 1,890 个实例。其特点包括：
- 显式参数化的结构因果模型 (SCM)。
- 两种模式：中等混杂和对抗性混杂（其中潜在混杂因子被校准，以翻转相对于真实因果效应的观测信号）。
- 配对的随机对照试验风格数据，用于评估“实验”分支。
理论表征：证明了在混杂设置中，观测验证本质上是不安全的，并且 CIVeX 在图正确性的条件下提供了有界的错误执行率。

4. 实验结果

评估将 CIVeX 与 Oracle、12 个基线（包括策略门控、启发式分类器和基于大语言模型的验证器）以及消融研究进行了比较。

4.1 混杂模式下的性能

对抗性混杂：CIVeX 实现了 0% 的错误执行和 84.9% 的准确率，产生了 +2.23 的效用。相比之下，“始终放弃”基线的效用为 +0.99，表现最佳的大语言模型基线（Chain-of-Thought Opus）效用降至 +1.65（CIVeX 效用的 74%），虽然错误执行率为 0%，但存在过度的放弃行为。
中等混杂：CIVeX 实现了 +2.29 的效用，错误执行率为 0%。
鲁棒性：在严格的零错误执行约束下，CIVeX 是唯一超过“始终放弃”底线的非 Oracle 方法。

4.2 大语言模型基线

本文测试了 Chain-of-Thought (CoT) 大语言模型（Claude Opus 和 Sonnet）作为验证器。

虽然 CoT 相比简略提示减少了错误执行，但它未能提供 CIVeX 的单实例保证。
在对抗性混杂下，CoT-Opus 的效用因过度放弃而显著下降，CoT-Sonnet 则保留了残余的错误执行率（1.0%），未能满足严格的安全约束。
结论：强有力的提示改善了推理，但无法替代用于严格安全约束的算法识别检查。

4.3 消融研究

实验分支：移除请求实验数据的能力（将“实验”映射为“放弃”）导致 CIVeX 在对抗性环境中的效用崩溃至“始终放弃”的底限（+0.99），这表明当可识别性最初受阻时，该分支对于捕捉效用至关重要。
图误设：当观测到的混杂因子被重新标记为潜在混杂因子（引入不可阻断的路径）时，CIVeX 正确地未能识别，并将实例路由至“实验”或“放弃”，在减少正确执行（符合预期）的同时保持了 0% 的错误执行。

5. 意义与主张

本文主张，干预的可识别性而非动作的有效性，是可靠工具使用所缺失的原始要素。

安全保证：CIVeX 提供了一种有条件的安全保证：如果已承诺的图是正确的且基础设施支持它，则错误执行的概率被 $\alpha$ 所界定。
可审计性：每个决策都附有证书或解释缺失假设的拒绝理由，支持事后审计。
适度范围：作者明确指出，CIVeX 本身并不保证安全；该保证是有条件的，取决于图承诺基础设施（版本控制、签名、漂移监控），这超出了本文的范围，但对于生产部署是必要的。
局限性：结果基于合成 SCM（Causal-ToolBench），并未声称渐近后悔界限。错误执行率是基准上的实证观察，理论上被置信水平 $\alpha$ 所界定。

总之，CIVeX 提出从“验证工具调用”转向“验证干预”，利用因果推断机制防止代理执行那些在观测上与成功相关但在因果上有害的动作。