🤖 AI

The Two Boundaries: Why Behavioral AI Governance Fails Structurally

本文认为，行为人工智能治理在结构上之所以失效，是因为根据莱斯定理，验证任意程序效应是否符合策略是不可判定的，并提出了“共界治理”——一种将计算与效应进行架构分离、并将治理嵌入执行流程的方案——作为消除因能力边界与策略边界错位所导致的不可避免的风险与低效的唯一解决方案。

原作者： Alan L. McCann

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Alan L. McCann

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《双重边界：为何行为式 AI 治理在结构上必然失效》的通俗解读，辅以日常类比。

核心问题：“双重边界”的不匹配

想象你拥有一个功能极其强大的机器人，它几乎无所不能：发送电子邮件、转移资金或修改数据库记录。为了保障安全，你设立了一道围栏（治理机制），规定它被允许做什么。

论文指出，在当今构建的几乎每一个 AI 系统中，都存在两道互不匹配的围栏：

能力围栏（机器人能够做什么）： 这由机器人的工具和代码决定。如果机器人拥有发送邮件的工具，它就能够发送邮件。
规则围栏（机器人被允许做什么）： 这由你编写的安全规则和过滤器决定。

问题所在： 这两道围栏几乎从未在大小或形状上保持一致。

“风险区”（未被治理的能力）： 有时机器人拥有某项工具可以使用，但你的规则并未涵盖该特定工具。这就像机器人拥有一扇安保人员不知情的秘密后门。机器人会从中溜走，导致坏事发生。
“剧场区”（治理剧场）： 有时你的规则对机器人无法做的事情规定得极其严格。这就像安排一名安保人员去检查机器人是否会“飞行”，而机器人根本没有翅膀。你在浪费精力去监管那些不可能发生的事，而真正的危险（那些后门）却依然敞开。

论文认为，试图通过增加更多的守卫或更多的规则来解决这一问题，只会让“剧场”变得更大，让“风险”略微减小，却永远无法填补那道鸿沟。

为何不能仅仅“监视”机器人（数学难题）

你可能会想：“为什么我们不构建一个超级智能的监控器来监视机器人，一旦它做坏事就将其制止呢？”

论文引用了一条著名的数学规则——莱斯定理（Rice's Theorem），来解释为何这对灵活智能的 AI 来说是不可能的。

类比： 想象你试图仅通过查看剧本就预测电影的结局。如果电影短小简单，你可以猜出结局。但如果电影是一个无限复杂、且会根据观众反应而变化的故事，没有任何算法能在电影播放前以 100% 的确定性预测出结局。
结果： 由于 AI 极其灵活（它可以编写自己的代码并以新方式组合工具），你无法在数学上预先证明某个特定动作是安全的。你只能猜测。而既然你只能猜测，就总存在机器人做出监控器未能察觉的坏事的可能性。

解决方案：“点餐员”与“厨师”

论文提出了一种结构性的修复方案。与其试图监视机器人并阻止它做坏事，不如改变机器人的构建方式。

旧模式（行为式治理）：
机器人是一名厨师，可以直接接触炉灶、刀具和煤气。你站在旁边拿着记事板，一旦他们伸手去拿错误的食材，就大喊“停下！”

缺陷： 厨师可能在你喊出之前就拿起了煤气，或者他们可能找到了一种你未在记事板上写下的新烹饪方式。

新模式（结构性治理/共边界治理）：
你将厨师与厨房分离开来。

厨师（计算）： AI 仅被允许思考并写下食谱（即“指令”）。它无法触碰炉灶、刀具或煤气。它没有物理双手。
点餐员（治理边界）： 一个独立的、严格的系统接收食谱。它检查：“这份食谱的食材对吗？安全吗？”
- 如果是，点餐员进入厨房烹饪这顿饭。
- 如果不是，点餐员将食谱扔掉。

为何有效：

AI 无法做任何坏事，因为它 literally 没有接触世界的工具。
每一个动作都必须经过点餐员。
不存在“风险区”，因为 AI 没有秘密后门。
不存在“剧场区”，因为点餐员只检查那些实际上可以被烹饪的食谱。

为何“监控”不足以作为治理

论文还解释了为何仅仅“记录”或“日志化”AI 的行为不能算作治理。

类比： 想象银行里的一台监控摄像头。如果摄像头看到了劫匪，它会记录下犯罪。但摄像头并没有阻止抢劫。
数学逻辑： 如果摄像头能拦截 99% 的抢劫，听起来很棒。但如果银行每天有 1,000 笔交易，那么至少有一起抢劫从 1% 的漏洞中溜走的概率接近 100%。
核心观点： 你必须在行动发生之前将其阻止，而不仅仅是在事后记录。

结论

论文总结道，要真正治理 AI，你不能仅仅在现有系统之上叠加更多的过滤器或规则。你必须重建系统，使 AI 只能请求某些事情，而由一个独立的、严格的守门人决定这些事情是否发生。

如果边界匹配： AI 在结构上就是安全的（结构性治理）。
如果边界不匹配： 无论你添加多少规则，你总会面临一些风险和浪费的精力（行为式治理）。

作者已使用计算机代码（Coq）在数学上证明了这种“点餐员”方法是确保每个动作都受到治理的唯一途径。

以下是 Alan L. McCann 所著论文《两个边界：为何行为式 AI 治理在结构上失效》的详细技术摘要。

1. 问题陈述

本文探讨了当前 AI 治理框架在AI 效应（即在现实世界中执行的动作，如 API 调用、数据库写入和工具调用）方面存在的根本性结构缺陷。

两个边界： 每个具有效应的系统都拥有两个截然不同的边界：
1. 表达性边界： 由系统架构（语言、API、工具）定义，代表系统能够执行的一切。
2. 治理边界： 由策略和监控定义，代表系统被允许执行的一切。
分歧： 在当前的部署中，这两个边界是独立定义的，从而形成了三个区域：
1. 受治理能力（重叠区）： 唯一的功能区域，其中能力被策略所覆盖。
2. 未受治理能力（风险区）： 系统能够执行但缺乏治理覆盖的能力（例如，通过未监控的侧信道进行数据泄露）。
3. 治理剧场： 针对系统不具备的能力制定的策略（例如，在系统无法访问信用卡数据的情况下，过滤电子邮件中的信用卡号码）。
核心问题： 行为式治理（内容过滤器、RLHF、监控）试图通过事后添加层级来弥合这一差距。然而，由于 AI 代理具有动态的、图灵完备的表达性，仅靠行为手段永远无法在结构上使治理边界与表达性边界相匹配。

2. 方法论与理论基础

本文采用形式化方法和理论计算机科学来分析治理问题。

里斯定理（1953）： 核心理论工具。里斯定理指出，对于任何图灵完备程序的非平凡语义属性，无法判定任意程序是否具有该属性。
- 应用： 属性“该程序的效应是否符合策略 P？”是一个非平凡语义属性。因此，没有任何算法能普遍判定任意图灵完备的 AI 代理是否会违反治理策略。
形式化验证： 相关主张已在 Coq 中机械化（36 个模块中的 454 个定理，零个被承认的引理）。这为所提出解决方案的结构属性提供了数学确定性。
架构分析： 本文对比了“行为式”方法（分析输出）与“结构式”方法（架构上的关注点分离）。

3. 主要贡献

A. 行为式效应治理的不可能性

本文证明了对于图灵完备系统中的效应控制，行为式治理在结构上是不足的。

内容过滤器、RLHF 和宪法式 AI 运作于语义属性之上（模型说了什么或意图是什么）。
由于可能动作的空间是组合式的且图灵完备，行为式方法只能产生近似结果（误报/漏报）。
监控是不够的，因为它是独立的系统；它进行观察但不进行控制，导致不可避免的覆盖缺口，这些缺口会随着动作数量的增加呈指数级扩大。

B. 结构替代方案：计算与效应的分离

本文提出了一种激进的架构转变：将计算与效应分离。

计算层： 纯代码，生成指令（描述预期效应的结构化数据），但无法执行 I/O。
治理边界： 一个单一的、强制性的层级，接收指令，根据策略对其进行验证（语法检查），并执行效应。
结果： 治理成为指令（语法）的函数，而非程序（语义）的函数。由于指令是结构化数据，其属性在构建时即可判定。

C. 共界治理

本文将共界治理定义为表达性边界等于治理边界的状态。

定义： 如果系统满足以下两点，则符合共界治理：(1) 每个可表达的效应都通过治理边界（安全性），且 (2) 原语具有足够的表达性以针对所需的计算（充分性）。
属性：
- 无未受治理区域： 从构建上杜绝任何事物逃脱治理。
- 无剧场区域： 每项策略都对应真实的能力。
- 组合推理： 如果组件 A 和 B 受治理，它们的组合自动受治理。
- 内在可解释性： 治理记录本身就是执行记录。

D. 效率后果

行为式治理： 累加成本。每一层（过滤器、监控器）都会增加与吞吐量成正比的延迟和计算量（ $k \times$ 吞吐量）。
结构式治理： 包含基础设施。治理检查是执行管道的一部分。成本仅与吞吐量呈线性关系，无需维护独立系统。
实证数据： 在 Apple Silicon 上，受治理执行的开销测得中位数为 0.23 毫秒（未受治理为 0.24 毫秒），证明结构式治理与原生执行速度无异。

4. 结果

理论证明： 里斯定理证实，在一般情况下，对图灵完备代理的行为式治理是不可判定的。
形式化验证： Coq 证明表明，所提出的“分离原则”产生了一个系统，其中安全性和充分性定理成立，从而确保边界共界。
性能： 与行为式层级相比，结构式治理引入的延迟可忽略不计，而行为式层级随着治理层数量的增加，扩展性较差。
失效模式： 本文证明，如果没有结构分离，“风险”（未受治理能力）和“剧场”（针对不存在能力的策略）在结构上是不可避免的。

5. 意义与影响

范式转变： 本文认为，AI 安全不能通过用更多过滤器或监控器“修补”现有架构来实现。它需要根本性的重新架构，即效应不是代码的直接能力，而是通过受治理的边界进行中介。
层级区分： 它阐明了内容治理（塑造大语言模型说什么）和效应治理（控制代理做什么）是截然不同的问题，需要不同的机制。内容治理是行为式的；效应治理必须是结构式的。
策略与执行： 本文强调，结构式治理以数学确定性保证策略的执行，但并不保证策略本身的正确性。策略设计仍然是一个人类判断问题。
实际局限性： 该方法需要对现有的代理框架（目前混合了 I/O 和逻辑）进行完全重新架构。它无法作为库进行 retrofit（改造）。此外，它还对开发者施加了纪律（纯计算与指令），这可能会影响原型设计的速度。

结论

《两个边界》得出结论：对于具有自主性的 AI 系统，结构安全是实现零残留风险的唯一途径。行为式方法可以降低风险，但由于图灵完备系统中语义属性的不可判定性，无法消除“未受治理区域”。通过分离计算与效应实现的共界治理，是确保 AI 采取的每一个动作都受到可证明治理的必要架构标准。