🤖 AI

Mechanized Foundations of Structural Governance: Machine-Checked Proofs for Governed Intelligence

本文提出了一个用于认知工作流系统的结构治理综合框架，该框架包含五个关于安全性、不变性和表达力的形式化结果，这些结果已在 Coq 中完成机械化验证，并辅以经过广泛基于属性的测试所验证的已验证 BEAM 运行时实现。

原作者： Alan L. McCann

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Alan L. McCann

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在构建一个极其强大的机器人，它能够在现实世界中思考、规划和行动。这类机器人最大的担忧是：如果它决定做某件危险的事情怎么办？

这篇由 Alan L. McCann 撰写的论文，提出了一种机器人架构的数学“蓝图”，使得机器人不可能在未经许可的情况下采取行动。它不仅仅是希望机器人表现良好，而是利用严格的数学证明，确保机器人无法违反规则。

以下是他们工作的分解，使用简单的类比来说明：

1. “交通警察”系统（结构性治理）

想象机器人的大脑是一座繁忙的城市。机器人想要执行诸如发送邮件、购买车票或打开灯光等操作。在大多数系统中，机器人直接执行这些操作，我们只能希望它不会犯错。

在这篇论文提出的系统中，机器人就像一名司机，如果不向交通警察停下，就寸步难行。

规则：在机器人执行任何影响外部世界的操作（如发送消息）之前，它必须向“治理算子”请求许可。
检查：算子检查权限列表。如果机器人被允许，算子会给出“绿灯”并记录该操作。如果不被允许，机器人就会冻结，什么都不做。
证明：作者使用了一个名为Coq（一位数字数学家）的计算机程序来证明该系统有效。他们证明了，如果机器人试图绕过交通警察偷偷行动，数学上会判定这是不可能的。机器人如果没有“绿灯”， literally 无法执行任何操作。

2. “无限阶梯”（治理不变性）

想象机器人可以构建其他机器人，而这些机器人又能构建更多的机器人，从而形成一个无限向上的智能塔。

问题：通常，随着你向塔顶攀登，规则可能会变弱或失效。
结果：作者证明了“交通警察”规则在阶梯的每一个台阶上都有效，无论你爬得多高。数学表明，规则被 baked 进了塔本身的形状中。你无法在塔顶构建一个“ rogue”机器人，因为蓝图本身就会阻止这种情况。

3. “四块乐高积木”（充分性）

论文问道：“我们需要一百万种不同的工具来构建一个智能机器人吗？”

答案：不需要。他们证明了，构建任何类型的离散智能系统只需要四个基本构建块：
1. 代码：执行数学或逻辑运算。
2. 记忆：记住事物。
3. 调用：向其他机器人寻求帮助。
4. 推理：向一个“黑盒”（如大型语言模型）寻求建议。
神奇之处：他们证明了，仅凭这四样东西，你就可以构建出一个与任何图灵机（一种完美计算机的理论模型）一样聪明的机器人，并且它构建的每一件事都仍然处于“交通警察”的控制之下。

4. “黑盒”的必要性（必要性定理）

这是最具哲学意味的部分。作者问道：“我们能制造一个 100% 透明且可预测的机器人吗？”

答案：不能。他们证明了，为了让机器人对现实世界做出复杂的判断（例如“这个答案是真的吗？”），它必须拥有一个部分是“黑盒”——即机器人无法从内部完全分析或预测的部分。
类比：想象一位法官试图判断一位律师的论点是否“公平”。如果法官试图仅用计算器来计算公平性，他们将会失败。他们需要一种人类直觉（一个黑盒），这是计算器无法复制的。论文从数学上证明了，为了使系统运作，你需要这个不透明的部分，而且无法用更多的数学来替代它。

5. “现实世界测试”（已验证的解释器）

数学证明固然很好，但如果实际的机器人代码存在漏洞怎么办？

测试：作者没有仅仅停留在数学层面。他们构建了机器人应该如何行为的“规范”（完美描述），并将其与实际运行的软件（BEAM 运行时）进行了对比。
结果：他们运行了70,000 多次随机测试。
- 在第 188 次测试中，系统发现了常规测试遗漏的隐藏代码漏洞。
- 修复后，实际代码与完美的数学模型完全吻合。
意义：这证明了数学不仅仅是理论；它实际上能在现实世界的错误造成麻烦之前就将其捕获。

总结：“共界”边界

论文以一个名为共界治理（Coterminous Governance）的优美概念作为结尾。

想象一个圆圈代表机器人能够做的一切，另一个圆圈代表机器人被允许做的一切。
在糟糕的系统中，这两个圆圈不匹配。存在机器人能够做但不被允许做的事情（风险），或者针对机器人无法做的事情制定的规则（浪费时间）。
在这个系统中，这两个圆圈是完全相同的。
- 机器人能够构建的一切自动受到治理。
- 机器人被治理去做的一切，都是它实际能够构建的。
- 不存在“无治理的风险”，也不存在“治理表演”。

简而言之：作者为人工智能建立了一座数学堡垒。他们证明了，你可以拥有一个超级智能、无限递归、图灵完备的机器人，但它永远无法在未获得明确、记录在案且经过验证的许可的情况下采取行动。而且，他们不仅用文字证明了这一点，还通过计算机检查的数学证明，在此过程中发现了真实的漏洞。

基于 Alan L. McCann（Mashin 公司，2026 年 4 月）的论文《结构治理的机械化基础：受控智能的机器验证证明》，以下是详细的技术总结。

1. 问题陈述

本文解决了治理认知工作流系统（AI 代理）的关键挑战，以确保所有计算效应（I/O、网络调用、状态变更）仅在严格授权下发生。

差距：现有的 AI 安全方法（如 RLHF、护栏）通常依赖行为训练或事后过滤，这些方法易受对抗性输入攻击，且无法保证结构安全性。
风险：缺乏形式化保证时，存在“不受控能力”（代理执行未授权操作）或“治理表演”（政策存在但未覆盖实际系统行为）的风险。
目标：建立一个数学上严谨的框架，使治理具有结构性、在所有递归层级上保持一致，并且相对于系统的表达能力是严格完备的。

2. 方法论

作者利用 Coq 证明助手（8.19 版本）进行形式化验证，以机械化结构治理理论。

交互树（ITrees）：程序被建模为共归纳交互树（itree），表示无限行为，其中节点为纯值（Ret）、静默步骤（Tau）或可见事件（Vis）。这使得对非终止程序的推理成为可能。
参数化共归纳：利用 paco 库，作者在无限执行轨迹上证明属性，确保安全性不仅适用于有限的测试用例，而是“永远”成立。
范畴语义：系统将形式化为 Kleisli 范畴（Category Mashin），将认知工作流视为态射。这使得能够应用范畴论来证明组合封闭性和表达能力。
已验证的解释器规范：为了弥合抽象数学与部署代码之间的差距，作者创建了运行时信任与能力逻辑的 Coq 规范。该规范使用超过 70,000 个随机输入，通过基于属性的测试与实际的 BEAM 运行时（Elixir）进行了对比测试。

3. 主要贡献与结果

本文提出了五项基础成果（三项在 Coq 中机械化，两项在论文中证明）以及第六项连接理论与实践的贡献。

A. 共归纳安全谓词（`gov safe`）

已机械化：是。
定义：一个由布尔权限标志索引的共归纳谓词。它捕获程序是否仅在通过治理检查后才执行 I/O。
关键见解：除非权限标志为 true（由治理阶段设置），否则严格禁止 I/O 事件。治理事件本身始终是安全的。
结果：证明了任何通过治理算子 G 解释的程序都满足 gov safe，而“裸”I/O（未受治理）则不满足该谓词。

B. 治理不变性定理

已机械化：是。
概念：治理必须在元递归的每个层级上成立（例如，监控另一个治理者的治理者）。
结果：类型系统强制规定，第 $n+1$ 层级的机器类型在定义上等同于第 $n$ 层级。因此，治理是按构造统一的；任何递归层级都无法“逃脱”治理。

C. 充分性定理

已机械化：是。
概念：证明一个系统仅使用四个原子原语即可实现表达完备性（能够表示任何离散智能系统）：
1. code（纯计算）
2. reason（神谕介导的推理，如 LLM 调用）
3. memory（持久存储）
4. call（递归调用）
结果：这些原语构成了一个封闭范畴，并能在受治理架构内模拟图灵机（寄存器机）。这证明了图灵完备性与治理并非互斥。

D. 交替范式（论文证明）

已机械化：否（论文证明）。
概念：任何机器都可以分解为代码层（纯计算）和效应层（受治理的 I/O）交替的标准序列。
意义：为程序分析提供了标准表示，将纯逻辑与副作用分离。

E. 必要性定理（论文证明）

已机械化：否（归约至 Rice 定理）。
概念：证明架构不透明组件（reason 原语）在语义判断中是数学上必要的。
逻辑：通过归约至 Rice 定理，作者表明没有任何纯可计算、透明的系统能够决定所有输入的非平凡语义属性（例如：“此输出在事实上是否正确？”）。因此，需要一个“黑盒”神谕来打破可判定性循环。

F. 已验证的解释器规范（运行时连接）

已机械化：是（规范 + 测试）。
方法：在 Coq 中形式化了 BEAM 运行时的信任、能力和哈希链逻辑。
验证：基于属性的测试使用 70,000 多个随机指令序列，将 Coq 规范与运行的 BEAM 运行时进行了对比。
结果：在修复了第 188 个测试用例中发现的一个潜在 bug 后，实现了零分歧。该 bug 是能力分类法与解释器逻辑之间的不匹配，单元测试无法发现，但被形式化规范捕获。

4. 意义与影响

共界治理

本文引入了共界治理（Coterminous Governance）的概念，即系统能够表达（表达能力）的边界与受治理（安全性）的边界完全一致。

无不受控风险：由于系统在治理边界内是图灵完备的，因此不存在任何不受治理的能力。
无治理表演：由于治理涵盖了所有可表达的行为，因此不存在不与真实系统行为相对应的政策。

“受控智能定律”

研究结果被提炼为四条机器验证的定律：

计算不产生效应：纯代码声明意图；只有受治理的边界才执行效应。
治理即边界：治理具有结构性，并在递归的每个深度上成立。
溯源即系统：每个效应都记录在防篡改链中。
系统无法自我完成：语义推理需要不透明神谕（通过 Rice 定理证明）。

实践验证

通过形式化规范测试在生产环境的 BEAM 运行时中发现真实的“能力树”bug，证明了该方法的实用价值。这验证了形式化方法能够检测传统单元测试遗漏的微妙集成错误。

5. 结论

这项工作代表了 AI 安全领域的范式转变，从概率性/行为性保证转向确定性/结构性保证。通过机械化 454 个定理（零承认引理）并将其与已部署的运行时连接，作者提供了首个形式化证明：一个图灵完备的 AI 系统可以在不牺牲表达能力或不对底层组件要求无限信任的情况下，实现结构性治理。该架构确保“治理”不是附加组件，而是系统运行的基本基质。