🤖 AI

Effect-Transparent Governance for AI Workflow Architectures: Semantic Preservation, Expressive Minimality, and Decidability Boundaries

本文在 Rocq 中呈现了一种机器验证的形式化证明，表明针对人工智能工作流的效果透明治理能够在不损害内部计算表达能力或语义透明性的前提下，严格约束外部效应并强制实施安全谓词。

原作者： Alan L. McCann

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Alan L. McCann

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一个聪明、超能力的 AI 助手。它能编写代码、记住事物、调用外部工具，甚至与其他 AI 模型聊天以解决复杂问题。但你担心：如果它决定做一些危险的事情，比如删除你的文件或调用它不该调用的服务，该怎么办？

传统观点认为，你必须在安全性和能力之间做出选择。你要么让 AI 为所欲为（有风险），要么给它施加沉重的限制，这可能会阻止它正确完成工作（显得愚蠢）。

这篇论文提出了一种构建 AI 系统的新方法，证明你不必做出这种权衡。它表明，你可以在 AI 周围设置一个“治理”层，阻止不良行为，而无需改变 AI 思考或解决问题的方式。

以下是使用简单类比进行的分解：

1. 核心理念：“门卫”与“编辑”

大多数当前的安全方法就像编辑。AI 完成工作、写出一段故事，然后由编辑阅读。如果故事中有坏词，编辑就会将其删掉或重写句子。

问题：编辑改变了故事。AI 原本的思考过程被修改了，最终结果可能与 AI 的初衷不同。

这篇论文提出了一种门卫方法（称为“效果透明治理”）。

工作原理：AI 在一个房间里。在它打开一扇门（例如访问内存、调用工具或询问大型语言模型）之前，它必须向门卫出示身份证件。
神奇之处：如果门卫说“可以通行”，AI 就穿过那扇门，完全按照原计划行事。门卫没有改变 AI 的思考过程；他们只是检查了证件。
结果：如果 AI 被允许继续，其结果与门卫根本不存在时完全相同。AI 的“大脑”保持原样。

2. “交互树”（蓝图）

作者使用他们称为“交互树”的东西，构建了 AI 工作流程的数学模型。

类比：将 AI 工作流程想象成一棵树。树干是 AI 的逻辑。树枝是它想要做的事情（例如“调用数据库”或“提问”）。
“治理”是包裹在树枝末端的保护层。它在每根树枝生长之前进行检查。如果某根树枝未获授权，树就在那里停止生长（它“发散”或在原地打转）。如果获准，树枝就按照 AI 的设计完全生长。

3. 七大关键发现（“七大支柱”）

作者使用计算机在数学上证明了关于该系统的七件事：

P1 & P2：它依然超级聪明。即使有门卫检查证件，AI 仍然可以执行任何普通计算机能做的事情（图灵完备），并且仍然可以使用大型语言模型等高级工具。安全网并没有让 AI 变“笨”。
P3：“可判定性边界”（不可逾越的界限）。门卫擅长检查结构性规则（例如：“这是内存请求吗？”“该用户是否有 5 级徽章？”）。这些可以瞬间轻松检查。然而，门卫无法预测 AI 是否会陷入无限循环，或者一个复杂的数学问题是否最终会结束。论文证明，门卫恪守其职责范围：它检查规则，而不深入探讨关于 AI 未来行为的哲学问题。
P4：目标保持。如果 AI 被允许运行，它将实现其目标。如果它原本要计算 2+2，它仍然会计算出 4。安全检查没有改变数学运算。
P5：表达最小性。该系统使用一组特定的工具（计算、内存、推理、调用工具、观察）。作者证明，如果你移除其中任何一个工具，AI 就会失去一种特定类型的能力。如果不破坏其执行复杂工作的能力，就无法进一步简化该系统。
P6：“门卫”比“编辑”更强。论文证明，检查动作（结构性治理）严格优于仅仅过滤输出（内容治理）。门卫可以在不良行为发生之前将其阻止。编辑只能在不良结果发生后尝试修复，这不太可靠。
P7：语义透明性（“幽灵”效应）。这是最重要的一点。在 AI 被允许工作的每一次运行中，其结果与未受治理的运行在观察上等价。对于外部观察者来说，治理层就像幽灵一样隐形，除了它成功阻止了不良行为这一事实。

4. “人工制品”（证明）

作者不仅写下了这些内容，还在名为Rocq的证明助手（一种用于验证数学的工具）中构建了它。

他们编写了 12,000 行代码。
他们证明了 454 个定理。
他们承认零个错误（0 个已承认的引理）。
这意味着计算机已经双重检查了他们的逻辑，并确认其在数学上是 100% 可靠的。

总结

这篇论文认为，我们可以构建带有“安全包装层”的 AI 系统，该层充当严格的看门人。这位看门人阻止未授权的行为（如黑客攻击或未授权的调用），但关键在于，当行为被允许时，它不会干扰 AI 的思考过程。

它证明了安全性和智能并非敌人。你可以拥有一个完全受治理且安全的系统，同时保留其完整的计算、推理和行动能力，前提是这些行为是经过授权的。治理层对 AI 的成功是透明的，仅作为抵御未授权影响的盾牌。

技术摘要：面向 AI 工作流架构的效果透明治理

问题陈述

随着 AI 工作流系统越来越多地在现实世界中行动——查询大语言模型（LLM）、管理状态以及调用外部工具——对治理机制的需求日益增长，以防止不安全或未经授权的行为。该领域的一个普遍假设是，治理不可避免地会以牺牲能力为代价：旨在提高安全性的限制被认为会减少系统可表现的行为空间。本文通过形式化一种架构替代方案来挑战这一假设，该方案将治理施加于效果边界，而非通过修改内部计算或后处理输出来实现。所解决的核心语义问题是：治理是否会改变被允许程序所计算的内容。

方法论

作者使用Rocq 8.19证明助手（前身为 Coq）中的交互树（Interaction Trees），提出了结构治理 AI 工作流架构的机器验证形式化。该开发包含 36 个模块、12,000 行代码和 454 个定理，且零个被承认的引理。

核心形式化

交互树（ITrees）：程序被建模为基于事件类型 $E$ 的共归纳树，定义为 Ret(v)、Tau(t) 或 Vis(e, k)。这使得递归和不纯程序的表示成为可能。
指令事件类型：系统定义了一个包含原始能力构造子的 DirectiveE 类型：计算态射、内存操作、预言机（LLM）调用、外部工具调用以及可观测性事件。
治理算子（ $G$ ）：治理是作为效果解释的包装器实现的，遵循代数效果处理器的传统。算子 $G(h)$ 调解基础处理器 $h$ 发出的每个指令。它执行预检查（信任、权限、阶段验证）和后仪器化（来源、可观测性）。如果检查失败，执行通过 ITree.spin 发散；如果通过，指令则委托给底层处理器。
安全谓词：安全通过参数化共归纳（paco）定义的共归纳谓词 gov_safe 来定义。该谓词区分仅治理事件（始终被允许）和真实 I/O 事件（需要显式授权）。

主要贡献与结果

本文确立了七个主要属性（P1–P7），证明治理与计算表达能力是正交维度。

1. 语义透明性（核心定理）

核心贡献是一个机器验证的定理，证明了语义透明性。对于所有治理检查成功的执行，被治理的解释（模去仅治理事件）与未被治理的解释是观察等价的。

含义：被允许的程序计算完全相同的偏函数，并产生与无治理时相同的可达返回值。治理约束了效果的边界，而不改变允许路径的内部计算。

2. 受治理的表达能力（P1 & P2）

作者证明了治理包装器不会降低计算能力：

受治理的图灵完备性：系统在治理下保持图灵完备。寄存器机器程序可以转换为受治理的交互树，而不会损失表达能力。
受治理的预言机表达能力：该架构支持在治理下进行预言机扩展（LLM 查询），保持了建模复杂推理工作流的能力。

3. 可判定性边界（P3）

本文形式化了治理可以决定与不能决定之间的严格边界：

治理谓词：这些是结构性的、语法上的、完全的，并且在布尔组合（AND、OR、NOT）下封闭。它们可以决定信任级别和能力类别等属性。
语义属性：诸如停机之类的程序属性仍然是非平凡的，且对治理而言是不可判定的。本文证明了治理无法决定停机，因为两个程序可能具有相同的指令结构（从而通过治理检查），但在整体终止行为上却不同。这与应用于结构边界的 Rice 定理相一致。

4. 表达最小性（P5）

作者证明了原始能力集（计算、内存、推理、外部调用、可观测性）是最小必要的。

严格层级：能力形成一个严格链条：代码 < 代码 + 内存 < 代码 + 内存 + 推理 < 代码 + 内存 + 推理 + 调用。
必要性：移除任何单一原始能力都会严格降低系统的表达能力。例如，内存指令对于图灵完备性在结构上是必要的，而 LLMCall 指令对于预言机扩展是必要的。

5. 包含不对称性（P6）

本文确立了结构治理与内容级过滤之间的严格分离：

结构包含内容：结构治理严格包含内容过滤。通过在解释边界调解效果，结构治理防止了未经授权 I/O 事件的发生。
内容不包含结构：内容过滤器（例如输出重写）可能会改变值，但无法阻止未经授权的效果步骤发生。因此，仅靠内容过滤并不意味着效果安全。

6. 目标保持（P4）

在所有治理允许的 executions 中，系统保持程序的目标。如果一个程序旨在达到特定的返回值 $v$ ，且治理检查通过，那么受治理的执行将达到 $v$ 。

7. 通过拒绝实现安全（活性与安全）

当治理检查失败时，系统以牺牲活性为代价换取安全。执行发散（spin）而不是产生错误的结果。系统保证永远不会发生未经授权的效果，也永远不会产生“不安全”的返回值。

意义与范围

本文声称证明了治理与计算表达能力是正交的。治理可以被施加以约束程序的效果边界，而不会降低其内部计算表达能力或改变其在允许轨迹上的语义。

信任边界：保证是相对于可信计算基（TCB）成立的，该基由 Rocq 内核、交互树库以及 $G$ 算子的运行时实现组成。本文将其与验证编译器（CompCert）和操作系统内核（seL4）相类比，指出形式模型与部署运行时之间的差距通过测试来弥合（针对 70,000 多个生成的序列进行了验证）。
局限性：透明性定理仅适用于允许的执行；被拒绝的执行会发散。该模型抽象掉了资源耗尽、调度和概率模型行为。定理适用于抽象架构和解释器，而非编译二进制文件的端到端保证。

这项工作扩展了先前的机械化开发（McCann [2026b, 2026e]），增加了语义透明性、表达最小性和形式化可判定性边界，为 AI 系统中的“效果透明治理”提供了严谨的基础。