🤖 AI

Compile, Then Page: Executable SOP Programs and a Capability-Gated Runtime for Procedural LLM Agents

本文介绍了一种能力门控运行时系统，该系统将标准操作程序编译为可执行伪代码，并利用程序引导的分页技术，显著增强了程序化大语言模型智能体（特别是对于具有强状态约束的模型）的安全性和性能。

原作者： Chenglin Yu, Li Yin, Ying Yu, Hongxia Yang, Ming Li

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenglin Yu, Li Yin, Ying Yu, Hongxia Yang, Ming Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明但有点丢三落四的机器人如何经营一家银行。你有一个长达 10,000 字符的庞大规则手册（标准作业程序，简称 SOP），它告诉机器人该做什么、该检查什么，以及何时说“不，绝对不行”。

过去的方法就像是每次机器人尝试回答问题时，都把这本 10,000 字符的规则手册整个塞进机器人的大脑里。机器人会被信息淹没，错过关键步骤，或者不小心批准了一笔不该批的贷款。这就像是在有人对着你大喊大叫提问时，你还要试图读完一整部百科全书；你可能会漏掉某一页。

这篇论文提出了一种更聪明的方法：先编译，后分页（Compile, Then Page）。

“食谱书” vs. “厨师工作台”

作者意识到，与其把整本混乱的文本交给机器人，不如先将规则手册编译成一个清晰的、可执行的程序。这就像是将一段冗长、混乱的指令段落转化为一张精确、分步的食谱卡片。

但神奇之处在于：他们并没有一次性把整张食谱展示给机器人。他们使用了一个叫做**分页（paging）*的系统。想象一下一位厨师，他只把食谱的当前*步骤放在柜台上（即“活动帧”），而食谱的其余部分则安全地放在架子上。机器人只看到完成下一步动作所需的 570 个字符，而不是那整个 10,000 字符的混乱堆砌。这让机器人保持专注，并防止其迷失在细节中。

“门控”带来的惊喜：取决于机器人

这里是事情变得真正有趣的地方。论文在六种不同的 AI 模型上进行了测试，涵盖了从“超级聪明”到“挣扎求生”的不同水平。

对于聪明的机器人： 这种新方法是一个巨大的胜利。在一项银行任务中，表现最好的模型从正确率 70.4% 提升到了 92.8%。更棒的是，它在“拒绝”任务中达到了 100% 的正确率（这意味着当它不应该做某事时，它能正确地说“不”）。聪明的机器人非常喜欢拥有食谱卡和专注的工作台。
对于挣扎的机器人： 结果却截然相反。较弱的模型表现反而变差了。其中一个模型的正确率从 60.8% 下降到了 48.8%。

为什么？ 论文认为，这并不是因为弱小的机器人“读不懂”食谱。当研究人员测试机器人是否能够重建程序的各种状态时，发现它们是可以做到的！问题的核心在于自律（discipline）。聪明的机器人会自然而然地遵循柜台上的步骤，并在完成后停止。然而，弱小的机器人往往会在任务完成后仍然继续检查，或者被结构搞糊涂。这个“门控”关乎的不是智力，而是自控力。

这排除了哪些可能性

作者非常谨慎地证明了哪些方法是无效的：

不仅仅是格式问题： 他们尝试给聪明的机器人提供相同的“代码”格式而非“散文”格式的信息。代码格式确实帮助了聪明的机器人，但实际上却损害了弱小的机器人。因此，仅仅将格式切换为代码并不是对所有人的万灵药。
不仅仅是隐藏信息： 他们测试了机器人失败是否是因为看不见完整的程序。他们发现，即使向聪明的机器人展示完整的程序，这种“分页”（仅显示当前步骤）的做法仍然有效。然而，弱小的机器人无法通过仅仅展示完整内容来得到解决；它们在遵循步骤的自律性方面依然存在困难。
这不是一个“硬性”阻断： 该系统并不会在物理上阻止机器人犯错。它只是强调了正确的路径。如果机器人决定忽略这条路径，它仍然可以去做，但系统会在“审计追踪”中记录下这次错误。这意味着该系统依赖于机器人选择表现良好，这也是为什么它在面对缺乏自律性的机器人时会失效的原因。

核心结论

论文最后总结了一个简单的规则，供所有构建此类智能体的开发者参考：先编译，后分页。

编译： 将你混乱的规则手册转化为一个清晰的、可执行的程序。这会对几乎所有人都有帮助，即便它对弱小的机器人改变不大。
检查模型： 在开启“分页”功能（即仅显示当前步骤）之前，你必须检查你的机器人是否具备足够的自律性来遵循它。
仅在准备好时进行分页： 如果你的机器人既聪明又自律，分页将显著提升其性能。如果你的机器人较弱或缺乏自律，分页实际上可能会让它出错更多。

简而言之，给机器人一个聚焦的任务视图是一个强大的工具，但它只有在机器人拥有在正确的时间看正确事物时的自控力时才有效。对于聪明的机器人来说，这是超能力；而对于其他的机器人来说，这是一个陷阱。

技术摘要：编译，然后分页：面向程序化 LLM 智能体的可执行 SOP 程序与能力门控运行时

1. 问题陈述

在企业环境（如银行、诊所）中部署语言智能体需要严格遵守标准作业程序（SOP）。这些 SOP 的特点是长程工作流、条件分支和安全关键型拒绝规则。当前主流做法将 SOP 处理为非结构化的文本提示（“驻留散文”），这与对话内容竞争注意力，并剥离了可执行的结构。这导致了特定的失效模式：跳过验证检查、过早采取行动以及错误的拒绝。在 SOPBench 基准测试中，即使是顶尖配置也无法达到合规标准，其错误率对于合规部门而言是不可接受的。

核心挑战在于如何将 SOP 从静态文本转变为智能体可以遵循的可执行逻辑，同时又不丢失动态对话所需的灵活性，并确保安全约束得到执行，而不至于通过硬性阻断模型（这在用户目标发生变化时会导致不可恢复的错误）来造成影响。

2. 方法论

作者提出了一个将 SOP 的表示与其运行时执行分离的两阶段架构。

2.1 离线编译（SOP 到程序）

与其将 SOP 作为自然语言输入，不如使用一个离线的、确定性的（无 LLM 参与的）编译器，将机器可读的依赖约束转化为两层伪代码程序：

过程函数（Process Functions）： 每个用户目标对应一个函数。
规则子程序（Rule Subroutines）： 每个约束都配有一个特定的验证配方（recipe）和一个携带证据的返回值 {holds, evidence}。
关键转换：
- 有状态子程序： 多轮约束在轮次间持久化。
- 门控提升（Gate Hoisting）： 用于验证的身份验证门控被移动到受保护检查之前。
- 证据纪律（Evidence Discipline）： 每个结论都与具体的工具证据挂钩；没有证据则不发布结论。
- 框架分解（Frame Factoring）： 将大型组模块化为具名函数。
输出： 一个结构化程序，其中错误的必要结果会在执行目标动作前跳转至 fail 状态。

2.2 在线程序引导（PG）运行时

编译后的程序由一个管理上下文窗口的栈式虚拟机执行：

栈分页（Stack Paging）： 运行时维护一个调用栈、游标和变量存储。它仅将当前活跃帧（约 570 个字符）分页至 LLM 的上下文中，而不是整个程序（约 10,000 个字符）。
执行流： LLM 充当语义执行器。它进行对话、选择工具参数、解释证据并报告结论。符号运行时负责处理簿记工作（栈转换、游标移动、变量绑定）。
软强制（Soft Enforcement）： 运行时管理的是注意力，而非权限。偏差是可能的，但可以在栈审计追踪中观察到。这种灵活性允许目标变更，同时依赖于模型忠实执行局部帧的能力。

2.3 实验设计

研究在 SOPBench（银行领域及其他六个领域）上使用三个分支的设计，涵盖了六种不同能力的模型：

Offtext： 官方口语化的 SOP 文本（基准）。
Flat： 全量编译程序文本驻留在每一轮中（隔离表示效果）。
PG： 使用栈分页运行时的编译程序执行（隔离运行时效果）。
Full-Cursor（消融实验）： 优先显示活跃帧，但完整程序保留在下方（隔离活跃帧显著性与全局可见性）。

3. 核心贡献

SOP 到程序编译器与栈分页运行时： 一个使程序可执行且可审计的系统，将上下文负载从每轮约 10k 降低到约 570 个字符，同时保留逻辑结构。
能力门控归因研究： 通过六模型、七领域的分析，证明了该方法的收益严格取决于模型能力。
机制解耦： 分离了通用簿记、活跃帧显著性和选择性可见性，并提供了状态重建与注意力密度的诊断。
部署规则： 一项实践指南：“先编译；仅在通过模型级纪律检查后启用活跃帧分页。”

4. 结果

4.1 表示 vs. 运行时

编译（Flat vs. Offtext）： 编译后的表示从未显著损害性能。在官方散文表现不佳的场景下，它带来了显著收益（在银行领域 +16.0 点）。
运行时（PG vs. Flat）： 运行时效应是能力门控的。
- 强模型： 两个强模型（DeepSeek-V4-Flash 和 Qwen3.7-Plus）在七个领域均表现出独立的正向收益（例如，在 favor PG 的比例上为 58:19 和 75:31）。在银行领域，DeepSeek-V4-Flash 从 86.4% (Flat) 提升至 92.8% (PG)，且拒绝正确率达 100%。
- 弱模型： 弱模型（如 GPT-4o-mini, Qwen2.5-7B）受到运行时的显著负面影响，在银行领域下降了 14–26 点。

4.2 机制分析

活跃帧显著性： 消融实验（Full-Cursor）表明，若保留完整程序但突出显示活跃帧，可以恢复强模型的大部分拒绝收益。这表明主要收益在于使当前指令变得显著，而非隐藏全局上下文。
状态纪律 vs. 重建：
- 重建： 所有模型（包括受运行时损害的模型）在被明确探测时都能重建状态（接近天花板分数）。
- 纪律： “门控”在于自发的状态纪律。弱模型失败是因为它们在目标达成后仍过度验证或继续检查（在目标后调用中出现正向 $\Delta R^2$ ），而强模型则能自然停止。
- 注意力： 强模型分配给活跃帧的注意力与其大小成正比；弱模型在活跃帧作为更大上下文一部分时，分配的注意力不足。

4.3 内容 vs. 格式

格式： 将官方文本重新合成代码格式有助于强模型（+14.4 点），但会损害弱模型（-12.8 点）。
内容： 添加验证配方和证据纪律对强模型有显著帮助，但对弱模型没有显著收益。
结论： “代码”格式并非普遍受益；它是针对那些已经具备遵循结构化指令之纪律的模型的工具。

5. 重要性与主张

论文声称，可靠遵循 SOP 的智能体的主要障碍不是缺乏信息，而是表示以及模型执行该表示时的自发纪律。

拒绝“脚手架越多越好”： 结果显示，向弱模型添加复杂的运行时引导（分页）会降低性能。
能力门控： PG 运行时的有效性严格受限于模型维持状态纪律的能力。该系统并不“修复”弱模型；它放大了强模型的性能，同时暴露了弱模型的局限性。
实践指南：
1. 先编译： 将 SOP 转换为可执行的伪代码，以改善结构并减少上下文噪声。
2. 检查纪律： 仅在验证模型可以在没有运行时结构辅助的情况下遵循指令后，才启用活跃帧分页（运行时引导）。
3. 软强制： 系统依赖于可观测性（审计追踪）而非硬性阻断，从而保留了灵活性。

作者总结道，虽然该方法使强模型在银行领域的通过率达到了 92.8% 且拒绝正确率为 100%，但它并不是一个通用的解决方案。在部署前，需要进行“模型级纪律检查”以避免损害较弱的模型。