🔢 mathematics

Harness Engineering as Categorical Architecture

本文通过将智能体外化的四大支柱映射至 ArchAgents 框架的 (G, Know, Phi) 三元组，确立了范畴架构作为大语言模型智能体工程化的形式化理论基础，从而实现了基于身份与重放而非输出层正确性的结构保证与跨框架编译验证。

原作者： Bogdan Banu

发布于 2026-05-13

📖 1 分钟阅读🧠 深度阅读

原作者： Bogdan Banu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对该论文的解读。

核心理念：“ harness（驾驭系统）”与“大脑”

想象你有一位才华横溢、超级聪明的助手（AI 模型）。这位助手知晓世间万物，但性格有点混乱。它可能会忘记你五分钟前问的问题，可能会尝试使用它根本没有的工具，或者搞混操作顺序。

在 AI 世界中，模型是大脑。但Harness（驾驭系统） 是其他一切：它用来记事的笔记本（记忆）、它使用的工具箱（技能）、它与你对话时遵循的规则（协议），以及告诉它下一步做什么的经理（编排）。

这篇论文认为，长期以来，工程师们是通过猜测和试错（trial and error）来构建这些“经理”（驾驭系统）的。他们没有一本正式的规则手册来证明他们的经理能可靠地工作。

这篇论文说：“我们拥有一套基于数学的规则手册来构建这些经理，并且我们可以证明它是有效的。”

三部分蓝图：“架构三元组”

作者们引入了一个名为架构三元组（Architecture Triple） 的数学框架。将其想象为构建可靠 AI 经理的蓝图。它包含三个部分：

接线图（G）： 这是流程图。它展示了信息如何从一个步骤流向下一个步骤。类比：房屋的管道系统。它展示了水（数据）流向哪里，但不展示水是什么。
规则手册（Know）： 这是最重要的部分。它列出了系统做出的“结构保证”或承诺。类比：建筑规范。它承诺诸如“屋顶永远不会漏水”或“消防通道将始终保持畅通”之类的事情，无论谁住在这所房子里。
部署地图（Φ）： 这是关于针对哪项工作使用哪个特定大脑（AI 模型）的说明。类比：员工名册。它规定：“切菜用初级厨师，但主菜由主厨负责。”

经理的四大支柱

这篇论文将这一数学蓝图与工程师们已经在构建的四个现实世界要素联系起来：

记忆： 系统的记忆能力。在数学世界中，这被视为随时间更新的“状态机”。
技能： 代理（agent）可以使用的工具。在数学世界中，这些就像可以按特定方式（串联、并排或循环）拼接在一起的乐高积木。
协议： 代理如何与自己或他人交流。在数学世界中，这是“接线”，确保正确类型的消息进入正确的插槽。
Harness（驾驭系统）： 整个系统本身。

魔术技巧：“证书保留”

这篇论文最大的主张是关于可移植性。

想象你在德国的工厂里构建了一台复杂的机器（一个 harness）。你想将蓝图运往日本的工厂，以建造完全相同的机器。通常，当你翻译蓝图时，可能会不小心丢失某个安全功能或改变齿轮比。

这篇论文声称，由于他们使用了这种“架构三元组”数学，他们可以将 harness 从一个软件框架转换到另一个（例如，从 LangGraph 转换到 Swarms），而不会丢失安全保证。

他们将这些保证称为**“证书”（Certificates）**。

证书示例： “如果答案质量太低，系统将自动切换到更智能、更昂贵的 AI 模型。”
测试： 当他们把 harness 转换到新框架时，他们不仅检查代码是否运行，还检查证书是否仍然成立。他们证明了即使底层代码看起来不同，“安全开关”仍然有效。

实验：它真的有效吗？

作者们不仅谈论数学；他们构建了一个原型并进行了测试。

1. “升级”测试
他们设置了一个任务，让一个“快但笨”的 AI 模型尝试解决问题。

设置： 快速模型尝试编写代码审查。
规则： 如果质量评分太低，系统必须“升级”到“慢但聪明”的模型。
结果： 快速模型失败了。系统检查了评分，发现太低，于是自动切换到智能模型。
意义： 这证明了规则（harness）完美运作，即使大脑（模型）发生了变化。控制权在 harness 手中，而不是模型手中。

2. “代码修复”测试（SWE-bench）
他们尝试使用他们的系统来修复真实软件（Python 代码）中的错误。

结果： 他们遇到了瓶颈。他们使用的 AI 模型（小型本地版本）根本不够聪明，无法正确编写代码，无论 harness 有多好。
教训： 一个优秀的 harness 无法修复一个坏掉的大脑。如果 AI 模型太小或太弱，它将无法正确格式化代码，而 harness 无法挽救它。这是当前小型模型所能达到的“天花板”。

结语

这篇论文是数学理论与工程实践之间的桥梁。

以前： 工程师通过猜测来构建 AI 经理。“让我们在这里加一个安全检查。”
现在： 工程师可以使用正式的数学语言来设计经理，证明当他们更改软件工具时安全检查将得以保留，并确保无论插入哪个 AI 模型，系统都能可靠地运行。

简而言之： 这篇论文为构建可靠、可移植且安全的 AI 系统提供了“操作手册”和“质量控制测试”，证明了系统的结构与其内部模型的智能同样重要。

技术摘要：将代理 harness 工程构建为范畴架构

1. 问题陈述

“代理 harness"（即围绕大语言模型（LLM）的包含提示词、工具、记忆和编排逻辑的系统层）的工程化已成为决定代理可靠性的主要因素。然而，当前的 harness 设计仍然是临时的（ad hoc），缺乏关于组合、编译下的属性保持或跨框架系统性比较的形式化理论。从业者依赖试错法而非结构保证，导致工程师在没有形式化验证的情况下构建系统，而理论家在没有实践基础的情况下进行形式化，从而造成了这一鸿沟。

2. 方法论

本文提出了对两个现有框架的形式化统一：

外部化支柱（Zhou 等人）： 记忆、技能、协议和 Harness 工程。
ArchAgents 范畴（De los Riscos 等人）： 一个架构三元组 $(G, Know, \Phi)$ ，分别表示语法布线、结构知识和部署映射。

核心方法论涉及将四个外部化支柱直接映射到架构三元组的组件：

记忆 $\rightarrow$ 余代数状态（Coalgebraic State）： 建模为具有更新规则的动力系统（例如，双时态记忆跟踪有效时间与记录时间）。
技能 $\rightarrow$ 运算子组合对象（Operad-Composed Objects）： 通过运算子（串行、并行、追踪操作）组合的过程能力，以确保类型化组合保持属性。
协议 $\rightarrow$ 语法布线（ $G$ ）： 具有类型化端口和完整性标签（透镜、棱镜、遍历）的模块图。
Harness $\rightarrow$ 完整架构 $(G, Know, \Phi)$ ： 完整系统，其中结构保证被编码为 Know 级证书。

关键机制：证书保持
本文将结构保证定义为证书 $(\tau, \sigma, evds)$ ——即定理、参数映射和可重放的证据。框架之间的编译器（态射）仅在保持这些证书时才有效。验证保持性并非通过检查模型输出的正确性，而是通过结构重放：确保定理、参数和证据在编译后依然存在，并可在目标框架中通过机械方式重新验证。

3. 主要贡献

形式化对应： 确立了代理外部化的四个支柱精确映射到范畴架构三元组，为 harness 工程提供了数学基础。
证书保持不变量： 引入了一种机制，将结构保证（例如完整性门控、基于质量的升级）视为独立于底层模型或框架的可重放工件。
参考实现（Operon）： 一个具体实现，包含：
- 五个编译器函子，分别针对 Swarms、DeerFlow、Ralph、Scion 和 LangGraph。
- 一个 LangGraph 编译器，为每个阶段创建一个节点，调用原生的 run_single_stage() 方法，从而在保持可观测性的同时，无需重新实现 harness 逻辑。
- 基于 Ma 等人提出的五种编码技能的原子技能目录，并映射到运算子组合。
实证验证：
- 编译器验证： 证明了三种命名证书类型（优先级门控、无误激活、无振荡）在所有五个编译器目标中均以 100% 的同一性和验证性得到保持。
- 模型参数性： 一项升级实验表明，基于质量的控制路径（根据验证器分数从快速模型升级到深度模型）无论使用何种特定模型均能正确运行，证实了 harness 具有模型参数性。

4. 结果

结构保持： 在五种不同的编排框架中，编译器函子成功保持了图结构和证书不变量。结构保证在编译后得以幸存，因为它们依赖于保持的钩子（hooks）和参数，而非特定的图拓扑结构。
升级控制： 在双模型单任务实验中，基于质量的升级机制在质量低于阈值时成功触发了从 Phi-3 Mini（快速）到 Gemma 4（深度）模型的切换。这证实了控制逻辑存在于 harness 结构（$Know$）中，而非模型中。
SWE-bench-lite 的局限性（负面结果）：
- 使用 80 亿参数模型（Gemma 4 和 DeepSeek-R1 蒸馏版）在 SWE-bench-lite 上的实验揭示了一个格式纪律天花板。
- 尽管进行了落地（提供仓库上下文）和格式修正重试循环，0/30 次提交得到解决。
- 主要的失败模式是无法生成有效的 git apply 兼容差异（例如，空提取、格式错误的块头），而非文件选择错误。
- 本文结论认为，在 80 亿参数规模下，模型生成正确差异格式的能力是约束瓶颈，而三阶段分解并不能缓解这一约束。在此背景下，harness 的价值仅限于保持和原语复用，而非在使用这些模型规模针对此特定基准测试时获得任务解决能力的提升。

5. 意义与主张

本文主张范畴架构是 harness 工程背后的形式化理论。其意义在于：

抽象的转移： 将焦点从“以模型为中心”转向“以 harness 为中心”的设计，并具备形式化保证。
可移植性： 证明了结构保证可以通过结构保持态射在不同软件框架间保持（例如，从自定义的"Organism"到 LangGraph）。
模型独立性： 展示了结构证书（Know）与部署映射（ $\Phi$ ）是 distinct 的，允许相同的 harness 逻辑在不同模型上运行而不丧失其完整性属性。

作者明确对结果表示谦逊：所展示的价值在于保持（编译器间的证书同一性）和原语复用（升级逻辑），而非在使用当前 80 亿参数本地模型的情况下在 SWE-bench-lite 上实现卓越的任务解决能力。这项工作通过提供定义和验证 harness 属性的词汇和工具集，弥合了理论范畴论与实践代理工程之间的鸿沟。