🤖 AI

CoCoDA: Co-evolving Compositional DAG for Tool-Augmented Agents

CoCoDA 是一个框架，它通过在单一组合式代码 DAG 中协同进化规划器与不断扩展的工具库，使小型语言模型能够匹配甚至超越更大的教师模型，该框架通过符号统一优化检索效率，并借助结构感知奖励机制加速学习。

原作者： Ziyang Yu, Qiyue Li, Liang Zhao

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziyang Yu, Qiyue Li, Liang Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个非常聪明但体型小巧的机器人助手（即“规划器”），它需要解决复杂的问题，例如进行高级数学运算或编写代码。这个机器人拥有的“大脑空间”（上下文窗口）有限，无法一次性容纳大量信息。为了帮助它，我们为其配备了一套可使用的技能工具箱（工具）。

现有方法的问题在于，这就像试图把一座庞大的图书馆塞进你的口袋里。随着你为机器人添加更多有用的书籍（工具）以助其解决问题，口袋会变得过于沉重，导致机器人无法将其大脑中容纳足够的工具来解决问题。此外，机器人并不知道如何组织这些书籍；它看到的只是一堆杂乱无章的文本，这使得它难以快速找到正确的那一本。

CoCoDA 是一个新系统，它通过改变工具箱的构建方式以及机器人学习使用工具箱的方法来解决这一问题。以下是其工作原理，采用简单的类比说明：

1. “活体蓝图”（组合式有向无环图 DAG）

CoCoDA 不再依赖杂乱无章的书籍堆，而是构建了一个活体蓝图（有向无环图，即 DAG）。

节点：将这些视为单个工具。有些是基础工具（如锤子或螺丝刀），另一些则是“超级工具”（如预组装好的钻床），它们由基础工具组合而成。
连接：蓝图精确展示了超级工具是如何由基础工具构建而成的。这就像一本食谱书，其中“蛋糕”食谱指向“搅拌面糊”和“烘烤”步骤。
优势：由于蓝图知晓结构，机器人无需阅读每一本书的每一页。它可以查看“目录”（签名）和“食谱步骤”（依赖关系），从而瞬间知晓哪些工具可以相互配合。

2. “智能过滤器”（类型化 DAG 检索）

当机器人面临新问题时需要挑选正确的工具。旧方法会阅读图书馆中每一个工具的描述，这不仅缓慢，而且消耗过多的“大脑空间”。

CoCoDA 使用四阶段过滤器来缩小选择范围，就像安检通道一样：

阶段 1（身份核查）：检查工具的“身份证”（其类型签名）。如果工具与任务不匹配（例如试图用锤子剪纸），则立即被拒绝。这几乎不消耗任何“脑力”。
阶段 2（描述扫描）：对于通过身份核查的工具，系统会阅读其简短描述，以判断它们是否听起来相关。
阶段 3（规则检查）：检查“规则”（前置条件和后置条件）。该工具是否需要它目前不具备的输入？它是否能产生正确的输出？如果不是，则将其剔除。
阶段 4（示例匹配）：最后，它查看该工具在现实世界中的实际运作示例，以挑选出绝对最匹配的选项。

神奇之处：因为它在廉价且快速的阶段（1 和 2）就过滤掉了糟糕的工具，所以它只需将昂贵的“脑力”花在阅读那些真正幸存下来的少数工具的完整详情上。这使得机器人的“口袋”即使随着图书馆变得巨大也不会变得过重。

3. “协同进化”（共同学习）

这是最独特的部分。通常，机器人学习使用工具，但工具保持不变。而在 CoCoDA 中，机器人和工具箱共同成长。

发现：当机器人通过将多个基本步骤（如“加”、“乘”，然后“除”）串联起来成功解决一个难题时，一位“导师”（一个更大、更智能的 AI）会审视这一成功。
发明：导师会说：“嘿，这一系列步骤很有用！让我们将它们打包成一个新的‘超级工具’，并将其添加到蓝图中。”
奖励：机器人因使用这些新超级工具而获得加分（奖励），因为它们节省了机器人反复执行基本步骤的麻烦。
循环：随着机器人变得更强，它会发现更多可打包的模式。随着工具箱变得更智能，机器人就能解决更难的问题。它们同步进化。

结果

该论文在数学问题、表格分析和编码任务上测试了此系统。

“小与大”测试：他们使用了一个小型机器人（80 亿个“大脑单元”），并将其与一个巨型机器人（320 亿个单元）进行比较。
结果：借助 CoCoDA，小型机器人能够在困难的数学和逻辑谜题上媲美甚至超越巨型机器人。
效率：小型机器人并非仅仅靠运气；它学会了如此高效地组织其知识，以至于它不需要巨大的大脑规模就能承担繁重的工作。

简而言之，CoCoDA 教导小型 AI 构建其自身有组织、分层的技能库，使其能够通过确切知道该抓取哪些工具以及如何组合它们而不会感到不知所措，从而在自身量级之上实现超常发挥。

技术摘要：CoCoDA——面向工具增强智能体的协同演化组合 DAG

1. 问题定义

工具增强的语言模型（LLM）通过引入外部可执行技能扩展了小型规划器，使其能够卸载计算和符号操作。然而，扩展工具库引入了一个根本性的张力：库必须随规划器一起演化以捕捉新的可重用子程序，但同时，从不断增长的库中进行检索必须保持在固定的上下文预算内。

现有方法未能解决这种耦合问题。静态工具使用系统假设库存是固定的，而技能库方法通常将工具存储为扁平的文本记录或自然语言记忆。这些扁平结构导致提示成本随库大小线性增长，并掩盖了可执行代码的 typed（类型化）和组合结构。相反，代码库方法利用了结构，但并非专为在 token 预算检索下运行的 LLM 规划器设计。核心挑战在于设计一种机制，该机制同时具备代码感知能力、检索高效性且可在线学习，从而解决两个耦合问题：如何随策略增长库，以及如何在固定上下文窗口下从该增长库中进行检索。

2. 方法论：CoCoDA 框架

CoCoDA 通过一种单一的代码原生结构解决了这些挑战：组合代码 DAG（有向无环图）。该框架通过两个主要组件协同演化规划器（ $\pi_\theta$ ）和工具库（ $L$ ）：类型化 DAG 检索和在线协同演化过程。

2.1 组合工具 DAG 结构

库 $L$ 被组织为 DAG $G=(V, E)$ ，其中：

节点（ $V$ ）： 划分为原始节点（原子可执行函数）和复合节点（调用现有工具的宏操作）。
边（ $E$ ）： 编码调用依赖关系，按抽象层级而非表面相似性对库进行分层。
节点记录（ $I(v)$ ）： 每个节点存储四级记录：
1. $L_1$ ： 类型化签名（符号化）。
2. $L_2$ ： 自然语言描述。
3. $L_3$ ： 前置/后置条件规范及复杂度。
4. $L_4$ ： 已解决的输入输出示例。

2.2 类型化 DAG 检索

在推理时，CoCoDA 采用从粗到细的检索级联，在产生昂贵的 LLM 成本之前先对候选项进行符号剪枝。给定由查询引发的子目标，该过程构建一个嵌套的幸存者集合序列 $S_0 \supseteq S_1 \supseteq S_2 \supseteq S_3 \supseteq S_4$ ：

$L_1$ （符号剪枝）： 通过将子目标签名与工具的类型化签名统一来过滤工具。此阶段是符号化的，不产生任何提示 token 成本。
$L_2$ （语义扩展）： 利用描述对幸存者按语义相关性进行排名。关键在于，此阶段可根据 DAG 结构上升到包含性的复合节点或下降到原始节点，这是扁平文本检索所缺乏的能力。
$L_3$ （规范过滤）： 验证前置/后置条件和复杂度约束。幸存的复合节点被认证为与其原始子轨迹等效的宏操作。
$L_4$ （示例消歧）： 利用已解决的示例对幸存者重新排名以打破平局。

这种级联确保昂贵的 LLM 计费记录仅针对逐渐缩小的候选集被实例化，从而使检索成本在库大小上保持次线性。

2.3 在线协同演化

该框架基于成功的轨迹同时更新规划器和库：

库增长： 成功轨迹被传递给固定的教师抽象器（ $M_T$ ），由其提出复合工具。仅当提案保持无环性并满足依赖/规范检查（通过 INSERTTOOL）时，才会提交该提案。
规划器更新： 规划器使用DAG 诱导奖励进行更新。除了标准的结果奖励（ $R_{res}$ $R_{r es}$ ）外，组合奖励（ $R_{comp}$ $R_{co m p}$ ）根据“节省调用”计数（ $\Phi$ $Φ$ ）对工具进行信用分配， $\Phi$ $Φ$ 定义为复合工具替代的原始调用数量。
- $R(\tau) = R_{res}(\tau) + \lambda \sum \Phi(t_i)$ 。
- 该奖励鼓励规划器路由到更深层的复合节点，从而有效减少完成任务所需的工具调用数量（ $T(\tau)$ ）。

3. 主要贡献

问题定义： 作者将小型 LLM 的工具库学习框架化为一个联合优化问题，明确包含检索成本和上下文窗口约束，解决了策略与库的耦合增长问题。
类型化 DAG 检索： 一种代码原生检索级联，利用签名、调用边、规范和示例，使提示成本在库大小上保持次线性。
协同演化过程： 一种在线机制，插入经过验证的复合工具，并利用结构化的“节省调用”奖励训练规划器，鼓励利用新学到的抽象。
理论保证： 本文提供了以下证明：
- 检索成本降低和次线性检索时间。
- 在整形奖励下的组合优势（证明使用复合工具产生的奖励严格高于等效的原始序列）。
- 保守更新下的单调协同演化。
- DAG 的良构性（无环性和深度界限）。

4. 实验结果

CoCoDA 在六个基准测试上进行了评估，涵盖数学推理（GSM8K, MATH）、表格分析（WikiTableQuestions, FinQA）和代码任务（EvalPlus, MBPP）。

性能： 使用 CoCoDA 训练的 8B 学生模型在 GSM8K（93.67 vs. 93.40）和 MATH（63.18 vs. 61.62）上匹配或超过了 32B 教师模型。
扩展性： 相比普通思维链（CoT）的提升在较小规模下最为显著（例如，0.6B 模型在 GSM8K 上提升了 +10.7）。
基线： CoCoDA 始终优于强大的工具使用基线（ReAct, ToRL, ReTool）和库学习方法（CREATOR, TroVE）。值得注意的是，缺乏紧密师生循环的库构建基线在数学和代码任务上表现不如普通 CoT，证实了协同演化的必要性。
效率： 随着库大小增长到 1,600 个节点，CoCoDA 的检索成本比扁平检索低约 11.4 倍，比文本分层 RAG 低 4.7 倍。
消融实验： 移除组合工具 DAG（CTD）导致了最大的性能下降（2–4 分），突显了依赖边的重要性。禁用类型化 DAG 检索（TDR）对表格任务影响最大，而移除图感知奖励（GAR）则均匀降低了性能。

5. 意义与主张

本文主张，CoCoDA 通过利用可执行代码独特的结构属性，解决了库增长与上下文约束之间的张力。通过将库表示为组合 DAG，该框架实现了：

次线性检索： 能够呈现复杂、可重用的抽象，而无需线性增加上下文成本。
结构化学习： 一种奖励信号，明确奖励规划器将原始序列压缩为复合操作，从而驱动策略与库的协同演化。
可扩展性： 小型模型（8B）能够通过有效利用外部、演化的程序性记忆，达到更大模型（32B）的性能。

作者总结认为，这种方法为小型语言模型高效卸载计算和符号操作提供了一条可行路径，前提是库通过尊重工具可执行性质的结构随策略协同演化。未来的工作 noted 将扩展到多模态设置和多智能体场景。