💻 computer science

Compiling Agentic Workflows into LLM Weights: Near-Frontier Quality at Two Orders of Magnitude Less Cost

本文主张，将代理工作流直接编译到经过微调的小型模型（即“地下代理”）的权重中，提供了一种成本效益高、隐私性强且上下文高效的替代方案，以取代当前主流的外部编排框架，该方案在多种复杂任务中展现出接近前沿水平的质量，同时克服了关键的采用障碍。

原作者： Simon Dennis, Rivaan Patil, Kevin Shabahang, Hao Guo

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Simon Dennis, Rivaan Patil, Kevin Shabahang, Hao Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对该论文的解读。

核心理念：将“食谱”烘焙进“厨师”大脑

想象你正在尝试完成一项复杂的任务，比如预订一次复杂的旅行或修理一台故障机器。目前，大多数公司使用的是“经理与员工”系统（称为“智能体编排”）。

现有方式（经理）： 你拥有一个非常聪明但昂贵的“经理”（前沿 AI 模型）。每当“员工”（与你对话的 AI）需要做出决定时，经理就会停下来，阅读一本巨大的规则手册，告诉员工下一步该做什么，然后等待员工回复。这个过程会反复进行。这种方式既缓慢又昂贵，而且经理每次都必须通读整本规则手册。
新方式（地下智能体）： 作者提出了一种不同的方法：将流程编译进权重中。想象将那本巨大的规则手册直接烘焙进员工的脑子里。现在，员工本身就是专家。他们不需要经理告诉他们下一步该做什么；他们自然地知道流程。他们变成了一种“地下智能体”——一位从内而外工作的专家。

这篇论文提出了一个问题：将规则烘焙进一个更小、更便宜的 AI 中，是否真的能像使用巨大且昂贵的经理那样有效？

三大障碍（以及他们如何克服）

作者认为人们之所以没有这样做，是因为存在三大顾虑。他们在三个现实场景中测试了这些顾虑：旅行预订、Zoom 技术支持和保险理赔。

1. 质量顾虑：“小脑能像大脑一样聪明吗？”

顾虑： 人们认为，小型、廉价的 AI（30 亿或 80 亿参数）无法像大型科技巨头使用的那种庞大、昂贵的 AI 那样处理复杂的步骤。
结果： 令人惊讶的是，小型 AI 的表现几乎与大型 AI 一样好。
- 在旅行场景中，小型 AI 比大型 AI 稍显不够“礼貌”或“优雅”，但它能正确完成任务。
- 在Zoom 支持和保险（这两者要难得多）场景中，他们将小型 AI 升级到了稍大一点的版本（80 亿参数）。这个版本在几乎所有指标上都与昂贵的大型 AI 不相上下。
- 类比： 这就像雇佣一位当地经验丰富的机械师（小型 AI），而不是聘请一支世界著名的赛车队（大型 AI）。对于解决日常的汽车故障，当地机械师能达到 90%–98% 的效果，但成本却只是其零头。

2. 成本顾虑：“运行它真的更便宜吗？”

顾虑： 人们认为，即使小型 AI 的训练成本很低，但由于需要支付计算能力费用，运行它可能仍然很昂贵。
结果： 它极其便宜。
- “经理”系统必须为 AI 说的每一句话调用一个非常昂贵的 API。
- “烘焙进”的系统则在标准计算机服务器（自托管）上运行。
- 数据： 新方法每次对话的成本降低了128 到 462 倍。
- 类比： 旧方式就像每让你问一次“请转弯”，就要付给出租车司机 50 美元。新方式就像花 1000 美元买辆车然后自己开。你开得越多（任务越复杂），你省下的钱就越多。

3. 灵活性顾虑：“如果规则变了怎么办？我需要重新训练几个月吗？”

顾虑： 人们认为，如果保险公司更改了表格，或者旅行社更改了政策，你就得等待数周来重新训练 AI。
结果： 速度很快。
- 更改规则并重新训练 AI 在标准硬件上仅需30 到 50 分钟。
- 类比： 这不像从头重建一栋房子；它更像是更新手机上的软件。你可以在煮一壶咖啡的时间内完成它。

工作原理（“地下”流程）

这个过程出奇地简单：

绘制地图： 你画出对话应有的流程图（例如：“询问日期” -> “检查预算” -> “展示选项”）。
模拟演练： 一个超级聪明的 AI（“老师”）根据这张地图进行数千次演练，生成模拟对话。
烘焙大脑： 你教一个小 AI 学习这些模拟对话。AI 学习的是对话的模式，而不仅仅是文字。
正式上线： 你部署这个小 AI。它不再需要流程图；流程图现在已成为其记忆的一部分。它直接与你对话。

结论

该论文得出结论：对于具有明确步骤的任务（如预订、支持或理赔），你不需要经理。

持久结构应属于权重： 游戏规则应被烘焙进 AI 的大脑中。
瞬时状态应属于提示： 关于你的旅行或你的Zoom 通话故障的具体细节，应在对话中告知 AI。

通过将规则从“经理”转移到“员工的大脑”中，你可以以低两个数量级（100 倍）的成本获得近乎完美的质量，并具备在一小时内更新规则的能力。

技术摘要：将代理工作流编译为 LLM 权重

问题陈述

代理编排框架（如 LangGraph、CrewAI、OpenAI Agents SDK）已大量涌现，GitHub 星标总数超过 290,000。这些系统依赖一个位于大语言模型（LLM）之上的外部编排器，在每一步注入指令并做出路由决策。虽然近期研究表明，对于程序性任务，直接将完整流程提供给前沿模型的系统提示（上下文提示）往往优于编排方案，但该方法存在三个关键局限：

成本：每次对话都需要使用前沿模型，并将流程嵌入每次 API 调用中，导致 Token 消耗激增。
上下文窗口：它消耗了大量的上下文窗口容量。
隐私：它将专有流程暴露给第三方提供商。

另一种方案——将流程编译进小型微调模型的权重中（创建“地下代理”）——虽在过往学术研究中有所探索（如 SimpleTOD、FireAct、SynTOD），但开发者采用率一直很低。本文指出了阻碍采用的三个感知障碍：质量（小型模型能否匹配前沿模型？）、成本（自托管是否真的更便宜？）以及灵活性（重新训练是否慢到无法接受？）。

方法论

作者提出了一种“地下”架构，其中编排器仅用于训练数据生成阶段，而非运行时。该流程包括：

流程定义：将工作流表示为有向图（ $F = (N, E, n_0, T)$ ），包含节点（代理/用户回合）和边（转换）。
合成数据生成：遍历流程图中的所有有效路径，利用前沿模型（Claude Sonnet 4.5）生成合成对话。模型基于节点提示模板和完整对话历史，逐回合生成对话。
全参数微调：在这些合成对话上对小型模型（30 亿和 80 亿参数）进行全参数更新微调（拒绝低秩方法如 LoRA，因为作者先前的工作 [Dennis et al., 2026b] 发现其不足以实现流程的内化）。
运行时部署：编译后的模型无需任何外部编排器即可运行，仅接收最小化的系统提示。流程隐含在模型的权重中。

评估设置：
本研究评估了三个复杂度递增的领域：

旅行预订：14 个节点，3 个决策枢纽，86 条独特路径。
Zoom 支持：14 个节点，并行结构，需要特定产品知识（UI、错误代码）。
保险理赔：55 个节点，6 个决策枢纽，2,381 条独特路径，测试可扩展性。

基线：

LangGraph 编排器：使用 Claude Sonnet 4.5 配合基于显式流程图的状态跟踪（前沿模型基线）。
上下文基线：Claude Sonnet 4.5，系统提示中包含序列化的流程图。
同模型编排器：带有显式编排的 30 亿参数模型（用于隔离编译的效果）。

指标：
使用 LLM 作为裁判的方法（Claude Sonnet 4.5 和 GPT-4.1），在任务成功率、信息准确性、一致性、优雅处理能力和自然度五个维度上对对话进行评分（1–5 分制）。

关键结果

1. 质量

编译与同模型编排的对比：在旅行任务上的受控比较显示，30 亿参数的编译模型在五项指标中的四项（任务成功率、一致性、优雅处理能力、自然度）上显著优于带有显式编排的 30 亿参数模型（ $p < 0.001$ ）。
小型模型与前沿编排器的对比：
- 旅行（30 亿参数）：30 亿参数的编译模型在任务成功率和一致性上与 LangGraph 编排器持平，但在优雅处理能力和自然度上稍逊（达到上下文提示质量的约 82%）。
- Zoom 与保险（80 亿参数）：扩展至 80 亿参数模型缩小了差距。80 亿参数的编译模型达到了上下文前沿基线质量的87–98%。在保险理赔任务上，它在优雅处理能力和自然度上甚至超越了基于约大 70 倍模型的 LangGraph 编排器。
失败率：编译模型在旅行（5.5% 对 24%）和保险（9% 对 17%）任务中的失败率低于 LangGraph 编排器，这主要是因为它们消除了节点级编排固有的路由错误。

2. 成本

编译后的模型每次对话的成本比上下文基线低128–462 倍。

每 Token 成本降低：在商用硬件（A100）上自托管 80 亿参数模型，其每 Token 成本约为前沿 API 费率的 1/65。
Token 量减少：上下文基线必须在每个提示中包含完整流程（开销随复杂度增加 2 倍至 7 倍）。编译模型的提示大小是恒定的。
盈亏平衡点：一次性编译成本（约 50–80 美元）在 500 次对话内即可收回。

3. 灵活性

重新编译周期（数据生成、微调、评估）在生产硬件（8× H200）上仅需30–50 分钟，或在单张 A100 上需 3–4 小时。这与标准的 CI/CD 构建周期相当，反驳了重新训练是范式转变且耗时过长的假设。

意义与主张

本文认为，将代理工作流编译的感知障碍比通常假设的要小：

质量差距：编译后的 80 亿参数模型与前沿上下文基线之间的差距很小（87–98%），且编译模型往往优于通过 LangGraph 编排的前沿模型。
成本差距：成本优势达到两个数量级，并随着流程复杂度的增加而扩大，因为编译模型的提示大小保持不变，而上下文提示的大小会增长。
灵活性差距：适应性调整属于部署周期（CI/CD），而非重新训练的瓶颈。

作者得出结论，对于需要超越单次对话上下文的持久性流程知识，“持久结构应属于权重，瞬态状态应属于提示”。编译被呈现为程序性任务的自然解决方案，以成本和时间的一小部分提供接近前沿的质量，同时避免了外部编排的结构性故障模式（碎片化推理、路由错误和受限的对话风格）。