💬 NLP

FlowBot: Inducing LLM Workflows with Bilevel Optimization and Textual Gradients

本文介绍了 FlowBot，这是一个数据驱动框架，通过将流程构建为双层优化问题并利用模块化文本梯度进行求解，自动诱导和优化大语言模型工作流，从而实现了与人工设计基线相媲美的性能。

原作者： Hongyeon Yu, Young-Bum Kim, Yoon Kim

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongyeon Yu, Young-Bum Kim, Yoon Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试训练一支由专业机器人组成的团队来解决一个非常棘手的谜题。过去，人类必须坐下来，为每一台机器人手动编写一份严格的指令手册，精确决定它们的工作顺序以及彼此交流时使用的具体措辞。这种方法既缓慢、昂贵，又难以扩展。

本文介绍了FLOWBOT，一种新方法，它让机器人能够自行学习如何组织彼此并进行交流，而无需人类事先编写手册。

以下是其工作原理，使用一个简单的类比：

两级教练系统

将 FLOWBOT 想象为一个拥有两级结构的教练系统：总教练和位置教练。

1. 总教练（外循环）：“修正比赛策略”
总教练着眼于全局。他们不担心球员具体说了什么话，而是关注比赛的结构。

问题：也许团队试图通过先画图来解决数学问题，这是错误的顺序。或者他们完全遗漏了某个步骤，比如“核对分数”。
修正：总教练观察团队失败的地方，然后说：“好吧，我们需要在尝试画图之前增加一个核对分数的步骤”，或者“让我们完全移除画图步骤”。
在论文中：这就是外循环。它优化“工作流草图”。它决定有多少个步骤、它们发生的顺序，以及是否添加或移除工具（如搜索引擎）。

2. 位置教练（内循环）：“完善战术手册”
一旦总教练制定了比赛策略，位置教练便与个别球员（具体的 LLM 调用）合作，完善他们的具体指令。

问题：球员知道要做什么（例如，“搜索事实”），但他们做得不好。也许他们在产生幻觉（编造内容），或者遗漏了关键细节。
修正：位置教练不只是说“做得更好”，而是使用一种名为文本梯度的特殊技巧。
- 假设最终答案是错误的。位置教练会询问一位 AI 裁判：“为什么会发生这种情况？”
- 裁判给出文本评论：“你犯了一个错误，因为你没有检查你的来源。”
- 这条评论被反向传递给前一位球员，该球员会说：“哦，我需要确保我的来源对下一个人来说是清晰的。”
- 这个过程一直回溯到第一位球员。
在论文中：这就是内循环。它使用“文本反向传播”。就像神经网络使用数学来调整数值一样，FLOWBOT 使用自然语言反馈来调整每一步的文本提示。

“文本梯度”的魔力

在传统计算机科学中，如果计算出错，计算机会使用数学来精确计算需要调整多少数值才能修正它。这被称为“反向传播”。

大型语言模型（LLMs）并不以同样的方式理解数学；它们理解的是语言。因此，FLOWBOT 发明了文本梯度。

系统得到的不是一个像 +0.5 这样的数字，而是一句话，例如：“你的答案是错误的，因为你假设了 X，但证据显示 Y。下次请检查你的来源。”
系统将这句话沿着机器人链条反向传递。每个机器人阅读反馈，理解在它们之后的步骤中出了什么问题，并改写自己的指令，以防止未来出现同样的错误。

他们发现了什么？

研究人员在多种不同任务上测试了 FLOWBOT，包括回答复杂的常识问题、编写代码以及遵循严格的指令。

从零开始即可运作：与其他需要人类提供良好起始方案的方法不同，FLOWBOT 可以从空白状态开始，自行找出最佳工作流。
超越竞争对手：它的表现与（甚至优于）那些人类花费大量时间手工打造完美工作流的系统相当。
节省成本：由于学习如此高效，与其他自动化方法相比，它需要更少的"API 调用”（这涉及费用）就能找到正确的解决方案。

核心结论

FLOWBOT 就像一条自我改进的装配线。它不仅微调机器上的指令，还重新排列机器本身。通过使用自然语言反馈来“反向传播”错误，它自动发现组织 AI 模型团队解决复杂问题的最佳方式，从而消除了人类成为每一个工作流架构师的必要性。

以下是论文《FLOWBOT：利用双层优化与文本梯度诱导 LLM 工作流》的详细技术总结。

1. 问题陈述

大语言模型（LLM）正越来越多地应用于“复合 AI 系统”——即涉及多次 LLM 调用、工具使用及中间推理步骤的结构化工作流，以解决复杂任务。然而，当前构建这些工作流的方法面临两大瓶颈：

对人工的依赖：大多数工作流由人工手工构建，这在不同任务和领域之间缺乏可扩展性。
现有自动化的局限性：最近的自动化方法（如 AFlow、ADAS）通常仅在固定的工作流结构内优化提示词，或使用基于代码的表示来搜索工作流结构，但缺乏细粒度的、逐层的优化。它们缺乏一种机制来同时优化高层工作流架构和每个组件的具体指令（提示词）。

核心研究问题是：我们如何以数据驱动的方式自动诱导并优化 LLM 工作流的结构及其各个组件？

2. 方法论：FLOWBOT

作者提出了FLOWBOT，这是一个将工作流诱导形式化为双层优化问题并利用文本梯度求解的框架。

A. 问题形式化

LLM 工作流 $W$ 定义为 $K$ 次 LLM 调用的链： $W = [a_1, \dots, a_K]$ 。

外层循环（结构）：优化高层草图 $W$ （调用的序列、类型和组合）。
内层循环（参数）：优化每个特定调用 $a_i$ 的详细提示词 $\theta_i$ 。
目标：在数据集 $D$ 上最小化期望损失 $L(f_W(x), y)$ 。

B. 文本梯度

由于 LLM 参数是离散的文本字符串，传统的反向传播无法实现。FLOWBOT 使用文本梯度，即由 LLM 生成自然语言反馈，描述如何修改输入或提示词以降低损失。

C. 优化过程

该框架在两个嵌套循环中运行：

1. 内层循环：逐层文本反向传播
给定固定的工作流结构 $W$ ，系统优化提示词 $\{\theta_i\}$ ：

前向传播：工作流处理输入 $x$ 以产生输出 $x_K$ 。
损失梯度（ $g_K$ ）：LLM 分析最终输出、真实标签和损失，生成文本梯度 $g_K$ （关于出错的反馈）。
链式法则传播：梯度逐层向后传播。对于第 $k$ 层，LLM 接收当前输入 $x_k$ 、下一层的输出 $x_{k+1}$ 以及下游梯度 $g_{k+1}$ ，以计算 $g_k$ 。这回答了：“第 $k$ 步的输出应如何改变，以帮助第 $k+1$ 步表现得更好？”
提示词更新：优化器 LLM 聚合一批样本的梯度，并更新提示词 $\theta_i$ ，以解决已识别的错误，同时保留成功的模式。

2. 外层循环：工作流草图优化
一旦内层循环收敛（或定期），系统便优化结构 $W$ 本身：

将当前的工作流草图、执行轨迹和聚合损失输入给 LLM。
LLM 生成工作流梯度（ $g_W$ ），建议结构上的变更：添加步骤（例如，“添加实体消歧”）、移除冗余步骤、合并步骤或重新排序。
根据这些建议更新工作流草图。

D. 初始化

该过程从“零样本”工作流（单次 LLM 调用）开始。外层循环立即被触发以生成初始的多步草图，随后为每个步骤生成初始提示词。

3. 主要贡献

工作流的双层优化：首个利用双层方法联合优化 LLM 工作流拓扑（结构）和参数（提示词）的框架，灵感来源于神经架构搜索（NAS）。
文本反向传播：将文本梯度的概念（此前仅用于单个提示词）扩展到深层、多层工作流，实现了模块化的、逐层的错误归因与修正。
数据驱动的诱导：证明了复杂的、多步骤的工作流（包括工具使用）可以在没有人类先验结构知识的情况下从头发现。

4. 实验结果

作者在 10 个多样化的基准测试（问答、推理、代码生成、隐私等）上评估了 FLOWBOT，并与强大的基线模型进行了对比。

与提示词优化（固定结构）相比：在检索密集型任务中，FLOWBOT 优于GEPA（最先进的提示词优化器），例如在HotpotQA上（72.80 vs 69.00）和HoVer上（63.20 vs 51.67），证明了优化结构对于复杂任务至关重要。
与自动化工作流生成相比：FLOWBOT 在 6 个基准测试中的 4 个上优于AFlow（AFlow 使用基于代码图的蒙特卡洛树搜索），例如在HumanEval上（93.74 vs 94.70；注：此处原文数据可能指 FLOWBOT 为 93.74，AFlow 为 94.70，或反之，依原文翻译为 93.74 对 94.70）和GSM8K上（96.01 vs 86.16）。
效率：FLOWBOT 达到峰值性能所需的 API 调用次数和成本显著低于 AFlow（例如，HotpotQA 任务中为 54.7K 次调用 vs 338K 次调用）。
定性分析：发现诱导出的工作流是合理的，并且通常与人工设计的模式相吻合（例如，分离检索、实体消歧和验证）。
消融研究：
- 移除双层结构（将其视为单层）导致性能显著下降。
- 移除逐层反向传播（一次性更新所有提示词）也降低了性能，突显了基于链式法则的模块化反馈的重要性。

5. 意义与影响

范式转变：将 LLM 系统设计从“手工构建的流水线”转变为“自动诱导的系统”，降低了部署复杂 AI 代理的工程负担。
通用性：该方法与模型无关，适用于各种开源权重和专有 LLM。
可解释性：文本梯度提供了人类可读的审计轨迹，说明工作流为何失败以及如何改进，为系统的推理过程提供了见解。
未来方向：该论文展示了诱导统一工作流的概念验证，该工作流可以在单一动态结构中处理多种任务类型（路由数学、代码或阅读理解），为通用自主代理铺平了道路。

总之，FLOWBOT 弥合了神经架构搜索与 LLM 提示工程之间的差距，提供了一种稳健的、数据驱动的方法，用于自动构建和细化复杂的 AI 工作流。