💬 NLP

TodoEvolve: Learning to Architect Agent Planning Systems

本文提出了 TodoEvolve，一种通过 PlanFactory 模块化设计空间和基于阻抗引导偏好优化（IGPO）的训练方法，能够自主合成并动态调整任务特定规划架构的元规划范式，在提升智能体处理复杂任务能力的同时，实现了比人工设计方案更高的性能与效率。

原作者： Jiaxi Liu, Yanzuo Jiang, Guibin Zhang, Zihan Zhang, Heng Chang, Zhenfei Yin, Qibing Ren, Junchi Yan

发布于 2026-02-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiaxi Liu, Yanzuo Jiang, Guibin Zhang, Zihan Zhang, Heng Chang, Zhenfei Yin, Qibing Ren, Junchi Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 现状：只会“照本宣科”的笨厨师

现在的 AI 智能体在处理复杂任务时，通常是靠人类预先写好的“剧本”（固定流程）。

比喻： 就像一个厨师，无论客人点的是“简单的白灼青菜”还是“复杂的满汉全席”，他都必须按照同一套流程：洗菜 $\rightarrow$ 切菜 $\rightarrow$ 开火 $\rightarrow$ 装盘。
问题： 做青菜时，这套流程太慢、太浪费资源；做满汉全席时，这套流程又太简单，根本应付不了复杂的火候和配菜顺序。这就是论文里说的“缺乏灵活性”和“结构单一”。

2. TodoEvolve 的核心：自带“设计图”的超级大脑

TodoEvolve 不再给 AI 一个固定的剧本，而是给了它一个**“设计工具箱” (PlanFactory)** 和一个**“架构师大脑” (Todo-14B)**。

这个“设计工具箱”里有四种核心零件：

拓扑结构 (Topology)： 决定办事流程的长相。是像排队一样的“直线型”？还是像树枝一样的“分叉型”？或者是像蜘蛛网一样的“复杂网状型”？
初始化 (Initialization)： 决定第一步怎么起步。
自适应 (Adaptation)： 决定什么时候发现“不对劲”需要改计划。
导航 (Navigation)： 决定下一步具体该指挥谁去干活。

现在的 AI 进化成了这样：
当任务来临时，AI 架构师先看一眼任务：“哦，这是一个简单的查天气任务，我直接用**‘直线型’流程就行了，省时省力。”；如果是“帮我写一个复杂的软件工程”，它会立刻想：“这个得用‘网状并行型’**流程，好几个模块得同时开工，还得随时根据报错改计划。”

3. 它是怎么练成的？（IGPO 训练法）

论文提到了一种很厉害的训练方法叫 IGPO（阻抗引导的偏好优化）。

比喻： 想象你在教一个学徒设计流程。如果学徒设计的流程虽然能把菜做出来，但用了 10 个锅、烧了 3 小时火（效率极低），你不会夸他。
训练逻辑：
- 第一步（SFT）： 先教它正确的语法，让它学会怎么写“设计图”。
- 第二步（IGPO）： 重点来了！如果两个方案都能完成任务，系统会通过一个叫**“认知阻抗” (Cognitive Impedance)** 的指标来打分。这个指标就像一个“性价比探测器”，专门惩罚那些“绕弯路”、“浪费 Token（精力）”或“流程冗余”的设计。
- 结果： AI 学会了不仅要“做成”，还要“优雅、快速、省钱地做成”。

4. 总结：它强在哪里？

通过实验证明，TodoEvolve 带来的变化是革命性的：

更聪明： 在处理极其复杂的任务（如 GAIA 测试集）时，表现远超那些死板的传统模型。
更全能： 不管你用的是哪种底座模型（比如 GPT 或 DeepSeek），它都能像“外挂”一样给它们装上强大的架构设计能力。
更高效： 它不会为了解决简单问题而大动干戈，也不会为了复杂问题而束手束脚。

一句话总结：
TodoEvolve 让 AI 从一个“只会按指令行事的打工人”，变成了一个“能根据问题复杂程度，自动设计最优工作方案的超级项目经理”。

这是一篇关于智能体规划系统（Agent Planning Systems）的深度学习研究论文，题为《TodoEvolve: Learning to Architect Agent Planning Systems》。以下是该论文的技术总结：

1. 问题背景与挑战 (Problem)

当前的 LLM 智能体（Agent）在处理复杂、长程任务时，其核心能力在于规划（Planning）。然而，现有的规划系统面临两个主要痛点：

结构僵化（Fixed Architectures）： 现有的规划模式（如线性列表、DAG 图、树状结构等）大多是人工设计的固定架构。面对开放式、多样化的任务，单一的规划结构无法兼顾所有场景。
缺乏自适应性（Lack of Adaptability）： 不同的任务领域（如数学推理 vs. 自动驾驶）和不同的任务类型（如简单的 Web 搜索 vs. 复杂的软件工程）需要截然不同的规划先验（Priors）。人工设计难以实现“一劳永逸”的通用规划器。

2. 核心方法论 (Methodology)

为了解决上述问题，研究团队提出了 TodoEvolve，这是一种元规划（Meta-planning）范式，旨在让模型能够自主合成并动态修订针对特定任务的规划架构。

A. PlanFactory：模块化设计空间

首先，研究者构建了一个名为 PlanFactory 的统一代码库，将复杂的规划系统解构为四个维度的标准化模块：

拓扑结构 (Topology, $\clubsuit$ )：任务分解的结构组织（如线性、DAG、树状等）。
初始化 (Initialization, $\diamondsuit$ )：如何实例化该拓扑结构。
自适应 (Adaptation, $\heartsuit$ )：何时以及如何根据执行反馈修订拓扑。
导航 (Navigation, $\spadesuit$ )：向执行智能体发出指令的具体机制。

B. Todo-14B：元规划器训练

基于 PlanFactory 收集的高质量轨迹，研究者训练了一个 14B 参数的元规划器 Todo-14B，采用两阶段训练策略：

结构能力学习 (SFT)：通过监督微调，让模型学习如何根据任务描述生成符合语法和 API 约束的有效规划代码和配置。
阻抗引导偏好优化 (IGPO, Impedance-Guided Preference Optimization)：这是本文的核心创新。不同于传统的仅关注正确性的强化学习，IGPO 引入了认知阻抗 (Cognitive Impedance, $I$ ) 的概念。
- 目标：在保证任务成功率（Correctness）的前提下，同时优化稳定性和令牌效率（Token Efficiency）。
- 公式逻辑：通过惩罚高成本、高延迟、高错误率的规划路径，引导模型选择那些“既能解决问题，又最节省资源”的架构。

3. 主要贡献 (Key Contributions)

统一的规划代码库 (PlanFactory)：为研究智能体规划能力提供了一个标准化的、模块化的设计空间和基准测试支持。
元规划范式 (TodoEvolve)：实现了从“人工设计规划器”到“模型自主合成规划器”的范式转变。
新型优化目标 (IGPO)：提出了一种结合任务成功率与计算成本（阻抗）的多目标偏好优化算法，使规划更具经济性和高效性。

4. 实验结果 (Results)

实验在 GAIA、xBench-DS、TaskCraft 和 WebWalkerQA 等多个极具挑战性的智能体基准测试上进行：

性能大幅提升：将 TodoEvolve 集成到 Smolagents 框架中，在 GAIA 基准上使性能提升了高达 16.37%。
强大的泛化能力：该方法在不同的 LLM 后端（如 GPT-5-mini, DeepSeek V3.2, Kimi K2）上均表现出一致的增益。例如，它能将 GPT-5-mini 在 xBench-DS 上的表现提升至 75%。
帕累托最优 (Pareto Optimality)：实验证明，TodoEvolve 在显著提高成功率的同时，并没有带来不成比例的计算成本或延迟增加，实现了性能与效率的平衡。
复杂任务处理：在最难的 GAIA Level 3 任务中，其表现甚至超过了使用更强模型（如 GPT-4.1）的传统框架。

5. 研究意义 (Significance)

TodoEvolve 的意义在于它打破了智能体架构的“人工边界”。它证明了规划架构本身也可以是可学习的。通过将规划逻辑从底层的执行逻辑中解耦，并利用元学习进行优化，智能体能够根据任务的复杂程度，自主决定是采用简单的线性流程，还是采用复杂的并行图结构。这为构建能够应对开放世界、长程复杂任务的“自我进化型智能体”提供了一条切实可行的技术路径。