💬 NLP

CurateEvo: Data-Curation Evolving for Agentic Post-Training

CurateEvo 是一个由失败驱动的动态演化框架，它将数据策展表示为可执行代码，并利用智能体失败轨迹进行迭代重写，以优化用于大型语言模型智能体后训练数据的有效性与效率。

原作者： Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教导一个非常聪明但缺乏经验的机器人助手，如何解决复杂的现实世界问题，比如在管理预算的同时预订机票，或者调试一段代码。你拥有一个庞大的旧日志库，记录了人类（或其他机器人）尝试完成这些任务的过程。有些日志显示了完美的成功，但许多日志则显示机器人陷入困境、做出错误动作或崩溃。

这篇论文介绍了一个名为 CURATEEVO 的新系统，旨在解决一个特定的问题：我们如何将这些杂乱无章的日志库转化为我们机器人的完美训练手册？

问题所在：“静态厨师” vs. “智能编辑”

目前，大多数用于训练这类机器人助手的模型都像是一个静态厨师。他们获取原始的日志库并应用一套固定的规则：“增加更多示例”、“丢弃糟糕的样本”或“保留全部内容”。

缺陷在于： 一旦机器人在新的测试中尝试学习并失败，这位厨师并不会改变食谱。他们只是继续用那些可能存在缺陷的旧指令来烹饪。他们忽略了这样一个事实：机器人之所以失败，是因为存在特定的弱点（比如忘记检查天气），而他们没有针对这个特定的差距去修复训练数据。

CURATEEVO 则不同。它扮演的是一个智能、进化的编辑的角色。它不仅仅是在挑选数据，它还在编写和重写用于挑选数据的规则。

CURATEEVO 如何运作：“练习循环”

把 CURATEEVO 想象成一个运行持续反馈循环的教练：

试运行： 教练提取当前的“训练手册”（数据策展规则），让机器人在一组测试题（“留存”开发集）上进行练习。
失败报告： 当机器人失败时，教练不仅仅是记录分数。他们会分析为什么会失败。是选错了工具？还是漏掉了某个步骤？或者是被冗长的对话搞混了？
重写规则（进化）： 随后，教练会前往决定使用哪些数据的计算机代码处。他们会重写那段代码，以修复在第 2 步中发现的具体问题。
- 如果机器人因为不知道如何使用特定工具而失败， 代码会被更新，以便在训练数据中增加更多该工具的使用示例。
- 如果机器人因为信息过于嘈杂而感到困惑， 代码会被更新，以过滤掉那些混乱的示例。
- 如果机器人因为执行过长且无用的步骤而浪费时间， 代码会被更新，通过删减这些步骤来提高训练速度。
重复： 这个过程会反复进行。随着每一轮的迭代，“训练手册”都会变得更加契合机器人的特定弱点。

两个主要目标：有效性与效率

论文指出，CURATEEVO 平衡了两件事，就像一位厨师试图做出一道既美味又快速烹饪的菜肴：

有效性（让它变得美味）： 系统会观察机器人在哪里失败，并添加或精炼数据以填补这些特定的漏洞。它确保机器人能学到它真正需要知道的内容。
效率（让它变得快速）： 系统还会观察训练数据并询问：“这有必要吗？”如果机器人已经掌握了一个概念，或者某个训练示例过于冗长且重复，CURATEEVO 就会将其剔除。这在不损害机器人性能的前提下，节省了时间和计算资源。

结果：更好的机器人，更少的浪费

研究人员在三种不同类型的机器人挑战（基准测试）上测试了这个系统，并使用了两种类型的数据：

标注数据： 清晰、经过人工注释的日志（类似于教科书）。
野外数据： 来自实际用户交互的、杂乱且真实的日志（类似于混乱的日记）。

研究结果非常明确：

更高的得分： 使用 CURATEEVO 训练的机器人得分显著更高（平均高出约 3 到 4 分），优于使用旧有的静态方法训练的机器人。
适用于杂乱数据： 即使输入数据是“野外”且充满噪声的，CURATEEVO 也能将其过滤并精炼为高质量的训练材料。
更快的训练： 通过剔除冗余步骤，CURATEEVO 比其他方法减少了大约 50% 的机器人训练所需时间和计算能力。
通用性： 无论使用哪种特定的机器人训练算法（配方），它都能表现良好。

核心结论

这篇论文认为，我们不应该将数据准备视为一个一次性的、固定的步骤，而应该将其视为一个动态的、进化的过程。通过让数据策展策略从机器人的失败中“学习”并重写自身的规则，我们可以构建出更聪明、更高效的 AI 智能体，使其能够更好地解决复杂的现实世界问题。

技术摘要：CURATEEVO

问题陈述

大语言模型（LLM）智能体需要能够通过环境反馈来提升长程决策能力的后训练方法。虽然数据质量是智能体后训练性能的一个已知决定因素，但现有的数据策展（Curation）流水线存在两个主要局限性：

策展忽视（Curation Neglect）： 大多数方法主要关注数据增强（收集更多的失败轨迹），而忽视了过滤和精炼数据的关键操作。这往往导致低质量或冗余数据的引入，在没有实现成比例性能增益的情况下增加了训练成本。
适配僵化（Adaptation Rigidity）： 现有的流水线依赖于固定的数据处理规则。这些静态策略难以适应分布外（out-of-distribution）的下游应用或不断演变的失败模式，因为它们无法针对当前智能体策略的具体弱点进行动态调整。

方法论：CURATEEVO

作者提出了 CURATEEVO，这是一个用于智能体后训练数据策展的失败驱动型动态演化框架。与将策于视为静态预处理步骤的传统方法不同，CURATEEVO 将策展策略视为可执行代码，该代码会根据环境反馈进行迭代重写。

核心框架

该框架在多轮演化周期中运行：

表示（Representation）： 策展策略 $\rho$ $ρ$ 被表示为可执行代码，用于将固定的原始语料库（ $D_{raw}$ $D_{r a w}$ ）转化为三种资源：
- 监督微调数据（ $D_{SFT}$ ）。
- 强化学习数据（ $D_{RL}$ ）。
- 推理时记忆库（ $M_{mem}$ ）。
训练与评估（Training & Evaluation）： 使用固定的配方（SFT + GRPO）在策展数据上从固定的基座模型训练智能体策略。随后在留出的开发集（ $Q_{dev}$ ）上对该策略进行评估。
反馈收集（Feedback Collection）： 收集来自开发集的失败轨迹，以及关于当前策展数据（规模、轮次分布、冗余度）的统计信息。
代码演化（Code Evolution）： 基于 LLM 的代码演化智能体会分析失败轨迹，以诊断反复出现的失败模式（例如：错误的工具选择、薄弱的规划、记忆不匹配）。随后，它会重写策展代码（ $\rho$ ）以解决这些问题。

优化目标

演化过程优化了一个成本感知目标函数 $J(\rho) = P(\rho) - \lambda C(\rho)$ ，其中：

有效性（Effectiveness, $P(\rho)$ ）： 通过使用策展资源训练出的智能体的下游性能来衡量。演化智能体首先通过增强数据以覆盖缺失的能力、过滤误导性样本以及精炼薄弱轨迹来达成此目标。
效率（Efficiency, $C(\rho)$ ）： 通过归一化的训练轮次成本来衡量。在解决有效性问题之后，智能体会通过剪枝冗余轮次、移除低效样本以及截断过长的轨迹，在保留关键监督信号的同时减少训练规模。

如果演化后的策略未能提高目标函数值，过程将回滚以防止错误级联。

核心贡献

动态演化框架： 提出了 CURATEEVO，它将数据策展从静态流水线转变为由智能体失败驱动的动态、基于代码的演化过程。
联合优化： 该框架综合考虑了数据增强、过滤和精炼，在实现性能提升的同时，同步降低了训练成本。
适配性： 通过根据评估反馈动态修订策展代码，该方法能够适应分布外应用和特定的失败模式，而不像固定流水线那样受限。
资源构建： 该方法不仅显式构建训练数据（SFT/RL），还构建了推理时记忆库，从而创建了一个完整的资源集。

实验结果

作者在 ACEBench-Agent、BFCL-V4 和 $\tau^2$ -Bench 上，分别在 标注数据（人工标注的轨迹）和 野外数据（真实用户交互日志）两种设置下评估了 CURATEEVO。

性能增益：
- 在 标注数据 设置下，CURATEEVO 比最强的现有基线方法平均提高了 3.2 分。
- 在 野外数据 设置下，平均提高了 2.7 分。
- 值得注意的是，使用 4B 参数模型（QWEN3-4B）的 CURATEEVO 性能超过了使用 8B 模型的几种先前方法，这表明自适应策展的效果可以与增加模型规模相媲美。
效率： 与之前的基线相比，CURATEEVO 每 1,000 个保留训练轮次的 Token 开销减少了约 48%，实际运行时间（wall-clock）开销减少了 50%。这种效率源于通过在固定语料库上演化代码，而非依赖昂贵的环境交互或模拟用户。
兼容性： CURATEEVO 生成的策展资源与不同的后训练配方（如 AgentGym-RL、ProRL-Agent）兼容，结合使用时可带来平均 21.3 分 的额外提升。
消融研究：
- 移除面向有效性的修订会导致最大的性能下降（约 7 分），证实了诊断失败模式是成功的核心驱动力。
- 移除面向效率的修订也会导致持续的性能下降，表明剪枝冗余可以提高数据质量，而不仅仅是减小规模。
- 研究发现所有三种资源（SFT、RL、Memory）都是互补的。

意义与主张

本文主张，自适应、反馈驱动的数据策展是提升 LLM 智能体性能的一个实用且有效的方向。CURATEEVO 的意义在于其能力：

将策展过程从“固定的预处理步骤”转变为迭代的、感知失败的优化循环。
证明了对于智能体后训练而言，过滤与精炼与数据增强同样至关重要。
展示了成本感知的策于可以在降低训练开销的同时提高下游性能，使其适用于数据可能存在噪声或不完美的现实世界智能体应用。

作者将 CURATEEVO 定位为一种模块化的数据侧增强方案，旨在提升输入到任何智能体后训练流水线中的资源（ $D_{SFT}$ 、 $D_{RL}$ 、 $M_{mem}$ ）的质量与效率，而非替代特定的策略优化算法。