🤖 AI

ANDES: Agent Native Data Evolving Synthesis Tool for Autonomous Instruction Alignment

本文介绍了 ANDES，这是一个通过自我演进的“世界树”（World Tree）路由机制将数据生成转化为即插即用智能体技能的框架，旨在增强自主 AI 指令对齐，使较弱的智能体能够在严格的计算约束下实现最先进的性能。

原作者： Zhengyang Zhao, Shengjie Ye, Lu Ma, Hao Liang, Hengyi Feng, Wentao Zhang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhengyang Zhao, Shengjie Ye, Lu Ma, Hao Liang, Hengyi Feng, Wentao Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明但缺乏经验的机器人助手如何变得更有用。你知道机器人需要通过例子（数据）来学习，但你不想亲自花好几年时间去手动编写这些例子。于是，你决定让另一个稍微聪明一点的机器人（“智能体”）来承担寻找和组织训练数据的任务。

问题在于，正如这篇论文的作者们所发现的，要求一个机器人去混乱的“开放互联网”中寻找好的例子，就像是派一个孩子去一座巨大的、嘈aw的图书馆里寻找特定的书。他们会被信息淹没，捡错书，或者陷入噪音之中。或者，如果你只是给他们一份静态的书单，当他们后来意识到自己缺少某种特定技能时，他们也无法进行调整。

迎来“Andes”：智能图书管理员技能

作者引入了一个名为 Andes（Agent Native Data Evolving Synthesis，智能体原生数据演化合成）的新工具。请记住，Andes 不仅仅是一个去外面搜索的机器人，它是一个你可以赋予你的训练机器人的超强力、即插即用的“图书管理员技能”。

以下是 Andes 的工作原理，我们使用简单的比喻来解释：

1. “世界树”（无限地图）

想象一棵巨大的、活生生的地图，所有的主题都像家族树一样组织在一起。

树干： 宽泛的主题（如“数学”或“编程”）。
树枝： 特定的主题（如“代数”或“调试”）。
叶子： 特定的场景（如“求解二次方程”或“修复一个损坏的循环”）。

通常，如果一个机器人尝试生成数据，它可能会反复选择同样的几片叶子，导致训练变得枯燥且重复。Andes 有一个特殊的机制叫做自我演化路由（Self-Evolving Routing）。

智能指南针： 当机器人需要学习“数学”时，Andes 不仅仅是随机挑选叶子。它使用一个指南针来找到数学领域中最相关的树枝。
生长中的树： 如果机器人一直请求“代数”，Andes 会注意到那里的树木变得过于拥挤。它不会重复使用旧有的例子，而是会神奇地在原地长出新的树枝和叶子。它会发明新鲜、独特的场景，这样机器人就永远不会感到厌倦或陷入重复的死循环。

2. “两阶段厨房”（制作数据）

一旦 Andes 从树中挑选出了正确的“食材”（主题），它并不会直接把它们原样端上来。它会让这些食材经过一个两步走的厨房：

第一阶段（厨师）： 它创建一个问题和答案的草稿（就像一个粗略的食谱）。
第二阶段（美食评论家）： 第二个机器人会对这道菜进行品尝。它会检查：“这太简单了吗？逻辑断掉了吗？我们是不是连续做了50次同样的菜？”
- 如果菜品很糟糕，它会被扔掉。
- 如果菜品还可以但需要改进，厨师会进行修正。
- 评论家还会为主要训练机器人写一份成绩单。

3. “反馈循环”（对话）

这是最重要的部分。在旧系统中，机器人生成一次数据就会停止。而在 Andes 中，这是一个对话过程。

在评论家写完成绩单后，主要的训练机器人会阅读它。
报告可能会说：“你生成了100道数学题，但它们全是关于加法的。你需要更多减法，而且这三个例子中的逻辑很薄弱。”
训练机器人随后会说：“明白了！” 并调整它的下一个请求，以专注于减法并修复逻辑。
Andes 会倾听这个新请求，并生成下一批完美契合刚才发现的知识缺口的训练数据。

为什么这很重要？

研究人员在名为 PostTrainBench 的基准测试上测试了该工具，该测试衡量了机器人自我教学的能力。

困境： 没有 Andes，即使是非常先进的机器人也会在寻找优质数据方面感到吃力，其表现往往比它们试图提升的原始模型还要差。它们要么迷失在噪音中，要么陷入循环。
成功： 当研究人员将 Andes 技能 交给一个相对“较弱”的机器人时，它突然变成了一位大师级的老师。它在这一基准测试上取得了有史以来最好的结果，甚至击败了那些没有配备此特定工具的更强大的机器人。

总结：
Andes 通过提供一个动态的、自我更新的图书馆和一个智能反馈循环，解决了“我们如何教机器人如何教它自己”的问题。它不再强迫机器人漫无目的地在互联网中游荡，而是作为一个专门的工具，能够立即生成高质量、多样化且完美针对性的训练实例，同时根据机器人的进度不断修正自身的错误。

技术摘要：ANDES（智能体原生数据演进合成）

问题陈述

本文指出，在大语言模型（LLM）自主后训练过程中存在一个关键瓶颈：智能体无法在严格的计算约束下，可靠地获取高质量、针对性强且多样化的训练数据。尽管近期的趋势旨在将模型对齐（SFT 和 RL）中复杂的决策过程委托给自主智能体，但评估显示，即使是前沿智能体在该领域也表现挣扎。

当前的方法面临两种主要的失效模式：

基于 Web 的获取： 依赖于开放式网络搜索，迫使智能体进行长程规划、原始 HTML 解析以及零样本噪声过滤。这设置了极高的门槛，导致较弱的模型在形成功能性训练循环之前就已失败，而先进模型也常在数据组织和质量控制方面遇到困难。
静态合成流水线： 传统的合成数据方法以静态、一次性的脚本形式运行，与智能体的活跃训练循环相隔离。它们缺乏根据实时诊断反馈动态引导生成的能力，从而导致数据领域失配、多样性坍缩以及对表面基准分布的过拟合。

目前缺乏一种专门为后训练智能体设计的、可访问的、动态交互的高质量数据合成接口。

方法论：ANDES 框架

为了解决这些差距，作者引入了 ANDES（Agent Native Data Evolving Synthesis，智能体原生数据演进合成），该框架将数据生成重新构想为一种即插即用的智能体技能，而非静态的流水线。ANDES 提供了一个智能抽象层，允许训练智能体通过交互式的闭环接口动态引导数据合成。

该框架通过四个核心阶段运行：

1. 目标驱动的智能体请求

在调用 ANDES 之前，训练智能体会分析下游基准测试，并将其分解为 $K$ 个宏观能力领域（例如：数学推理、代码生成）。智能体并不列举具体的任务需求，而是将其抽象为底层的能力维度，以确保具有可迁移性的数据覆盖。对于每个领域，智能体会构建一个任务描述 ( $\tau$ )，分配样本预算 ( $N$ )，并选择一个格式协议 ( $\phi$ ) 作为输入配置。

2. 自我演进的动态世界树路由

为了在保持多样性的同时实现精确的任务特定落地，ANDES 使用了一个结构化为 主题 $\rightarrow$ 主题 $\rightarrow$ 场景（例如：网络安全 $\rightarrow$ 信息泄露防护 $\rightarrow$ 防护措施）的 世界树 ( $W$ )。

加权采样： 按权重比例对主题进行采样。路由 LLM 会评估采样的场景是否符合任务描述，并将其分类为强相关（任务对齐）、弱相关（通用）或模糊。
自适应权重： 权重根据适用性评分进行更新，将合成预算转向语义对齐的主题，同时保留残余覆盖范围。
动态节点演进： 为了防止高相关性主题中的场景池枯竭，当某个主题的选择计数超过饱和阈值时，系统会触发“子树演进”。演进 LLM 根据先前的生成内容生成新的主题和场景，确保分类体系保持新鲜感并避免冗余。

3. 两阶段数据合成

每个路由配置都通过一个两阶段流水线进行处理：

阶段 1（问答生成）： 生成原始的“问题-答案”对。对于“融合路径”（任务对齐）样本，提示词会将任务描述作为硬约束注入，同时使用场景作为上下文包装。对于“通用路径”样本，提示词则侧重于通用的指令数据。
阶段 2（精炼与总结）： 精炼 LLM 对原始输出进行批判，分配一个“努力度得分”以过滤掉严重缺陷的响应。保留的响应会被重写。至关重要的是，会对融合路径样本进行逻辑多样性检查，以检测并抑制推理模板的重复（坍缩）。

4. 报告驱动的分区与配置调整

系统返回精炼后的数据集以及一份包含诊断信号（如：逻辑多样性摘要、主题分布、有效样本计数）的合成报告。训练智能体利用此报告进行以下操作：

过滤数据： 应用主动过滤以移除检测到逻辑重复的样本。
调整配置： 动态修订下一次调用的任务描述 ( $\tau$ )，以瞄准未被充分探索的能力角度，并调整样本预算 ( $N$ ) 以补偿丢弃的样本。这创建了一个闭环交互，使智能体能够逐步引导合成过程以获得更好的能力覆盖。

核心贡献

概念转变： 本文将数据合成从静态的离线流水线重新定义为一种即插即用的智能体技能，显著降低了自主数据获取的能力门槛。
ANDES 工具： 实现了一个由自我演进的世界树路由和报告驱动反馈驱动的合成工具。它抽象掉了复杂的细节数据策展机制，使智能体能够专注于高层优化策略。
实证验证： 通过全面的评估证明，将 ANDES 集成到活跃的后训练循环中，可以使基础能力较弱的模型实现卓越的自主自我提升并获得 SOTA 性能。

实验结果

作者在 PostTrainBench 上对 ANDES 进行了评估，该基准旨在评估自主后训练能力。

SOTA 性能： 在严格的计算约束下，配备 ANDES 的 GLM-4.7 智能体在 PostTrainBench 上取得了 33.39% 的平均分。这优于最强的竞争方法 Opus-4.7 (xHigh) 的 28.56%，并显著超过了仅使用 Scaffold 的基准线（GLM-4.7 with Scaffold-only）的 7.48%。
跨模型泛化能力： ANDES 在四种不同的基础模型（Qwen3-1.7B, Qwen3-4B, SmolLM-3B, 和 Gemma3-4B）上均一致取得了最高的平均性能，表明其效能并不受特定模型架构的限制。
消融实验：
- Scaffold 与工具： 虽然自定义智能体 scaffold 相比标准 CLI 基准提升了性能，但集成 ANDES 工具驱动了决定性的“第二波”提升，证实了主动、目标对齐的数据合成是成功的核心驱动力。
- 交互机制： 去除报告驱动的交互会降低性能（在 Qwen3-1.7B 上从 30.39% 降至 26.80%），验证了多轮交互对于优化数据质量和多样性至关重要。
可扩展性： 对世界树的分析表明，随着数据量的增加，系统能够成功地将重心转向目标相关的节点（增加“融合数据”比例），同时持续演进新节点以防止多样性坍缩。

重要性与主张

本文主张，自动化研究流程中的主要瓶颈不在于训练的执行，而在于如何在有限的计算预算内可靠地获取高质量、针对性强且多样化的数据。

ANDES 证明了结构化、交互式且可演进的数据合成接口是迈向可扩展且可靠的自动化模型对齐的重要一步。通过将数据生成转化为一个智能体主动过滤数据并校准配置的动态闭环博弈，该框架允许即使是基础能力较弱的智能体也能获得 SOTA 性能，有效地弥合了智能体能力与严苛的后训练需求之间的差距。