🤖 AI

Can Generalist Agents Automate Data Curation?

本文通过引入 Curation-Bench 来证明，尽管通用编程智能体可以实现数据策展循环的自动化并达到现有基准水平，但若要实现卓越的研究级数据策略，则需要能够强制智能体引用并适配先前方法、而非仅仅依赖开放式提示词的脚手架支撑。

原作者： Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教导一位才华横溢但缺乏经验的学生（一个 AI 模型）如何解决复杂的谜题。你拥有一个包含 665,000 个练习题的海量图书馆，但你只有时间给学生 10,000 个。问题在于：你如何挑选出最好的 10,000 个？

在过去，人类必须手动完成这项工作。他们会猜测哪些题目是好的，测试学生，观察学生在哪里失败，然后调整他们的清单。这既缓慢、昂贵又令人精疲力竭。

这篇论文提出了一个问题：能否让一个聪明的计算机智能体（“通用智能体”）来替我们完成这项工作？ 它能否扮演一个研究助理的角色，自动进行挑选数据、训练模型、检查结果并尝试再次迭代？

以下是他们发现的过程，我将使用一些简单的类比来讲述这个故事。

1. 设置：“烹饪大赛”

研究人员建立了一个特殊的厨房，叫做 CURUATION-BENCH。

厨师（智能体）： 一个能够阅读文件、编写代码并运行命令的聪明 AI。
食材（数据）： 一大堆混合在一起的食谱（图像和文本）。
规则： 智能体不能改变烤箱的温度（训练代码）或评判小组（测试）。智能体唯一能改变的是它往锅里放入了哪些食材。
目标： 制作出一小批 10,000 份食材，使其做出的菜肴味道尽可能接近用全部 665,000 份食材做出的菜肴。

2. 第一次尝试：“直觉型厨师”

研究人员让智能体使用**开放式提示词（open-ended prompts）**进行烹饪。他们基本上只是说：“去吧，挑出你能找到的最好的 10,000 个食谱。”

结果： 智能体在基础方面表现得相当出色。

它们很快意识到，仅仅随机抓取食谱是很糟糕的。
它们开始调整配比：“让我们多加一些烹饪食谱，少加一些数学题，”或者“我们要确保有足够多长且详细的指令。”
类比： 把这想象成一个懂得基础知识的家庭厨师。他们不需要教科书就能知道，如果汤太咸了，就应该加点水。智能体可以通过调整简单的旋钮（比如不同数据源的比例）来“微调”食谱。
局限性： 它们陷入了思维定式。它们一直在反复调整同一个食谱（例如：“也许是 60% 烹饪，40% 数学？不，也许是 55/45？”）。它们很少想到去尝试一种完全不同的烹饪风格，比如“如果我们不是仅仅挑选食谱，而是重写这些食谱呢？”

3. 问题：“执行差距”

这些智能体是优秀的执行者（它们可以运行循环并遵循指令），但却是拙劣的研究者（它们不知道如何探索新的想法）。

即使研究人员给了它们一份“酷炫烹饪技巧”的清单或一叠“名家食谱”（科学论文），智能体大多也选择了忽略。它们会在笔记中写道：“我会尝试多样性采样！”但实际上它们只是又一次改变了食材的比例。它们陷入了“局部优化”——即不断在同一个小区域内进行微调，而不是探索整个厨房。

4. 解决方案：“严厉的副厨”（脚手架/Scaffolding）

为了解决这个问题，研究人员引入了脚手架（Scaffolds）。把这想象成严格的规则或辅助训练轮，迫使智能体像真正的科学家一样思考。

他们尝试了两种类型的脚手架：

轻量级脚手架： “嘿，这里有一些你可以尝试的酷炫技巧。”（这让智能体在言语上讨论了更多想法，但实际烹饪方式还是老样子）。
重量级脚手架： “在你改变食谱之前，你必须引用一本特定的食谱，准确解释你为什么要使用该技术，并展示你是如何针对你的食材进行适配的。”

突破点：
重量级脚手架产生了神奇的效果。

智能体不再仅仅是调整比例。它们开始阅读“食谱”（科学论文），并真正实现复杂的、全新的策略。
一个智能体发现了一种名为 EL2N 的方法（这类似于挑选出学生最“吃力”的食谱，但随后过滤掉那些由于损坏或混乱而导致错误的食谱）。
结果： 这个“带脚手架”的智能体创建了一个包含 10,000 个样本的数据集，其表现优于使用 100,000 个样本的人类设计基准。它用十分之一的数据量达到了相同（或更好）的效果。

5. 核心启示

论文得出结论：

智能体可以运行循环： 它们擅长处理测试和微调这类重复性的工作。
但它们需要引导： 如果没有强制要求它们引用证据并适配特定方法的严格规则，它们就会陷入“凭感觉（vibe check）”模式，只做微小的、安全的改变，而不是进行伟大的发现。
算力即新数据： 如果你无法获得更多数据，你可以投入更多的“计算时间”（迭代次数）来寻找使用现有数据的完美方式。

简而言之： 你可以交给一个聪明的 AI 一项策划数据的任务，但如果你想让它成为一名真正的研究者而不只是一个微调者，你就必须给它一份严格的清单，迫使它从过去的发现中学习，而不是仅仅靠直觉猜测。

技术摘要：通用智能体能否实现数据策展自动化？

问题陈述

现代 AI 开发高度依赖于训练数据的策展（Data Curation），这是一个既具有重要影响性又极其耗费人力的过程。从业者通常需要进行一个迭代循环：基于带有噪声的基准测试反馈，提出、实施、评估并修订数据策略。虽然先前的研究已经实现了单个数据操作的自动化（例如：剪枝、去重、重写），但更高层级的决策过程——即决定使用哪种技术、如何调整该技术以及何时进行修订——在很大程度上仍由人工完成。现有的基准测试要么固定数据并优化训练方案（如 ML 研究智能体），要么将数据视为静态输入进行分析（如数据科学智能体），这导致在评估自主智能体的迭代数据策略发现能力方面存在空白。

方法论：CURATION-BENCH

为了填补这一空白，作者引入了 CURATION-BENCH，这是一个以智能体为中心的基准测试，旨在评估通用编程智能体是否能够自动化数据策展循环。

基准测试设计原则

数据隔离：模型架构、训练方案和评估套件是固定的。智能体的唯一变量是所策展的数据策略。
终端真实性：智能体在标准的终端工作空间中运行，通过交互文件、编写脚本、执行命令和调试来模拟真实的工程工作流。
污染控制：自动审计机制会检查提交的数据集，检查其与评估基准是否存在精确匹配或高重叠的文本跨度，以防止数据泄露。
轨迹可解释性：系统记录完整的策展轨迹（脚本、清单、日志、评分），不仅用于评估最终结果，还用于评估搜索过程的质量。

任务形式化

任务由元组 $\tau = (M_0, D_{pool}, B, T, E, C)$ 定义，其中 $M_0$ 是初始模型， $D_{pool}$ 是候选池， $B$ 是数据预算， $T$ 是固定的训练程序， $E$ 是评估套件， $C$ 代表约束条件。智能体必须生成一个策略 $\pi$ ，将 $D_{pool}$ 映射到策展数据集 $D_\pi$ （满足 $|D_\pi| \le B$ ）。策略的评分由 $S(\pi) = E(T(M_0, D_\pi))$ 决定。

实验设置

主要实例化侧重于多模态指令微调：

数据：从 LLaVA-665K 数据集（总计 665k）中选择 10k 个样本，用于微调 LLaVA-1.5-7B 模型。
智能体：通过 OpenHands 框架运行的通用编程智能体（Claude Code, Codex, Kimi, Qwen）。
脚手架（Scaffolds）：研究对比了开放提示（open-prompt）智能体、轻量级脚手架（提供关于策略或论文的可选指导）以及重量级脚手架（要求基于证据提出假设并强制进行先前方法适配的绑定协议）。

核心贡献

1. 迭代数据策展基准

CURATION-BENCH 是第一个将训练数据策展作为自主智能体优化核心对象的基准测试，它通过记录完整的搜索轨迹，来区分有效的探索与局部的微调。

2. 执行与研究的差距

研究发现了一个持久存在的差距，即智能体是合格的执行者，但受限于研究者的角色。

执行：开放提示智能体可以可靠地运行策展循环，生成有效的数据集，并比随机选择获得更好的训练效果。
研究局限：智能体倾向于“过度开发”局部策略族（例如：调整来源比例、长度阈值或随机种子），而不是探索不同的策略族。即使可以使用策略指南和论文引用，智能体也往往无法在没有进一步结构化约束的情况下，将抽象的研究想法转化为可执行的策略。

3. 脚手架的作用

研究表明，脚手架是将智能体从执行转向真正研究探索的关键杠杆。

轻量级脚手架：提供策略列表或论文引用虽然扩大了智能体陈述的选择范围，但很少改变其执行的策略，因为智能体会默认采用低成本的局部启发式方法。
重量级脚手架：通过施加绑定协议（例如“适配论文”），要求智能体引用特定的先前方法，解释其适用性，并将其适配到当前预算，这迫使智能体转向由方法引导的探索。这种方法使智能体能够发现开放提示智能体无法发现的新颖且高性能的策略。

结果

开放提示智能体的表现

基准达成：开放提示智能体在十次迭代内即可达到强大的已发表数据选择基准（如 ICONS, ARDS）。
效率：它们仅使用原始数据池的 1.5%（10k 对比 665k），就恢复了约 59% 的全量数据微调增益。
局限性：其成功是由局部启发式微调驱动的，而非探索新的策略族。

重量级脚手架的影响

突破性表现：在“适配论文”脚手架下，一个智能体自主组合了一个混合策略，将 EL2N 式的 top-loss 选择与助手损失（assistant-loss）噪声过滤器结合在一起。
优越性：该脚手架下的智能体平均得分达到 34.9，在仅使用所需数据预算十分之一（10k 对比 100k）的情况下，超越了开放提示智能体和强大的非智能体基准（ICONS, ARDS）。
轨迹质量：重量级脚手架消除了“浅层”操作（在最佳情况下从 47% 降至 0%），并将“有据可依”的迭代次数提升至 100%。

计算预算缩放

将智能体的迭代预算从 10 次扩展到 50 次显示，性能持续提升且没有明显的平台期，这表明在有限数据场景下，额外的计算资源可以有效地用于搜索数据策略，而不仅仅是增加训练数据。

重要性与主张

本文主张：当前的通用智能体可以运行策展循环，但如果没有脚手架化的方法适配，则无法可靠地进行数据研究。

自主 vs. 辅助：文中对两者进行了区分：自主执行（运行带有明确局部验证的循环）与智能体辅助研究（在反馈稀疏且不连续的策略空间中导航）。数据策展属于后者。
脚手架作为实验对象：作者认为脚手架不仅是提示词，更是决定智能体推理能力的实验设计对象。未来的自主数据研究评估必须报告脚手架强度和轨迹诊断，而不应仅报告最终得分。
数据高效计算：这项工作提出了一种在有限数据环境下提高模型性能的新范式：将额外的计算资源投入到搜索数据策略（选择、适配、验证）上，而不仅仅是重复使用数据或进行合成扩展。

作者总结道，虽然开放式提示可以产生有用的执行器，但可靠的数据研究需要脚手架化的方法适配，以弥合抽象方法论知识与可执行数据策略之间的鸿沟。