🤖 machine learning

DataMaster: Towards Autonomous Data Engineering for Machine Learning

本文介绍了 DataMaster，这是一个自主智能体框架，它通过共享数据池和累积记忆，利用树形结构搜索优化数据发现、选择和转换等数据工程任务，从而提升机器学习性能，在不修改底层学习算法的情况下，在 MLE-Bench Lite 和 PostTrainBench 基准测试中取得了显著改进。

原作者： Yaxin Du, Xiyuan Yang, Zhifan Zhou, Wanxu Liu, Zixing Lei, Zimeng Chen, Fenyi Liu, Haotian Wu, Yuzhu Cai, Zexi Liu, Xinyu Zhu, WenHao Wang, Linfeng Zhang, Chen Qian, Siheng Chen

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yaxin Du, Xiyuan Yang, Zhifan Zhou, Wanxu Liu, Zixing Lei, Zimeng Chen, Fenyi Liu, Haotian Wu, Yuzhu Cai, Zexi Liu, Xinyu Zhu, WenHao Wang, Linfeng Zhang, Chen Qian, Siheng Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图烘焙世界上最好的巧克力蛋糕。过去，做出更美味蛋糕的秘诀在于发明新烤箱、革命性的打蛋器，或复杂的新型烘焙算法。但近来，所有的烤箱和打蛋器都已变得大同小异。赢得烘焙比赛的关键并非你使用的工具，而是食材。

若想做出更美味的蛋糕，你需要找到最好的可可豆、最新鲜的鸡蛋，以及完美的糖粉配比。然而，寻找并准备这些食材是一项艰巨的工作。通常，烘焙师必须前往市场，猜测哪些豆子品质优良，清洗它们，切碎它们，并寄希望于最佳结果。如果蛋糕失败，他们不得不从头再来，却常常忘记上次究竟哪里出了问题。

DataMaster 是一款专为人工智能（AI）设计的新型“智能助手”，旨在完成上述任务。它并非试图构建更强大的 AI“大脑”（即配方），而是完全专注于寻找并准备最佳数据（即食材），以喂养该大脑。

以下是其工作原理的简明拆解：

1. 问题：“寻找食材”

目前，AI 工程师往往将数据视为既定的固定食材盒。他们试图调整配方（即代码）以使其生效。但论文指出，真正的突破发生在你走出去寻找更好的食材之时。

挑战：互联网上充斥着潜在数据，但杂乱无章。有些数据质量低劣，有些使用非法，还有些不符合配方需求。
旧有方式：人类（或简单机器人）搜索数据，尝试使用，观察 AI 是否提升；若失败，则遗忘过程并尝试其他方案。这就像试图通过尝一口就扔掉整块蛋糕、每次都从头开始的方式来烘焙。

2. 解决方案："DataMaster 厨房”

DataMaster 是一个自主智能体（即智能机器人厨师），它将数据视为首要改进对象，而非代码。它利用三大核心工具来实现这一目标：

A. DataTree（决策树）

想象一棵树，每个分支代表一种不同的食材准备方式。

红色分支（探索）：这些分支深入“市场”（互联网），寻找新的原始食材（外部数据集）。它们尚不“烹饪”，仅收集潜在候选者。
黑色分支（利用）：这些分支将收集到的食材实际“烹饪”。它们清洗数据、混合数据，并将其喂给 AI，以观察蛋糕口感是否改善。
为何是树？ 若树的某个分支（某种数据混合方式）失败，机器人不会放弃，而是尝试其他分支。它保持所有分支活跃，以便后续比较。

B. 数据池（共享储藏室）

当红色分支发现一种优质新食材（数据集）时，它不会仅使用一次便丢弃，而是将其放入共享储藏室。

树中的任何其他分支均可走到储藏室，取用该食材，并尝试以不同方式使用。这意味着机器人绝不会浪费时间重复寻找同一优质食材。

C. 全局记忆（配方笔记本）

这是机器人的长期记忆，它记录：

“我们曾尝试将巧克力与盐混合，结果失败。”
“周二我们找到了优质的香草豆来源。”
“这种特定清洗方法对上一块蛋糕效果显著。”
为何重要：若无此记忆，机器人将重复犯错；有了它，机器人能从每次尝试中学习，即使该尝试发生在树的不同分支上。

3. 如何博弈

机器人拥有有限的时间和资金（即“预算”），无法尝试所有可能的食材组合。

它采用智能策略（如同下棋）来决定下一步探索哪个分支。
若某分支展现潜力（蛋糕口感良好），则投入更多时间于此。
若某分支看似无望，则将其剪除，尝试新方向。
它持续检查“口味测试”（下游训练结果），以验证新食材是否真正提升了 AI 的智力。

4. 结果：蛋糕是否更美味？

作者在两个截然不同的“厨房”中测试了 DataMaster：

"Kaggle"厨房（MLE-Bench Lite）：这是一场标准烹饪比赛，食材已提供，但你可添加更多或进行清理。
- 结果：与仅使用基础食材相比，DataMaster 将“奖牌率”（赢得比赛）提升了32%。它发现，更好地清洗和混合数据是获胜关键。
“白板”厨房（PostTrainBench）：这更具挑战性。机器人被赋予一个原始 AI 模型，且无任何食材。它必须从零开始寻找数据，并教导模型完成如解数学题或编写代码等任务。
- 结果：DataMaster 通过寻找并策划合适数据，使一个基础 AI 模型在特定科学测试（GPQA）中的表现超越了人类专家训练的模型。其得分从平均 8% 提升至超过 31%。

核心结论

长期以来，AI 的进步在于构建更大、更聪明的“大脑”（模型）。本文指出：“停止构建更大的大脑；开始为它们提供更优质的食物。”

DataMaster 证明，若拥有一个自主智能体，能够系统地搜索、清洗和混合数据，并铭记过往成功经验，它便能在不修改一行代码的情况下，显著提升固定 AI 模型的智能水平。它将数据工程从杂乱无章的手工杂务，转变为结构化、智能化的搜索过程。

技术摘要：DataMaster：迈向机器学习的自主数据工程

1. 问题定义

本文探讨了机器学习（ML）领域的一个转变：模型架构、训练方案和计算资源的改进正日益标准化。因此，性能提升越来越依赖于数据的质量、选择和组合。然而，当前的自主机器学习系统仍主要以模型为中心，将数据视为固定输入或辅助动作维度，而非优化的主要对象。

作者将任务条件的自主数据工程定义为一个新的研究问题。在此设定下：

输入：一个下游任务 $T$ 、一个固定的学习算法 $a_0$ 、一个初始可执行数据状态 $D_0$ ，以及一个资源预算 $B$ 。
约束：学习算法 $a_0$ 保持不变。
目标：自主智能体必须通过仅操作数据状态 $D$ ，来最大化下游性能 $E(T, a_0, D)$ 。
挑战：该问题是开放世界的（有用的数据源散布在网络上，其质量和许可未知）且长视野的（数据决策的价值仅在下游训练和评估后才能验证）。智能体必须发现、清洗、适配和整合数据，同时避免重复失败并利用累积知识。

2. 方法论：DataMaster 框架

DataMaster 是一个增强记忆的数据智能体框架，旨在导航数据工程的开放搜索空间。它将外部数据发现、可执行数据精炼和累积记忆统一在一个下游训练反馈循环之下。该框架包含三个核心组件：

A. DataTree（结构化搜索）

DataTree 将可执行数据状态的搜索组织为树结构 $T = (V, E)$ ，其中节点代表数据工程步骤，边代表上下文继承。它采用两种互补的节点类型：

红色节点（数据探索）：这些节点执行开放的外部搜索以发现新数据集。它们根据任务描述和失败案例生成搜索查询，筛选源的相关性和可用性，并输出一组新的数据集条目 $\Delta P_v$ ，将其添加到共享的数据池中。
黑色节点（数据利用）：这些节点利用数据池来改进当前的训练流程。它们选择数据源，应用清洗/转换规则，构建特征，并将输入适配到固定算法。它们将这些决策具体化为一个可执行的 DataLoader 并提交进行下游训练，以获得性能分数 $y_v$ 。

B. 共享数据池

该组件作为由红色节点发现的候选外部数据集的全局存储库。它存储包含源指针、模式摘要和筛选说明的清单。黑色节点从此池中读取以选择和组合数据，确保在一个分支中发现的内容可被其他分支重用，从而避免重复的搜索工作。

C. 全局记忆

全局记忆作为搜索过程的持久记录层。它存储包含以下内容的节点级记录 $r_v$ ：

结果：下游分数和诊断信息。
工件：可重用的处理历史和清洗方法。
发现：有用的提示和失败模式。
这使得智能体能够从父节点和兄弟节点检索上下文，实现跨分支学习（例如，避免失败的转换或重用成功的适配器）。

D. 树增长与调度

为了管理有限的计算预算，DataMaster 采用：

增长策略：一种动态机制，即一个红色节点后跟一批黑色节点，以测试新发现数据的效用。系统根据训练反馈决定是深化分支（进一步精炼）还是拓宽分支（新发现）。
调度策略：基于上置信界（UCB）规则的贪婪调度器。它通过平衡分支的累积奖励与探索未充分访问方向的需求来选择下一个要执行的节点，从而确保评估预算的高效分配。

3. 主要贡献

问题定义：本文将任务条件的自主数据工程定义为一个首要问题，其中数据状态（而非模型代码）是主要的优化目标。
框架设计：它引入了DataMaster，这是一个新颖的框架，集成了用于分支搜索的DataTree、用于共享外部源的数据池，以及用于跨迭代累积重用的全局记忆。
实证验证：作者在两个互补的基准测试上评估了 DataMaster，证明了结构化的数据侧迭代可以显著改善经典机器学习工程和 LLM 后训练中的强初始解决方案。

4. 实验结果

作者在MLE-Bench Lite（22 个 Kaggle 竞赛）和PostTrainBench（7 个 LLM 后训练能力）上评估了 DataMaster。

MLE-Bench Lite：
- DataMaster 将奖牌率在初始分数基础上提高了32.27%（达到 68.18% 对比 35.91%）。
- 它实现了 45.45% 的金牌率，在奖牌率上比最强的基线（DatasetResearch）高出 9.09 个百分点。
- 消融实验证实，移除全局记忆会导致性能崩溃（金牌率从 80% 降至 20%），突显了累积记忆的必要性。
PostTrainBench：
- DataMaster 将平均分数从8.47%（基座模型）提升至31.17%。
- 它优于所有基线，包括 Codex（18.46%）和 DataFlex（19.09%）。
- 值得注意的是，在GPQA基准测试（研究生级别的科学问答）上，DataMaster 超越了人类专家指令模型（31.02% 对比 30.35%）。
鲁棒性与扩展性：
- 该系统在不同的骨干 LLM（GLM-5、Claude-4.6、Qwen3.5）上表现出一致的增益，尽管 GPT-5.4 由于工具使用不足而表现不佳。
- 测试时扩展实验表明，增加搜索预算会带来持续的性能提升，最终节点的表现超越了指令模型参考。

5. 意义与主张

本文主张，自主数据工程是改进机器学习系统的一个可行且强大的杠杆，它与以模型为中心的优化不同且互补。

范式转变：该工作认为，随着模型开发的标准化，性能提升的“主要剩余杠杆”是数据。因此，智能体系统必须超越优化模型代码，转向优化数据状态。
结构化搜索：本文证明，将数据工程视为具有累积记忆的结构化、基于树的搜索过程，优于孤立的数据操作或简单的数据集检索。
通用性：结果表明，这种方法在不同领域均有效，从表格机器学习竞赛到复杂的 LLM 后训练，甚至在特定能力上可以匹配或超越专家策划的数据管道。

作者总结道，未来的自主机器学习系统应更加重视数据的全生命周期：发现、选择、转换、验证和重用。