DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning

该论文提出了名为 DataChef-32B 的强化学习框架，通过端到端自动生成数据食谱来优化大语言模型适应过程，其生成的食谱在多个任务上达到了专家级水平，并成功将 Qwen3-1.7B-Base 在 AIME'25 数学基准上的表现提升至超越官方后训练检查点的 66.7 分。

要点

这篇论文介绍了一个名为 DataChef（数据大厨） 的 AI 系统。为了让你轻松理解，我们可以把训练一个大语言模型（LLM）的过程，想象成开一家米其林餐厅。

🍳 核心概念：数据就是食材，菜谱就是灵魂

在传统的 AI 训练里，数据就像是食材（比如牛肉、蔬菜、香料），而大模型就是厨师。

• 过去的问题：以前，为了让厨师（AI）学会做“数学题”这道菜，人类专家（数据工程师）必须亲自去菜市场挑菜、洗菜、切菜，还要写一本厚厚的《烹饪手册》（数据处理流程），告诉厨师：“先切掉烂叶子，再放盐，最后大火炒 3 分钟”。
  • 这个过程非常累，而且全靠专家的“直觉”和“经验”。如果菜谱写得不好，做出来的菜（AI 模型）就很难吃。
• DataChef 的突破：DataChef 就像是一个超级 AI 大厨。你只需要告诉它：“我想做一道‘数学’菜，这是市场上能买到的所有食材（原始数据集）。”
  • 然后，DataChef 会自动思考：哪些食材新鲜？需要切多细？先放什么后放什么？
  • 它不仅能写出一本完美的《烹饪手册》（数据处理代码），还能自动执行这个流程，把一堆杂乱的原始食材，变成一锅色香味俱全的“训练数据汤”。

🚀 DataChef 是怎么工作的？（三步走）

想象 DataChef 在厨房里忙碌的三个步骤：

1. 试菜与尝味（数据验证器）

在正式开火前，DataChef 会先尝一口它调好的“汤底”。

• 它有一个**“美食评委”（Data Verifier）**，这个评委不需要等菜端给顾客（不需要真的训练整个大模型，那太慢了），只要尝一小口，就能判断：“这汤咸淡适中，食材新鲜，是个好汤！”或者“这汤里混进了沙子，不能喝！”
• 这个评委给汤打分，分数越高，说明这锅“数据汤”越适合用来训练 AI。

2. 不断改良（强化学习）

DataChef 不是一次就成功的。它会像学徒一样：

• 第一次：随便切切菜，评委说：“太咸了，不行。”
• 第二次：DataChef 记住了教训，少放点盐，评委说：“好多了，但火候不够。”
• 第 N 次：经过成百上千次的“尝试 - 反馈 - 修正”，DataChef 终于摸索出了一套完美的独家菜谱。它学会了如何把一堆普通的食材（比如普通的数学题数据），通过特殊的处理（比如把题目改写得更有逻辑，或者合成新的难题），变成顶级食材。

3. 端上餐桌（生成最终成果）

最后，DataChef 会输出一套可执行的代码。这套代码就是它的“自动烹饪机器人”。只要运行这段代码，就能自动把原始数据清洗、混合、加工，变成训练 AI 所需的高质量数据。

🏆 成果有多厉害？

论文里展示了几个惊人的战绩：

1. 超越人类专家：在 6 个不同的领域（比如数学、编程、金融、气象等）测试中，DataChef 自动生成的“菜谱”，做出来的 AI 模型效果，和人类顶级专家手写的菜谱一样好，甚至更好。
2. 数学界的奇迹：在著名的数学竞赛 AIME'25 上，DataChef 用一个小模型（Qwen3-1.7B）做训练，结果它的得分达到了 66.7 分！
   • 这比那个模型原本官方发布的、由人类专家精心调教过的版本（33.3 分）还要高出一倍！
   • 这就好比你让一个刚入门的厨师，用 DataChef 给的菜谱，做出了比米其林三星主厨还要好吃的菜。
3. 省钱省力：以前为了找最好的数据，人类要试错很久，浪费大量算力。DataChef 用“评委尝味”代替了“全模型训练”，速度快了无数倍，成本也大大降低。

💡 总结：为什么这很重要？

以前，AI 的进步很大程度上取决于人类能不能找到好数据、写好菜谱。这就像做饭，厨师再厉害，如果食材不好或者菜谱不对，也做不出好菜。

DataChef 的意义在于：
它把“找食材”和“写菜谱”这两个最累、最依赖人的环节，完全交给了 AI 自己。

• 它让 AI 具备了**“自我进化”**的能力：AI 可以自己决定怎么吃、怎么练，从而变得更强。
• 这标志着我们离**“全自动 AI 工厂”**又近了一步。未来，可能不需要人类专家天天盯着数据清洗，只要给 AI 一个目标，它就能自己搞定一切，做出越来越聪明的“大脑”。

一句话总结：
DataChef 就是一个AI 自动厨师，它能自己研究怎么把一堆乱糟糟的原材料（数据），通过自动写菜谱、自动炒菜，变成让 AI 变聪明的“营养大餐”，而且做得比人类专家还好吃！

技术摘要

这是一篇关于DataChef的论文详细技术总结。DataChef 是一个旨在通过强化学习（RL）自动为大语言模型（LLM）生成最优“数据食谱”（Data Recipe）的系统。

1. 研究背景与问题定义 (Problem)

• 核心痛点：在当前的 LLM 发展中，训练数据的质量与构成是决定模型性能的关键。然而，构建高效的数据处理流程（即“数据食谱”，包含数据清洗、过滤、混合、合成等步骤）目前主要依赖人工经验和试错迭代。虽然 LLM 已被用于自动化单个数据步骤（如过滤或合成），但端到端地设计整个数据管道仍缺乏自动化方案。
• 现有局限：
  • 现有自动化工具（如 Data-Juicer Sandbox）通常依赖预定义的算子池和启发式搜索，难以在巨大的组合空间中探索最优解。
  • 缺乏针对“数据食谱生成”任务的专用数据集和评估基准。
  • 直接利用下游模型训练效果作为奖励信号进行强化学习（RL）成本过高，无法在在线 RL 循环中实施。
• 任务定义：作者提出了端到端的数据食谱生成任务。给定一个目标基准（Benchmark）和一组原始数据源，模型需要输出一份完整的数据食谱，包括：
  1. 数据流水线规划（自然语言描述）。
  2. 可执行代码（Python 脚本），用于将原始数据转换为高质量的训练数据集。

2. 方法论 (Methodology)

DataChef 框架的核心在于构建了一个能够自我进化的 RL 系统，主要包含以下三个关键组件：

A. 任务池构建 (Task Pool Construction)

为了训练模型，作者构建了一个大规模、多样化的任务池：

• 规模：涵盖 19 个领域（如数学、代码、医疗、金融等），31 个基准测试，以及 257 个 不同的原始数据集。
• 划分：包含 25 个训练任务和 6 个保留的评估任务（3 个同域，3 个跨域）。
• 数据增强：通过概率采样策略，将种子任务扩展为 5000 个独特的任务实例，以增强策略的泛化能力。

B. 学习框架：冷启动 + 强化学习

由于直接从零开始训练 RL 策略会导致代码可执行率低、奖励稀疏，作者采用了两阶段训练策略：

1. 冷启动监督微调 (Cold-start SFT)：
   • 利用强推理模型（Qwen3-Next-80B）生成规划，专用代码模型（Kimi-K2）生成代码，构建高质量的演示数据集。
   • 通过拒绝采样（Rejection Sampling）保留高成功率和高质量的数据，初始化策略模型（DataChef-32B）。
2. 在线强化学习 (Online RL)：
   • 使用 GRPO (Group Relative Policy Optimization) 算法优化策略。
   • 奖励建模 (Reward Modeling)：这是最大的创新点。由于无法每次都对生成的数据进行全量模型训练，作者设计了一个 Data Verifier（数据验证器） 作为代理奖励（Proxy Reward）。
     • Data Verifier：一个强大的 LLM（gpt-oss-120b），根据预定义的评分标准（Rubrics）对生成的数据样本进行打分（0-1 分）。
     • 评分标准：包括有效性（Validity）、格式（Format）、正确性（Correctness）、任务对齐度（Task Alignment）。
     • 奖励函数：结合数据质量平均分和代码执行失败的惩罚项。

C. 推理过程

在推理阶段，DataChef-32B 接收任务指令和数据源列表，直接输出包含自然语言规划和可执行 Python 代码的完整数据食谱，用于下游模型的微调。

3. 关键贡献 (Key Contributions)

1. 新任务定义：首次形式化了“端到端数据食谱生成”任务，要求模型同时具备数据理解、流程规划和代码实现能力。
2. 大规模数据集构建：构建了覆盖 19 个领域、31 个基准、257 个数据集的专用任务池，填补了该领域研究数据的空白。
3. 高效的学习框架：提出了一种结合冷启动 SFT 和基于代理奖励（Data Verifier）的在线 RL 框架，解决了数据食谱生成中奖励信号延迟和计算成本高的问题。
4. 高性能模型：发布了 DataChef-32B，证明了通过自动化探索代码空间可以超越人工设计的启发式规则。

4. 实验结果 (Results)

作者在 6 个保留任务（3 个同域，3 个跨域）上进行了评估，主要发现如下：

• 性能对比：
  • DataChef-32B 的表现与闭源顶尖模型 Gemini-3-Pro 相当，甚至在部分指标上更优。
  • 显著优于现有的开源基线（如 Qwen3-32B, Kimi-K2）以及 SOTA 数据选择算法（IFD, DEITA）。
  • 在跨域任务（Out-of-domain）上，RL 带来的泛化提升尤为明显。
• 超越人工基线：
  • 在数学领域（AIME'25），DataChef 生成的食谱将 Qwen3-1.7B-Base 的微调后得分提升至 66.7，超过了官方经过专家精心调优的 Qwen3-1.7B 版本（33.3）。
  • 在气候问答（ClimaQA）任务中，得分达到 46.3，同样超越了官方检查点。
• Data Verifier 的有效性：
  • 相关性分析显示，Data Verifier 的评分与下游模型性能的相关系数（Pearson Correlation）高达 0.59（平均），显著高于 IFD、DEITA 等现有指标。
  • 现有指标在跨域时经常出现负相关（误导优化方向），而 Data Verifier 在所有任务中均保持正相关，证明了其作为奖励信号的鲁棒性。
• 消融实验：
  • 证明了冷启动 SFT 的必要性：没有 SFT，RL 模型倾向于生成简单的“安全”脚本以规避惩罚，导致性能大幅下降。
  • 证明了细粒度奖励的重要性：仅使用“执行成功/失败”的稀疏奖励会导致性能下降，Data Verifier 提供的质量反馈至关重要。

5. 意义与展望 (Significance)

• 自动化 LLM 训练：DataChef 展示了 AI 系统可以自动设计数据工程流程，减少了对人类专家手动设计数据管道的依赖，降低了构建高性能 LLM 的门槛。
• 自我进化的 AI：这项工作为开发“自我进化”的 AI 系统提供了新思路，即 AI 不仅能学习知识，还能自动优化其学习所用的数据。
• 代码空间的探索优势：实验表明，让模型在巨大的代码空间中自动搜索最优数据管道，比依赖人工设计的固定启发式规则（Heuristics）能发现更优的解决方案。
• 局限性：目前依赖 LLM-as-a-Judge 作为奖励信号，虽然在通用性上表现良好，但在极小众或高度专业的任务中可能缺乏足够的精度，未来可探索更专用的评估器。

总结：DataChef 通过引入强化学习和代理奖励机制，成功实现了从“人工设计数据”到"AI 自动生成数据食谱”的范式转变，显著提升了小参数模型在特定领域的性能，甚至超越了经过专家精心调优的官方模型。