💬 NLP

When Does Generating More Help? Disentangling Fixed-Source Synthesis from Source Expansion in Synthetic Data Scaling

本文通过在保持种子材料和教师模型不变的情况下改变响应预算，对固定源合成（FSS）进行了隔离与分析，揭示了尽管 FSS 的性能可以通过推导出的标度律进行预测，但源扩展（Source Expansion）最终会在大预算下超越 FSS，从而确立了 FSS 作为评估合成数据协议的一个受限但受控的维度。

原作者： Xu Guo, Jian Tong, Zhihui Lu, Qipeng Guo

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xu Guo, Jian Tong, Zhihui Lu, Qipeng Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名学生（一个 AI 模型）如何解决困难的数学或物理问题。你有一位非常聪明的老师（一个大型 AI）和一本练习题集（“源数据”）。

这篇论文提出了一个简单但至关重要的问题：如果你想要获得更好的结果，你应该购买“更多”的练习题，还是应该让老师针对现有的这几个问题写出“更多”个答案？

作者将这两种方法称为：

源扩展 (Source Expansion, SE)： 买一本包含更多独特问题的更大规模的题集。
固定源合成 (Fixed-Source Synthesis, FSS)： 保留现有的题集不变，但要求老师针对每一个问题写出 1 个、2 个、4 个甚至 32 个不同的答案。

以下是他们的研究发现，通过简单的类比进行了解释：

1. “更多答案”策略存在天花板 (FSS)

如果你固守于这仅有的几个问题，并只是要求老师为它们写出越来越多的答案，学生确实会变得更聪明，但这会很快遇到瓶颈。

类比： 想象你正在用三个练习题来准备考试。
- 第一个答案： 老师清晰地解释了解决方案。你学到了很多。
- 第二个答案： 老师用稍微不同的方式进行了解释。你又多学了一点。
- 第十个答案： 老师只是在用略微不同的措辞重复同样的逻辑。你并没有学到任何新东西。
- 第一百个答案： 你只是在背诵老师的声音，而不是在学习真正的数学。

研究发现，在针对同一个问题写下更多答案后，你会遇到收益递减的情况。学生会撞上一堵“天花板”，这取决于老师有多优秀以及你最初有多少个独特的题目。无论你要求老师对这三个问题重新解释多少次，学生也永远无法学到那些隐藏在另外 997 个未见过的题目中的概念。

2. “更多问题”策略更好 (SE)

当研究人员比较将预算用于“更多答案”还是“更多问题”时，胜出者几乎总是更多问题。

类比： 你有 100 美元的预算。
- 选项 A： 买 100 份完全相同的 3 个练习题，并将每个问题的答案阅读 33 次。
- 选项 B： 买 100 个不同的练习题，并阅读每个问题的答案各一次。

研究发现，选项 B（源扩展）让学生变得聪明得多。即使你的总“学习次数”较少，通过接触更多样化的题目，也能教会学生如何处理新的情况。即便拥有成千上万个答案，如果一直纠结于同样的一小部分问题，也会留下知识盲区。

3. “重新包装”帮助不大

研究人员还测试了一些让“更多答案”策略更有效的花哨技巧。他们尝试了：

要求老师扮演特定的角色（人格化 Persona）。
选择最“不同”的答案以确保多样性。
让老师犯错然后进行修复（轨迹修复 Trace Repair）。
类比： 这就像是拿着同样的三个练习题，试图通过改变字体、纸张颜色或老师的口音来让它们看起来有所不同。
结果： 这些技巧的效果都不如简单的“要求更多答案”（拒绝采样 Rejection Sampling）。一旦你被困在了一组固定的问题中，改变提问的方式并不能解决问题；问题不在于答案的风格，而在于缺乏新的问题。

核心启示

论文得出结论，合成数据的缩放有两个不同的路径：

“更多答案”路径 (固定源)： 这对于微调和检查某个方案是否可行是有用的，但它是有界限的。你最终会从同一个来源中耗尽可学习的新信息。
“更多问题”路径 (源扩展)： 这是真正的增长引擎。如果你想构建一个更聪明的 AI，你需要给它喂入更多独特的、现实世界的例子（新的种子），而不仅仅是旧例子的更多变体。

简而言之：不要只是一遍又一遍地问同一个问题，并寄希望于得到更好的答案。去寻找新的问题去问吧。

技术摘要：将固定源合成与源扩展从合成数据缩放中解耦

问题陈述

合成数据已成为训练大语言模型（LLM）的标准组成部分，其下游性能随数据集规模的扩大而呈现可预测的增长。然而，现有的缩放研究往往混淆了扩展合成数据的两种不同路径：

源扩展 (Source Expansion, SE)： 通过增加种子材料（例如新的文档或问题）或切换到更强的生成器来扩大信息源。
固定源合成 (Fixed-Source Synthesis, FSS)： 在保持源（种子问题和教师模型）固定的情况下，通过增加生成预算（即针对每个种子问题生成更多响应）来进行缩放。

先前的工作主要关注 SE，使得 FSS 的回报研究不足。本文旨在隔离 FSS 以确定其缩放极限，推导其预测性缩放定律，并在总样本预算匹配的情况下，将其有效性与 SE 及各种合成协议进行比较。

研究方法

作者将合成数据流水线建模为一个三元组 $(Q, T, p)$ ，其中 $Q$ 是种子问题池， $T$ 是教师模型， $p$ 是合成协议。他们通过固定 $(Q, T)$ 并仅通过拒绝采样（Rejection Sampling, RS）改变每个问题的响应预算 $r$ 来隔离 FSS。

实验设置：

领域： 数学和物理（来自 SuperGPQA）。
模型： 主要教师模型为 DeepSeek-V3.1 ( $T_{DS}$ ）；主要学生模型为 Qwen2-7B-Instruct ( $S_{Q7}$ )。交叉对检查使用 Qwen2.5-72B ( $T_{Q72}$ ) 和 Llama-3.1-8B ( $S_{L8}$ )。
基准协议： 温度设为 1.2 的拒绝采样（RS），针对每个种子问题最多收集 32 个正确响应。
评估指标： Mean@8（在温度为 0.7 的情况下采样 8 个学生输出时的平均正确响应比例）。
规模： 该研究涉及约 20 亿个教师推理 token 和超过 500 次学生微调运行。

研究问题 (RQs)：

RQ1 (FSS 缩放)： 在 $(Q, T)$ 固定时，FSS 是否能提高学生准确率，以及这种增益如何随 $r$ 缩放？
RQ2 (SE vs. FSS)： 在匹配的总样本预算下，SE（增加种子）带来的增益与 FSS（增加 $r$ ）相比如何？
RQ3 (协议有效性)： 在 FSS 内部，高级合成协议（多样化、选择、重写）是否优于普通的 RS？

核心贡献与结果

1. FSS 缩放定律与收益递减 (RQ1)

作者基于“量化视角”（quanta view，即特征被视为二元的：要么学习到，要么未学习到）推导出了一个特定的 FSS 缩放形式。与以数据量为轴的标准缩放定律不同，FSS 缩放的是一个固定的源。

推导形式： 性能 $P(r)$ 遵循向源决定的天花板呈幂律衰减的形式：
$P(r) \approx P_{\infty} - A r^{-\alpha}$
这里， $P_{\infty}$ 是由固定的源 $(Q, T)$ 决定的天花板，而非任务本身的内在噪声。
发现： FSS 持续提高学生准确率，但随着 $r$ 的增加，增益迅速递减。对于较弱的教师模型，曲线饱和得更快。
预测： 在低预算（ $r \le 16$ ）下拟合的形式成功预测了所有教师-学生对在留出（held-out）最高预算（ $r=32$ ）下的表现。

2. 源扩展优于固定源缩放 (RQ2)

研究比较了 SE（增加种子问题数量 $|Q|$ ）与 FSS（增加响应数 $r$ ）在匹配的总样本数（ $B = |Q| \times r$ ）下的表现。

发现： 在小预算下，SE 和 FSS 相当。然而，随着预算的增长，扩展真实的种子问题集（SE）的表现显著优于将同样的预算用于减少种子数量并增加每个种子的响应数（FSS）。
问题合成： 从现有种子合成新问题（一种 FSS 变体）在总样本数匹配时，相对于普通 RS 并没有带来任何增益。先前工作中提示词合成（prompt synthesis）表现出的所谓益处，被归因于预算效应而非合成质量。

3. 合成协议的有限有效性 (RQ3)

在固定的 $(Q, T)$ 下，作者评估了各种针对普通 RS 的协议，包括：

温度变体（0.6, 0.001）。
基于嵌入的多样性选择。
人格化提示（Persona prompting）。
无判别器过滤（允许错误的轨迹）。
轨迹级修复（重写 $\to$ 检查 $\to$ 修复）。
发现： 虽然这些协议成功地改变了它们所针对的内在指标（例如多样性、噪声水平），但在整个预算扫描过程中，没有任何一种协议能持续比普通 RS 提高学生性能。一旦源被固定，协议变化的增益是微乎其微的。

4. 在异构源上的鲁棒性

在混合 STEM 数据集上的实验证实，即使存在异构源，FSS 的界限依然存在。在匹配预算的情况下，增加真实种子问题的覆盖范围（SE）仍然优于在较小的池中增加响应数量。

意义与主张

本文声称提供了一个受控环境，通过将源扩展从源内合成中解耦，来评估合成数据的缩放。

有界缩放： FSS 是一个有界的缩放轴。它虽然能提高性能，但受限于由种子池和教师强度定义的“源天花板”（ $P_{\infty}$ ）。
协议评估： 固定源的设置为比较合成协议提供了一个严格的对照。作者发现，在固定源的情况下，协议的变化与源扩展这一根本选择相比，贡献很小。
资源分配： 对于从业者而言，结果表明，在缩放合成数据时，增加新的、多样化的种子问题（源扩展）是比单纯增加固定种子集的生成预算或依赖复杂的合成协议更可靠的策略。

作者得出结论，先前将增益归功于“合成数据缩放”的做法，往往混淆了源扩展的益处与增加采样或优化协议的益处。通过隔离 FSS，他们证明了虽然 FSS 是一种有效的缩放路径，但它本质上是有界的，且其效果不如扩展源的支持度（source support）。