💬 NLP

Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning

本文证明了，与标准直觉相反，在思维链数据上进行监督微调时，通过在较小数据集上进行重复训练直至达到完全记忆，而非通过扩大单轮训练的数据集规模，可以获得更优越的推理性能。

原作者： Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位聪明但容易分心的学生去解决极其困难的谜题，比如复杂的数学问题或深奥的科学问题。在人工智能的世界里，这个学生就是一个“语言模型”，即一个通过阅读文本来学习的计算机程序。为了让这些模型具备推理能力，科学家们使用了一种叫做“监督微调”（SFT）的过程。你可以把它想象成给这个学生一叠由大师级教师编写的范例解答。学生阅读这些范例，并尝试模仿其中的思考过程，一步步地进行，直到他们能够独立解决类似的题目。

长期以来，机器学习领域一直遵循着一条金科玉律：“越多越好”。这种直觉很简单：如果你想让学生学得好，你应该给他们一个庞大的、包含各种独特书籍的图书馆。他们看到的例子越多样，他们在面对新情况时的泛化能力就越强。这就像是认为读完10,000个不同的故事，总是比反复阅读相同的100个故事要好。但如果这条规则是错误的呢？如果对于这种特定类型的“推理”训练，秘诀不在于一个更大的图书馆，而在于对一个较小图书馆的深度理解呢？这正是来自 COLM 2026 会议的一篇新论文所探讨的问题，它挑战了我们关于 AI 如何思考的基本假设。

这项研究背后的研究人员决定通过一系列受控实验来测试“越多越好”这一规则。他们采用了一个标准的 AI 模型，并使用“思维链”（Chain-of-Thought）数据对其进行训练——这些是长篇、详细的推理轨迹，模型通过这些轨迹学习在回答问题之前先进行思考。他们设定了一个严格的预算：一个固定的“计算量”（就像是一个学生被允许学习的固定时长）。然后，他们比较了两种策略。策略 A 是给学生一大堆独特的例子（51,200 个样本），但让他们对整堆例子仅进行一次阅读。策略 B 是给学生极少量的例子（仅 200 或 400 个样本），但让他们反复阅读这同一小堆例子，次数多达 128 次。

结果令人惊讶且违反直觉。论文发现，那个反复阅读小规模数据集的学生（策略 B）在解决新的难题时，表现得比那个仅仅匆忙浏览过庞大图书馆的学生（策略 A）要出色得多。在 AIME 数学竞赛和 GPQA 科学测验等高难度基准测试中，使用 400 个样本训练 128 个 epoch（重复次数）的模型，其表现大幅超越了使用 51,200 个样本训练仅 1 个 epoch 的模型——准确率提升了 12 到 26 个百分点。这就像是那个完美背诵了几篇关键故事的学生，竟然能比那个走马观花看了一千本书的学生更好地解决新的谜团。

论文还探讨了为什么会发生这种情况以及其局限性。他们发现，这种进步并非来自于学习新知识，而是来自于模型对推理结构的“记忆”。随着模型重复学习这个小数据集，它最终达到了能够以近乎完美的准确率（100%）预测训练样本中下一个词的程度。一旦模型达到了这种对训练数据的“完全记忆”，它在处理新测试时的表现就不再提升，而是进入了平台期。这表明，对于这种特定类型的训练，目标不是尽可能多地看到不同的例子，而是将推理的模式内化，直到它成为一种本能。

有趣的是，研究人员检查了这种“重复”是否会导致模型忘记原有的知识（这是一个被称为“灾难性遗忘”的问题）。他们发现，重复小数据集实际上比阅读庞大数据集一次所导致的遗忘更少。这似乎表明，通过深入练习推理结构，模型对自己逻辑的信心变得更加坚定，从而有助于它专注于任务而不丢失通用知识。

然而，作者也谨慎地指出，这并不是解决一切问题的“万灵药”。他们明确排除了这种方法适用于所有数据的可能性；例如，如果提供范例的老师水平很差，或者范例本身是错误的，那么这种优势就会发生变化。他们还指出，虽然“重复优势”是稳健的，但为什么记忆训练数据有助于泛化，其确切原因仍然是一个谜。他们认为，模型可能是在解锁它已经拥有的隐藏能力，而不是在学习某种全新的东西。

简而言之，这篇论文表明，对于教导 AI 进行推理，我们可能在浪费时间去寻找越来越大的数据集。相反，我们可能会通过选取一小组高质量的推理范例，并让模型反复研读直到彻底掌握，从而获得更好的结果。作者提出了一个新的实用规则：持续在小数据集上训练，直到模型能够完美预测训练文本，然后停止。尽管他们尚未完全解释这种现象背后的“为什么”，但他们已经证明了，有时在 AI 的世界里，把同一页纸读 100 遍，远比走马观花地看 100 页不同的内容要强大得多。

技术摘要：在长链式思考（Long-CoT）监督微调中，数据重复优于数据规模扩展

问题陈述

标准的机器学习直觉认为，使用更多独特的样本进行训练会产生更好的泛化能力，这一原则驱动了大型语言模型（LLM）预训练和后训练阶段独特语料库的规模扩展。然而，高质量的长链式思考（CoT）演示数据非常稀缺，通常需要昂贵的人工标注或从更大的模型中进行精细蒸馏。这引发了一个关键问题：在固定的计算预算（总梯度更新次数）下，是在一个较大的数据集上进行 1 个 epoch 的训练更有效，还是在较小的数据集上进行多个 epoch 的训练更有效？本文挑战了“数据多样性总是更优”的普遍假设，研究了在推理模型的监督微调（SFT）阶段，数据重复是否可以替代数据规模扩展。

研究方法

作者通过受控实验，在保持总更新预算不变的情况下，隔离研究数据重复与数据规模扩展的影响。

模型： 实验使用了三种近期语言模型的基座检查点：Olmo3-7B、Qwen3-8B 和 Qwen3-4B。使用这些模型是在指令微调之前，以确保拥有一个干净的 SFT 起始点。
数据集： 主要数据集是 “Dolci SFT 7B”，这是一个涵盖数学、编程和指令遵循的蒸馏长 CoT 演示集合。作者创建了从 200 到 51,200 个样本的嵌套训练拆分，确保较小的集合是较大集合的子集。额外的实验使用了从 Qwen3-0.6B 和 Qwen3-8B 教师模型中蒸馏出的特定数学数据，并根据最终答案的正确性（正向轨迹与负向轨迹）进行了划分。
实验网格： 核心实验设计通过改变唯一样本数 ( $N$ ) 和训练轮数 ( $E$ )，使得乘积 $N \times E$ （即更新预算）保持恒定。例如，51,200 次更新的预算可以通过在 51,200 个样本上训练 1 个 epoch，或者在 3,200 个样本上训练 16 个 epoch，或在 200 个样本上训练 256 个 epoch 来实现。
评估： 模型在三个具有挑战性的推理基准测试上进行评估：AIME 2024、AIME 2025 和 GPQA。指标包括：
- Accuracy@n： $n$ 次独立生成的平均准确率。
- Pass@n： 在 $n$ 次尝试中至少解决一个问题的比例。
- 终止率（Termination Rate）： 成功以结束序列（end-of-sequence）标记结尾的生成比例。
- 灾难性遗忘： 通过 MMLU 性能进行测量，以评估通用知识的保留情况。
训练动态： 研究追踪了训练 Token 准确率（记忆化）、验证损失和预测熵，以理解收敛行为。

核心结果

1. 重复优势

与标准的规模缩放定律相反，实验表明，在固定的更新预算下，在较小数据集上进行更多 epoch 的训练，其表现显著优于在较大数据集上进行较少 epoch 的训练。

性能提升： 在使用 51,200 次更新预算的 Olmo3-7B 模型上，在 400 个样本上训练 128 个 epoch 的表现，在 AIME 和 GPQA 基准测试上比在 51,200 个样本上训练 1 个 epoch 高出 12–26 个百分点。
一致性： 这一趋势在不同模型规模（Olmo3-7B、Qwen3-8B、Qwen3-4B）、不同基准测试以及不同数据源（通用 Dolci 数据集 vs. 数学特定蒸馏数据）中均成立。
饱和点： 随着 epoch 增加带来的性能增益在大约 32–64 个 epoch 时开始趋于平缓，这表明存在一个饱和点，超过该点后进一步的重复会产生收益递减。

2. 记忆化作为停止准则

作者发现训练集记忆化与下游性能之间存在强相关性。

Token 准确率： 随着 epoch 数量的增加，模型在训练集 Token 上的准确率趋近于 100%（完全记忆化）。
收敛信号： 当模型在训练数据上实现近乎完美的 Token 级准确率时，下游性能的提升也恰好达到平台期。这表明训练 Token 准确率可以作为一个实用的、与数据无关的 epoch 缩放停止准则，从而取代对昂贵且无定向的数据规模扩展的需求。

3. 终止与推理结构

终止率与准确率之间存在强相关性。单 epoch 模型经常无法终止（终止率为 24%），而多 epoch 模型（32 个 epoch）实现了高终止率（89%）。这表明重复训练不仅帮助模型内化推理模式，还帮助其内化了长推理链结束的结构性惯例。

4. 对数据质量与错误的鲁棒性

教师质量： 无论蒸馏数据来自弱教师（0.6B）还是强教师（8B），重复优势依然存在。然而，在使用弱教师时，增加总更新预算（扩展数据）可能会导致性能下降，这呼应了“弱到强”泛化的问题。
负向轨迹： 出人意料的是，训练不正确的推理轨迹（负向轨迹）并不会降低性能，在某些情况下（如 AIME'24, GPQA），其表现甚至与训练正确轨迹相当甚至略好。这表明接触困难的推理尝试（即使是有缺陷的）对学生模型是有益的。

5. 灾难性遗忘

虽然在小数据集上进行多 epoch 训练会导致过拟合（验证损失上升，熵下降），但它并不会比在大型数据集上进行单 epoch 训练导致更多的“灾难性遗忘”。事实上，相比于数据规模扩展，epoch 缩放在 MMLU 基准测试上的性能退化更少，在推理性能与知识保留之间提供了更好的权衡。

重要性与主张

本文提出了“重复优势”这一反直觉现象，即在长 CoT SFT 中，对小数据集的完全记忆化与提高泛化能力同时发生。

实践启发式方法： 作者为推理 SFT 提出了一种实用的方法：将 epoch 规模扩展至训练 Token 准确率饱和为止，而不是扩展唯一数据量。这为获取海量唯一 CoT 数据提供了一种更具成本效益的替代方案。
开放问题： 本文明确指出，解释“为什么在重复下的记忆化能提高这种特定语境下的泛化能力”是一个全新的、属于社区的开放问题。作者指出，虽然他们识别出了相关因素（记忆化、终止行为），但确切的因果机制仍有待理解。
范式转移： 研究结果挑战了业界默认的在最大可用数据集上进行单 epoch 训练的做法，表明在推理 SFT 中，epoch 数量和数据集大小应被视为一等决策变量。

论文总结道，对于专注于推理的 SFT 而言，“更多唯一的样本”并不总是更好；在固定计算量下，“更多 epoch”结合高质量的小型数据集才是更优的策略。