🤖 AI

Demystifying Data Organization for Enhanced LLM Training

本文通过形式化四条关键准则并引入两种新颖的排序方法（STR 和 SAW），解决了大语言模型训练中战略数据组织这一尚未充分探索的领域，这两种方法利用预计算的样本分数，以最小的计算开销提升训练稳定性和性能。

原作者： Yalun Dai, Yangyu Huang, Tongshen Yang, Yonghan Wang, Xin Zhang, Wenshan Wu, Qihao Zhao, Hao Li, Yuanyuan Gao, Kim-Hui Yap, Scarlett Li

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yalun Dai, Yangyu Huang, Tongshen Yang, Yonghan Wang, Xin Zhang, Wenshan Wu, Qihao Zhao, Hao Li, Yuanyuan Gao, Kim-Hui Yap, Scarlett Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位天赋异禀但速度极快的学生如何成为一位大师级厨师。你拥有一个包含 10,000 份食谱的巨大图书馆。

大多数研究人员关注的是哪些食谱应该放入图书馆（即挑选最好的那些）。但这篇论文提出了一个不同的问题：学生应该按什么顺序阅读它们？

作者们认为，如果你只是随手给学生一堆食谱，或者甚至是一堆严格按照从“最简单”到“最难”排序的食谱，他们可能会感到困惑、忘记基础知识，或者精疲力竭。相反，他们提出了一种特定的“阅读计划”，利用相同的数据但通过不同的组织方式，使学生学得更快、更好。

以下是他们思想的分解，使用了简单的类比：

问题：“单遍”挑战

想象这位学生只有时间阅读整个图书馆一次（或者最多两次）。在现实世界中，训练大型人工智能模型正是如此：它们会看到海量数据，但通常只有一两次“遍历”的机会。

如果你先给他们最难的食谱，他们会感到不知所措。如果你先给他们最简单的食谱，然后突然跳到最难的，他们可能会忘记基础。如果你连续给他们 100 份简单的食谱，他们会感到无聊并停止专注。

解决方案：优化计划的四条规则

作者们发现了四条“黄金法则”，用于组织数据以使学习更牢固。他们不需要计算新的数值；他们只是重用了已经计算好的分数，以挑选出最佳的食谱。

1. 边界锐化（“热身与冷却”规则）

核心思想： 从简单、基础的食谱开始，让学生感到舒适。最后以最具挑战性、最高质量的食谱结束，推动他们达到巅峰表现。
类比： 想象一名跑步者。你不会在马拉松开始时全力冲刺（那样会崩溃），也不会在结束时慢走（那样会失去动力）。你应该以慢跑开始热身，并以强劲的冲刺结束比赛。

2. 循环调度（“复习环节”规则）

核心思想： 不要只是从易到难单向推进且从不回头。即使在教授高级主题时，也要定期混入一些简单、基础的食谱。
类比： 想象一位音乐老师。如果他们只教你一首高难度的协奏曲，却从不让你再练习简单的音阶，你可能会忘记如何持弓。这条规则说：“每隔几天，让我们再练习一次简单的音阶，以确保你没有忘记基础。”

3. 课程连续性（“平滑斜坡”规则）

核心思想： 不要从非常简单的食谱突然跳跃到非常难的食谱。难度应该像斜坡一样平滑变化，而不是像楼梯一样阶梯式突变。
类比： 如果你正开车上山，你希望坡度平缓。如果道路突然变成垂直的悬崖，你的汽车（即人工智能）就会熄火或撞毁。这条规则确保从简单数据到困难数据的过渡是平滑的，这样学习过程就不会受到“冲击”。

4. 局部多样性（“沙拉混合”规则）

核心思想： 即使在一个小的食谱组（学生一次看到的“小批量”）中，也不要给他们 10 份完全相同的食谱。把它们混合起来！
类比： 如果你连续一周每天午餐只吃鸡肉，你会感到厌倦并错过其他营养。如果你吃一份包含鸡肉、胡萝卜、生菜和奶酪的沙拉，你就能获得均衡的一餐。在单次训练会话中混合不同类型的数据，有助于人工智能学习通用规则，而不仅仅是死记硬背某一种特定模式。

新方法："Stair"（阶梯）和"Saw"（锯齿）

基于这四条规则，作者们创建了两种组织数据的新方法：

STR（阶梯排序）： 这种方法遵循“热身”、“复习”和“沙拉混合”规则。它创建了一个难度逐渐上升但偶尔会退步以复习早期概念的计划，从而保持学习的稳定性。
SAW（锯齿排序）： 这是“超级强化”版本。它在其中加入了“平滑斜坡”规则。它不仅仅是来回踏步，而是创建了一种平滑的波浪状模式（像锯齿刀片一样），确保难度永远不会发生过于剧烈的跳跃。

结果

作者们在不同规模的人工智能模型（从小型到大型）以及不同任务（如数学和编程）上测试了这些方法。

结果： 使用这些新计划（STR 和 SAW）训练的模型，其表现优于使用随机顺序或标准“从易到难”顺序训练的模型。
效率： 他们不需要花费额外的时间或金钱来计算新的数据分数。他们只是利用已有的分数重新排列了数据。这就像拿一副已经按数字排序好的扑克牌，只需将它们洗牌成特定的图案就能赢得比赛。

总结

这篇论文并没有发明一种新类型的数据或新的人工智能模型。相反，它充当了一位聪明的图书管理员。它表明，如果你以特定且深思熟虑的顺序排列书架上的书籍——让读者热身、复习旧概念、平滑过渡并混合主题——读者（即人工智能）就能学得更快、变得更聪明，而无需任何额外资源。

技术摘要：揭秘数据组织以增强大语言模型训练

问题陈述

尽管大语言模型（LLM）已彻底变革了从编程到医疗保健等各个领域，但其训练效率仍高度依赖于有效的数据策展。大量研究集中于数据选择（获取、过滤、去重和评分），然而这些选定样本在数据集中的战略组织方式仍未得到充分探索。

当前的 LLM 训练范式通常涉及仅在大规模语料库上训练一个或几个 epoch。在这种“单次通过”（one-pass）机制下，样本呈现的时间顺序成为塑造学习轨迹的一阶因素。现有的方法如课程学习（CL）或特定的折叠策略（例如 DELT）提供了一些见解，但缺乏针对现代 LLM 约束量身定制的数据排序系统框架。此外，用于计算样本级分数（针对质量、难度或可学性）的大量计算资源通常在初始选择阶段之后被丢弃，这代表了效率上的错失良机。

方法论

核心创新：重用预计算分数

本文提出了一种框架，重用为数据效率任务生成的预计算样本级分数来组织训练数据。这种方法产生的额外计算开销极小甚至为零，因为评分函数 $g$ 已在数据选择阶段执行。

该过程正式化为三个阶段：

数据评分：评分函数 $g$ 将原始数据集 $D$ 映射为分数向量 $\gamma$ ，代表质量或难度等指标。
数据选择：选择函数基于 $\gamma$ 将 $D$ 过滤为子集 $D_{sub}$ 。
数据组织：派生自 $\gamma$ 的排列函数 $\pi$ 将 $D_{sub}$ 重新排序为优化序列 $D_{ord}$ ，而不改变数据集大小。

四项关键指导原则

通过系统分析，作者识别并形式化了优化数据组织的四项指导原则：

边界锐化（G1）：训练应从低分（简单）数据开始以稳定早期优化，并以高分（复杂）数据结束以最大化最终性能。这解决了优化边界对数据分布的敏感性。
循环调度（G2）：与其采用从易到难的严格单调 progression（这在单次通过训练中可能导致对基础知识的灾难性遗忘），该方法定期重新引入混合数据分布。这确保模型在应对复杂样本的同时保留早期概念。
课程连续性（G3）：数据属性之间的 abrupt 过渡（例如，从高分样本直接跳到低分样本）可能会冲击优化器，导致梯度方差和不稳定性。需要在分数分布之间进行平滑过渡，以维持优化动量。
局部多样性（G4）：严格按分数排序数据可能会减少小批量内的梯度多样性，导致对特定模式的过拟合。注入局部异质性（在小窗口内打乱）可以保留梯度噪声并促进可泛化特征的学习。

提出的排序策略

作者将这些指导原则实例化为两种新颖的排序算法：

STR（阶梯排序）：结合了 G1、G2 和 G4。它将排序后的数据集划分为稳定区域（单调顺序）和过渡区域。过渡区域应用**折叠排序（FO）机制以促进对早期概念的定期复习，而局部多样性则通过抖动排序（JIT）**注入。
SAW（锯齿排序）：通过纳入 G3（课程连续性）对 STR 进行泛化。它将过渡区域中的折叠机制替换为之字形排序（ZIG）。ZIG 在交替周期中反转样本顺序，确保相邻周期在分数相似的点连接，从而创建更平滑、类似三角波的轨迹，缓解属性的 abrupt 转变。

关键结果

这些指导原则和策略的有效性通过在不同模型规模（1.6 亿到 17 亿参数）、数据规模（10 亿到 500 亿 token）和训练阶段（预训练和监督微调）进行的广泛实验得到了验证。

性能提升：STR 和 SAW 在包括通用推理（ARC, PIQA, SciQ）、数学（AIME, MATH）和代码生成（HumanEval, MBPP）在内的多样化基准测试中，始终优于随机采样和传统课程学习（CL）。
- 在 FineWeb-Edu 上的预训练中，SAW 实现了38.78%的平均准确率，而随机采样为37.09%，课程学习（CL）为37.61%。
- 在 DeepMath-103K 上的监督微调（SFT）中，SAW 在 AIME24 上实现了**2.53%**的准确率，优于 CL（1.78%）和随机采样（1.30%）。
稳定性和鲁棒性：
- 遗忘缓解：对低分数据（ $D_e$ ）的困惑度分析显示，虽然 CL 在过渡到高分数据时会出现困惑度急剧反弹（表明遗忘），但 FO 和 SAW 保持了低困惑度，证实了有效的知识保留。
- 优化稳定性：梯度范数分析显示，FO 在周期边界处表现出尖锐的峰值，而 SAW 中使用的 ZIG 保持了稳定的梯度幅度，验证了课程连续性的重要性。
- 泛化能力：权重扰动分析表明，与严格排序的基线相比，使用局部多样性（JIT）训练的模型表现出更平坦的损失景观和对噪声更高的鲁棒性。
缩放定律：利用 Chinchilla 缩放定律的外推表明，数据组织带来的性能提升在投影到更大模型规模（例如 GPT-3 175B, Llama 3.1 405B）时依然存在且保持一致。

意义与主张

本文声称提供了首次针对 LLM 训练量身定制的数据组织的系统探索，超越了传统的数据选择焦点。

效率：主要意义在于通过重用现有分数来提升模型性能和训练稳定性，几乎不产生额外的计算成本。
系统框架：通过形式化四项不同的指导原则，这项工作提供了一种结构化的数据排序方法，解决了当前训练范式的具体失效模式（例如遗忘、优化冲击和过拟合）。
实际影响：所提出的 STR 和 SAW 方法被证明在不同模型容量和数据量下具有鲁棒性，表明在单次通过训练时代，数据组织是提升 LLM 效能的关键但常被忽视的杠杆。

作者承认了局限性，指出其策略的有效性取决于用于组织的现有分数的质量和相关性。他们还强调，他们的工作专注于语言模态，其他模态的无偏评估需要未来的工作。