💬 NLP

D $^3$ : Dynamic Directional Graph-Constrained Data Scheduling for LLM Training

该论文提出了 $D^3$ ，这是一个动态数据调度框架，它将样本交互建模为定向影响图，以优化训练顺序，并提高大语言模型在预训练和后训练阶段的学习效率。

原作者： Yuanjian Xu, Jianing Hao, Guang Zhang, Zhong Li

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuanjian Xu, Jianing Hao, Guang Zhang, Zhong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位才华横溢但非常刻板的、以字面意思理解指令的学生（即大语言模型）如何说话、推理和编程。你拥有一个巨大的书籍、文章和对话库（训练数据）来教导他。

长期以来，研究人员认为最重要的事情是书架上放了什么书。他们试图将“最好的”书按合适的比例混合在一起。但他们大多忽略了你递给学生的书的顺序。

这篇名为 D3 的论文认为，顺序与内容同样重要。它提出了一种新的方法来调度训练数据，将学习过程视为一场复杂的、不断变化的舞蹈，而不仅仅是一个简单的列表。

以下是 D3 工作原理的拆解，使用了简单的类比：

1. 问题所在：“非交换性”的学生

想象一下你正在教某人如何烤蛋糕。

旧方法： 你可能会想：“先教他如何打蛋，还是先教他如何搅拌面粉，这并不重要。只要他两者都学会了，就行了。”
D3 的洞察： 作者认为这是错误的。如果你在教他如何搅拌面粉之前，先教他如何打蛋，他可能会感到困惑或把事情搞砸。但如果你先教他如何打蛋，那么搅拌面粉这一步就会变得容易得多。

在 AI 世界中，这意味着 样本 A 可能会让模型更好地理解 样本 B，但前提是必须先学习样本 A。如果你调换了顺序，学习效率就会降低。论文称之为“非交换性”——数据不是可以互换的；序列创造了一条特定的学习路径。

2. 解决方案：动态地图（影响图）

为了确定最佳顺序，D3 构建了一个动态影响图 (Dynamic Influence Graph)。

类比： 想象一群徒步旅行者（数据样本）正试图攀登一座山（学习目标）。
静态地图： 旧方法使用静态地图，上面写着：“徒步者 A 很强壮，徒步者 B 很虚弱。”
D3 的动态地图： D3 意识到地形会随着攀登而变化。它会问：“如果徒步者 A 现在迈出一步，是否会让徒步者 B 稍后迈出下一步变得更容易？”
“前瞻”功能： D3 会模拟向前迈出的微小一步。它会计算：“如果我现在教模型这个特定的数据，它会在多大程度上降低下一个数据的‘困惑度’（损失值）？”
- 如果教导数据 A 让数据 B 变得容易得多，D3 就会在 A 和 B 之间画一个强有力的箭头。
- 如果教导数据 A 让数据 B 变得更难，箭头则指向相反方向。

3. 冲突：“剪刀石头布”循环

有时，数据会产生一种令人困惑的循环，就像玩“剪刀石头布”一样：

数据 A 有助于数据 B。
数据 B 有助于数据 C。
但数据 C 实际上有助于数据 A。

这创造了一个没有明显“第一步”的“循环”。

D3 求解器： D3 不会陷入僵局，而是扮演一名聪明的裁判。它观察所有的箭头，并询问：“哪条规则是最弱的？”它决定打破链条中最薄弱的一环，从而创造出一条平滑的、线性的路径。它优先考虑最强的关系，并牺牲最弱的关系，以保持训练高效推进。

4. 效率技巧：“草图”

计算这些关系对于数十亿个数据点来说极其沉重，就像为了建造一座城堡而去测量海滩上每一粒沙子的精确重量一样。这会耗费太长时间。

D3 使用了一种聪明的捷径，称为梯度压缩 (Gradient Compression)：

类比： D3 不是去称量每一粒沙子的重量，而是提取数据的“草图”或“影子”。它将复杂的高维数学投影到一个更简单的、低维的空间中。
结果： 它可以在不做繁重计算的情况下，获得对这些关系的极佳近似。这使得该系统可以在大规模模型上运行而不会导致计算机崩溃。

5. 结果：更好的学习路径

作者在两个主要阶段测试了这种方法：

预训练 (Pre-training)： 教导模型语言的基础知识。
后训练/微调 (Post-training/Fine-tuning)： 教导模型特定的技能，如数学或编程。

结果：

更聪明的学习： 通过遵循“D3 路径”，模型学习得更快，犯错更少（更低的“困惑度”），相比于那些只是随机打乱数据或遵循简单规则的模型。
更好的推理能力： 模型在处理复杂任务（如解决数学问题 MATH 数据集和编写代码 HumanEval）时表现显著提升。
高效率： 即使需要额外的数学计算来确定顺序，该系统仍然足够快，具有实用价值。

总结

可以将 D3 视为 AI 模型的私人导游。

旧方法只是把一堆书扔给学生，然后说：“把它们都读了。”
D3 会观察学生的当前状态，检查哪本书能最好地帮助他理解“下一本书”，并将整个图书馆排列成一个完美的、逻辑严密的序列。它确保学生循序渐进地构建知识，使每一步都能自然地为下一步做好准备，从而培养出一个更聪明、更有能力的 AI。

技术摘要：D3 —— 用于 LLM 训练的动态定向图约束数据调度

1. 问题定义

大语言模型（LLM）的优化高度依赖于训练数据，然而现有的数据调度策略主要侧重于调整整体的数据分布（例如领域重加权或样本选择），却忽略了训练过程中训练样本之间动态且具有方向性的相互作用。

作者认为，训练数据是非可交换的；样本呈现的顺序会显著影响收敛速度和最终性能，因为早期的样本可以为后续样本提供“预热（priming）”。虽然经验研究证实了数据排序的重要性，但目前的调度方法在很大程度上仍停留在启发式阶段，缺乏一种有原则的、基于优化的方法来量化并利用这些不断演变的相互作用。核心挑战在于如何对这些动态的训练单元交互进行形式化建模，从而在不产生过高计算成本的前提下推导出最优的数据调度方案。

2. 方法论：D3 框架

所提出的 D3（动态、定向图约束的数据调度）框架将数据调度重新定义为一个基于动态影响图的约束优化问题。

2.1. 训练影响预测

D3 引入了一个指标，用于预测如果使用另一个批次的梯度来更新模型时，当前批次的损失会如何变化。

定义： 给定模型参数 $\theta(t)$ ，批次 $B_i$ 对批次 $B_j$ 的影响定义为在假设使用 $B_i$ 进行梯度步更新后， $B_j$ 损失的变化量：
$I_{i \to j}(t) := \ell(B_j; \theta(t) - \gamma \nabla_\theta \ell(B_i; \theta(t))) - \ell(B_j; \theta(t))$
其中 $\gamma$ 是一个前瞻参数（look-ahead parameter）。
非对称性： 通过二阶泰勒展开，作者表明虽然一阶影响是对称的，但二阶项（涉及 Hessian 矩阵）是非对称的。这种非对称性捕捉到了方向性依赖关系，即先训练 $B_i$ 后训练 $B_j$ 的结果可能与相反顺序的结果不同。

2.2. 动态影响图构建

在每个训练步 $t$ ，D3 构建一个有向加权图 $G(t)$ ：

节点： 训练批次。
边：如果影响 $I_{i \to j}(t) \neq 0$ ，则存在有向边 $(i, j)$ ，权重代表影响的大小。
优势矩阵： 为了确定最优顺序，D3 计算一个方向优势矩阵 $S^{(t)} = A^{(t)\top} - A^{(t)}$ ，其中 $S^{(t)}_{ij} > 0$ 表示在 $j$ 之前训练 $i$ 是有益的。

2.3. 约束优化

目标是找到一个批次的排列 $\pi$ ，使违反方向优势的总惩罚最小。形式上，该问题为：
$\sigma^* = \arg \min_{\sigma \in S_K} \sum_{i \neq j} \max(0, S^{(t)}_{ij}) \cdot \mathbb{I}[\sigma(j) < \sigma(i)]$
这旨在寻找一个线性排序，即使在存在循环（冲突）的情况下，也能遵循图中强度最大的方向偏好。

2.4. 高效求解与可扩展性

由于对于大规模 $K$ 而言，精确求解在组合数学上是难以处理的，D3 采用了两种关键策略：

随机交换细化（Random-Swap Refinement, RSR）： 一种轻量级求解器，它从基于优势矩阵行和的初始排序开始，通过随机两两交换来迭代优化，以减少违反成本。
大规模训练的近似方法：
- 分块内部重排序： D3 不是重新排列整个数据集，而是采样一个小规模的批次块 $L$ 并优化其内部顺序，而保持其余部分相对不变。
- 梯度压缩： 为了处理高维梯度（ $d \sim 10^9$ ），D3 使用随机投影（Johnson-Lindenstrauss）将梯度压缩为低维草图（sketch）。
- Hessian 近似： 二阶项使用带有对角 Hessian 的 Hutchinson 估计进行近似，从而避免全量 Hessian 计算。

3. 核心贡献

数据调度的形式化： D3 是第一个将序列排序形式化为动态训练影响图上的优化问题的框架，明确建模了批次之间非对称的二阶交互。
理论洞察： 该工作揭示了非对称训练单元交互决定了结构化训练序列的必要性，填补了传统以分布为中心、假设数据可交换性的方法空白。
可扩展实现： 该框架包含一种高效的近似算法（结合梯度压缩的 RSR），使大规模 LLM 训练的计算开销保持在可控范围内。

4. 实验结果

作者在 GPT-2 和 LLaMA 架构上，利用 SlimPajama 和 The Pile 等数据集，在预训练和后训练（监督微调，SFT）阶段对 D3 进行了评估。

预训练： D3 优于样本级（如 Dynamic Loss）和领域级（如 DoReMi, RegMix）基准模型。
- 与最强基准相比，实现了 4.2% 的相对困惑度（perplexity）降低。
- 在常识推理基准测试中表现出显著增益，特别是 OBQA (+10.1%) 和 COPA。
后训练 (SFT)： 与静态课程学习策略（由易到难或由难到易）以及标准的多任务学习（MTL）相比，D3 在复杂推理和编程任务上展示了卓越的性能。
- MATH： 提升了 11.4%。
- HumanEval： 提升了 8.0%。
消融研究：
- 影响估计： 使用对角 Hessian（基于 Sophia）至关重要。一阶对称方法带来的收益有限，而 Fisher 信息矩阵方法在捕捉瞬时非对称交互方面不如基于 Hutchinson 的对角 Hessian 有效。
- 求解器： Random-Swap Refinement (RSR) 求解器在测试的求解器（Row-Sum, Greedy Insertion）中产生了最低的困惑度。
- 超参数： 在梯度投影维度 $k \approx 3500$ 且调度窗口大小 $L=60$ 时，达到了最优性能。

5. 重要性与主张

论文声称 D3 为以数据为中心的 LLM 训练提供了一个**路径依赖（path-dependent）**的视角，证明了“模型何时学习”与“学习什么”同样重要。

超越静态混合： 不同于静态混合方法，D3 在结构化约束下导航数据流形，优先考虑能够增强后期复杂推理任务性能的基础知识过渡。
效率与性能的平衡： 该框架在领域专业化和多任务泛化之间取得了平衡。虽然它会带来相对的训练开销（由于高保真估计，每步成本增加了约 89%），但作者认为，考虑到在收敛质量和最终模型性能方面的实质性提升，这是值得的。
局限性： 作者承认，可以通过先进的梯度流技术进一步压缩资源消耗，且目前的理论收敛保证是基于简化的线性回归代理进行的，需要在高维非凸 Transformer 景观中进行进一步研究。