💬 NLP

Spokes: Optimizing for Diverse Pretraining Data Selection

该论文介绍了 SPOKES，这是一个通过使用 G-Vendi 分数和指数梯度下降直接优化数据多样性的概率多样化框架，并证明了同时针对质量和多样性进行预训练数据选择的方法，在下游性能方面显著优于现有基准和随机采样。

原作者： Clarence Lee, Yejin Choi, Luke Zettlemoyer, Pang Wei Koh, Hai Leong Chieu

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Clarence Lee, Yejin Choi, Luke Zettlemoyer, Pang Wei Koh, Hai Leong Chieu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正试图用有限的食材（数据）创造出一场完美、盛大的饕餮盛宴（预训练 AI 模型）的大厨。你的仓库里有数百万份食谱，但你只能使用其中特定数量的食谱进行烹饪。

核心问题是：你应该挑选哪些食谱？

大多数大厨（AI 研究员）有两种主要的挑选方式：

随机抓取一把： 你可能会得到不错的组合，但也可能不小心选了 50 个味道完全一样的“香辣鸡肉”食谱。这太枯燥且重复了。
只挑选评分最高的食谱： 你过滤掉了差的食谱，但你可能会得到 50 个全是“高端法式料理”的食谱。你会缺失多样性，比如街头小吃、甜点或汤品。你会缺乏多样性。

这篇论文介绍了一个名为 SPOKES 的新工具（其名称代表一种优化数据多样性的方法）。以下是它的工作原理，通过简单的解释说明：

问题所在：“多样性”难以衡量

作者说，“多样性”就像轮子的辐条。如果所有的辐条都挤在一起，轮子就会失衡，无法滚动。你希望辐条（你的数据）能均匀地分布在圆周各处。

问题在于，你不能仅凭一份食谱来判断它是否具有多样性。你必须观察每一份食谱是如何与每一份其他食谱相互作用的。如果你试图检查所有可能的食谱组合，以寻找完美的轮子，那将耗时比宇宙的寿命还要长。这在计算上太难了。

解决方案：SPOKES

SPOKES 不仅仅是靠猜测或使用简单的规则（比如“按主题分组”），它使用一种聪明的数学技巧来直接针对多样性进行优化。

1. “梯度”指南针
SPOKES 不仅仅是阅读文本内容（这就像看书的封面），它观察的是食谱如何改变大厨的大脑。在 AI 术语中，这被称为“梯度”。

想象两份食谱：一份蛋糕食谱和一份披萨食谱。
如果你教大厨做蛋糕，他们的大脑会向一个方向转变。
如果你教他们做披萨，他们的大脑会向完全不同的方向转变。
SPOKES 测量这些“大脑转变”。它希望挑选那些能让大厨的大脑向尽可能多样的方向推动的食谱，从而确保大厨学习到广泛的技能。

2. “辐条”类比
该方法将数据视为轮子的辐条。它使用一个叫做 G-Vendi 分数 的数学分数来衡量辐条分布得是否均匀。

随机采样： 辐条是杂乱且堆积在一起的。
SPOKES： 它重新排列辐条，使其像完美的自行车轮一样，间距完美且均匀。

3. “质量”与“多样性”的平衡
有时，你只想追求最高质量的食谱（质量过滤）；有时，你想要最多的多样性（多样性）。SPOKES 让你可以将这两个目标结合起来。

你可以告诉 SPOKES：“我要 90% 的多样性和 10% 的质量，”或者“我要两者的完美平衡。”
论文发现，最好的结果来自于平衡两者。这就像你的菜单既有最高评价的菜肴，又有极其丰富的菜系，而不是只有顶级的法式料理。

他们发现了什么？

作者在两个大规模互联网文本库（称为 DCLM 和 FineWeb）上进行了测试。

更好的多样性： 当他们使用 SPOKES 挑选 500,000 份文档时，其“多样性分数”比随机挑选高出了 489 点。现有的方法（如仅仅是去除重复项）仅实现了微小的 7 点提升。
更聪明的 AI： 当他们用 SPOKES 挑选的数据训练一个小型 AI 模型（LLaMA-1B）时，该模型变得更聪明了。
- 在 DCLM 数据集上，性能提升了 1.5 点。
- 在 FineWeb 数据集上，性能提升了 1.4 点。
令人惊讶的发现： 即使 SPOKES 挑选的数据在“质量评分”（根据标准过滤器）方面略低，AI 的表现依然更好。这证明了多样性与质量同样重要。一套由“还可以”的食谱组成的多元化菜单，比一套虽然“完美”但千篇一律的食谱能教会大厨更多知识。

核心结论

SPOKES 是一种新的 AI 训练数据选择方法。它不是简单地挑选“最好”或“随机”的数据，而是通过数学手段确保数据像轮辐一样分布均匀。这创造了一个更平衡、更多样且最终更聪明的 AI 模型，即使在数据量有限的情况下也是如此。

技术摘要：SPOKES —— 为多样化预训练数据选择进行优化

1. 问题陈述

数据多样性是构建预训练语料库的关键因素，因为它能减少冗余并在固定的数据预算下提高下游性能。然而，优化多样性本质上是困难的，因为多样性是一个集合级属性（set-level property），取决于数据点之间的相互作用，而非单个样本。由于子集选择具有组合爆炸的特性，特别是在预训练规模下，直接优化多样性在计算上是难以实现的。

现有方法通常依赖于代理或近似手段，例如粗粒度的聚类（按主题、技能或无监督聚类）或语义去重。虽然这些方法能确保类别的代表性，但它们依赖于低分辨率的分区，往往无法捕捉长尾或代表性不足的知识中的信息。此外，现有方法通常将多样性指标（如 G-Vendi 分数）视为事后评估工具，而非优化目标。本研究解决的核心挑战在于：如何在不依赖于无法扩展或无法捕捉细粒度多样性的启发式方法的情况下，从大规模预训练语料库中可靠地提取多样化的子集，以提升下游结果。

2. 方法论：SPOKES

作者引入了 SPOKES（Spokes: Optimizing for Diverse Pretraining Data Selection），这是一个通过在概率多样化框架内直接使用 G-Vendi 分数 来优化多样性的可扩展框架。

2.1 核心目标

该方法将数据选择建模为一个全局优化问题，旨在同时最大化质量（quality）和多样性（diversity）。给定一个包含 $n$ 个样本的数据集，目标是选择一个大小为 $k$ 的子集 $S$ ，使得下式最大化：
$\max_{S \subseteq [n], |S|=k} \alpha \ln \left( \frac{1}{k} \sum_{i \in S} q_i \right) + (1 - \alpha) \ln \text{Vendi}(K_S)$
其中：

$q_i$ 代表样本 $i$ 的质量得分（例如，来自 FineWeb-Edu 分类器）。
$K_S$ 是限制在所选子集上的相似性核（similarity kernel）。
$\alpha \in [0, 1]$ 是一个可调参数，用于控制质量与多样性之间的权衡。

2.2 基于梯度的多样性 (G-Vendi)

不同于使用静态嵌入（embeddings）的传统方法，SPOKES 在**梯度空间（gradient space）**中运行。它使用代理模型计算每个数据点相对于模型参数 $\theta$ 的梯度 $\nabla_\theta \ell(x_i)$ 。G-Vendi 分数通过检查由这些梯度构建的相似性矩阵之谱（spectrum）的熵来衡量多样性。这种方法鼓励表示向量之间的正交性，从而减少更新方向的冗余，并促进更独立、更具信息量的优化步骤。

2.3 通过指数梯度下降进行优化

为了解决组合子集选择问题，SPOKES 采用了**松弛优化（relaxed optimization）**策略：

连续松弛（Continuous Relaxation）： 不进行离散选择，而是为每个数据点分配一个连续的非负权重向量 $w$ ，并受单纯形约束（ $w \in \Delta_n$ ）。
核构建（Kernel Construction）： 定义一个与权重相关的核 $K(w)$ ，其条目通过 $\sqrt{w_i w_j}$ 进行缩放。
优化（Optimization）： 使用**指数梯度下降（exponentiated gradient descent）**来优化目标函数。在每次迭代中，通过 $w_i^{(t+1)} \propto w_i^{(t)} \exp(-\eta g_i^{(t)})$ 更新权重，并进行归一化以防止权重坍缩到少数高权重样本上。
离散恢复（Discrete Recovery）： 收敛后，通过选择学习到的权重向量中前 $k$ 个最大的条目来恢复最终的子集。

2.4 可扩展性增强

为了使该方法在预训练规模下可行，作者实施了几种效率策略：

截断梯度（Truncated Gradients）： 该方法不计算全模型梯度，而是仅使用最后 $n$ 层 Transformer 层（通常为 2 层）来近似梯度。这显著降低了计算成本，同时保留了相似性核的结构。
Johnson-Lindenstrauss (JL) 投影： 为了处理高维梯度向量（例如 2 亿参数），作者应用随机投影（Rademacher 矩阵）来降低维度。实验结果表明，即使是低维投影（例如 $k=1024$ ），也能保持极高的子集稳定性（与高维参考值有 95.5% 的重叠）。
并行化（Parallelization）： 数据集可以被划分为独立的子集进行独立优化，从而实现线性加速。

3. 核心贡献

SPOKES 框架： 引入了一种可扩展的、原则性的多样性优化技术，能够高效地应用于现代预训练数据集规模，超越了启发式聚类。
直接 G-Vendi 优化： 证明了 G-Vendi 分数可以通过指数梯度下降进行直接优化，从而提取高度多样化的子集，而不仅仅是作为事后指标。
质量-多样性联合优化： 证明了联合优化质量与多样性比单独优化其中之一或使用标准基准方法能获得更优的结果。
效率改进： 验证了截断梯度计算和通过 JL 投影进行的降维处理，使得该方法能够在不产生过高计算成本的情况下扩展到海量语料库。

4. 实验结果

该方法在两个大规模预训练语料库上进行了评估：DCLM（经过严格过滤的 Dolmino 子集）和 FineWeb（过滤程度较低）。模型基于 LLaMA-1B 架构，在 1000 亿 token 上从头开始预训练。

4.1 多样性指标

G-Vendi 分数提升： 在 50 万个样本的子集上，与随机采样相比，SPOKES 实现了 +489 点 的 G-Vendi 分数提升。相比之下，语义去重（SemDeDup）仅实现了 +7 点的提升。
批次多样性（Batch Diversity）： 在整个训练过程中，由 SPOKES 选择的批次始终保持着更高的平均多样性得分（在 DCLM 上从 315 增加到 520），而随机采样则表现较低。

4.2 下游性能

评估在 OLMES 套件的 10 个英文基准测试上进行。

仅多样性（Diversity-Only）： 与随机采样相比，SPOKES（仅多样性）使平均下游性能提升了 +0.4 (DCLM) 和 +0.5 (FineWeb) 点。
联合优化（Joint Optimization）： 通过联合优化质量和多样性取得了最强劲的结果。SPOKES 相比随机采样实现了 +1.5 (DCLM) 和 +1.4 (FineWeb) 点的提升，超越了包括语义去重和仅质量过滤在内的所有基准方法。
互补优势： 结果表明，质量和多样性捕捉的是不同但互补的属性。虽然质量过滤在知识密集型基准（如 MMLU）上表现出色，但多样性优化提升了常识推理能力（如 HellaSwag）。联合优化弥合了这一差距，在所有任务中均表现出竞争力。

5. 意义与主张

本文声称，直接优化多样性既是可扩展的，也是在实践中有益的。通过摆脱粗粒度的近似和启发式方法，SPOKES 证明了：

多样性是一个关键维度： 即使没有显式的质量监督，优化多样性本身也能带来持续的收益，这表明数据的多样化梯度表示能改善泛化能力。
质量指标是不充分的： 标准的质量指标无法完全捕捉数据的效用。联合优化多样性可以提供互补的训练信号，从而导致更好的下游性能，即使所选子集的平均质量得分低于仅质量过滤的基准。
可扩展性： 所提出的方法成功地从大规模预训练语料库中提取了稠密且高度多样化的子集，为现有的依赖语义去重或随机采样的选择流程提供了一个可行的替代方案。

作者将 SPOKES 定位为构建高质量且多样化子集的工具，强调多样性的收益能够可靠地跨越具有不同过滤机制和噪声特征的数据集进行转化。