🤖 machine learning

Removing Noise, not Finding Gold: Quality Filtering for Large-Scale Pretraining

本文通过揭示基于分类器的质量过滤（CQF）其有效性源于对高质量和低质量数据的隐式过滤，而非仅仅识别“金标准”，并引入了一种可以通过小规模代理实验进行可靠估计的优化驱动型数据质量指标，从而对 CQF 进行了分析。

原作者： Thiziri Nait Saada, Louis Bethune, Michal Klein, David Grangier, Marco Cuturi, Pierre Ablin

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Thiziri Nait Saada, Louis Bethune, Michal Klein, David Grangier, Marco Cuturi, Pierre Ablin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正试图烹饪出一碗完美汤品的厨师。你有一个装满各种食材的大垃圾桶（互联网），还有一个装有高级香料的小巧精致的盒子（高质量数据）。

AI 界一直存在一种普遍观点：“为了做出最好的汤，我们应该尝试让垃圾桶里的食材尝起来和高级香料一模一样。”

这篇题为**《去除噪声，而非寻找黄金》（Removing Noise, not Finding Gold）**的论文认为，这种观点是错误的。事实证明，制作出一碗好汤的秘诀不在于模仿香料，而在于果断地扔掉垃圾。

以下是他们研究结果的拆解，通过日常类比进行了解释。

1. 旧方法：“模仿陷阱”

多年来，AI 工程师一直使用一种叫做**基于分类器的质量过滤（Classifier-based Quality Filtering, CQF）**的方法。它是这样运作的：

他们取一小部分“完美”的数据（比如维基百科文章或精选书籍）。
他们训练一台计算机来识别什么是“完美”。
然后，他们扫描海量的、混乱的互联网数据，只保留那些看起来最像这组“完美”数据的片段。

其假设是：如果我们保留那些看起来像高质量数据集的数据，我们的 AI 就会学得更好。

2. 惊喜：AI 并不在乎是否看起来像“好东西”

研究人员测试了这个假设，并发现了一个悖论。

结果： 当他们使用 CQF 时，AI 在处理现实任务（如回答问题）时表现得更出色。
转折： 然而，AI 在预测“高质量”数据集本身的下一个词时，并没有变得更好。事实上，有时甚至变得更差了。

类比： 想象你正在训练一名学生通过数学考试。你给他们做那些看起来和教科书示例完全一样的练习题。令人惊讶的是，这个学生在面对教科书题目时表现平平，却在实际考试中取得了优异成绩。为什么？因为“教科书示例”中包含了一些无聊、重复的废话，这些内容对于学习其实并无帮助。考试测试的是“理解力”，而不仅仅是“对教科书风格的记忆”。

3. 真正的秘密：关键在于过滤掉“坏的”，而非复制“好的”

论文揭示了 CQF 有效的原因并不是因为它找到了“黄金”（看起来像高质量数据的内容），而是因为它移除了“噪声”（看起来像混乱互联网的内容）。

分类器不仅仅是在说：“这看起来像维基百科。” 它其实是在说：“这看起来不像随机的互联网垃圾。”

隐喻： 这就像是在清理房间。

旧观点： “我们需要让凌乱的房间看起来和博物馆的陈列品一模一样。”
新观点： “我们只需要把垃圾扔掉。剩下的东西可能看起来不像博物馆的陈列品，但它们足够干净，可以被利用。”

论文表明，CQF 隐含地过滤了“高质量”集本身。它倾向于选择高质量数据中那些与混乱数据具有差异性的部分。这不是关于模仿，而是关于对比。

4. 令人震惊的发现：CQF 可以超越“优质”数据

这是论文中最引人注目的部分。通常，人们会花费数百万美元去收集更多的“高质量”数据，因为他们认为那是圣杯。

研究人员证明，使用经过 CQF 过滤的互联网数据进行训练，实际上可以超越使用高质量数据本身的训练效果，即使你拥有足以充分训练模型的足够高质量数据。

类比： 想象你有两种学习吉他的方式：

只研读贝多芬的乐谱（高质量数据）。
研读贝多芬和随机民谣歌曲的混合体，但只学习那些明显不是噪声的部分（CQF 数据）。

论文指出：方案 2 可能会让你成为比方案 1 更出色的音乐家。 为什么？因为“仅限贝多芬”的方法可能过于狭隘，或者包含微妙的偏见。CQF 方法给了你一个更广泛、更干净的技能集，从而能更好地泛化到新的情境中。

5. 对“质量”的新定义：“数据调节”（Data-Conditioning）

作者认为我们需要一种新的定义方式来定义“质量”。他们称之为**“数据调节”（Data-Conditioning）**。

旧定义： 质量 = 它在多大程度上看起来像优质数据集。
新定义： 质量 = AI 从中学习的难易程度。

隐喻： 把“数据调节”想象成土壤的质地。

坏数据： 多石、坚硬的土壤。即使你种下最好的种子，植物也会生长艰难。
好数据： 柔软、肥沃的土壤。植物会长得轻松且强壮。

论文显示，CQF 并不一定创造了这种新意义上的“肥沃土壤”。它只是移除了石头。但作者指出，我们可以通过在投入数百万美元训练大型模型之前，利用小型、廉价的实验来衡量这种“土壤肥力”。

总结：我们应该从中汲取什么教训？

不要试图复制“好”的数据。 不要试图让你的训练数据看起来完全像维基百科或精选书籍。
开始积极地移除“坏”的数据。 过滤的价值在于剔除噪声，而非筛选黄金。
更多的“高质量”数据并不总是更好的。 有时，一个经过聪明过滤的“混乱集合”比纯粹的精选集更好。
利用小规模测试。 你可以通过在小型模型上进行测试，利用这种新的“数据调节”指标，来预测数据的有效性。

简而言之：不要寻找黄金。只需清扫地面。

技术摘要：去噪而非寻金：大规模预训练中的质量过滤

问题陈述

大规模语言模型通常在海量的、通过网络爬取的混合质量文档数据集（低质量或 LQ 集）上进行预训练。为了提高下游性能，从业者采用基于分类器的质量过滤（Classifier-based Quality Filtering, CQF）。这种方法训练一个二元分类器，用以区分一个小规模、精选的高质量（High-Quality 或 HQ）集（例如维基百科、书籍）与低质量（LQ）集。LQ 集中的文档根据其属于 HQ 集的概率进行评分，只有得分最高的比例（ $k$ ）会被保留用于预训练。

尽管 CQF 已广泛应用于 GPT-3、LLaMA 和 PaLM 等模型的流水线中，但其底层机制仍未得到充分理解。普遍的假设是，CQF 通过选择与 HQ 分布相似的数据来改善模型。本文对这一假设提出了质疑，探讨了 CQF 是否真的在选择与 HQ 集相似的数据，增加 HQ 数据是否始终是最佳策略，以及 CQF 定义的“质量”分数是否反映了一种有原则的质量概念。

研究方法

作者通过以下方法对 CQF 进行了深入的实证和理论分析：

实验设置：
- 数据集： LQ 集为 RedPajama-V2（32T token）。使用了多种 HQ 集，包括 OpenOrca、KnowledgePile、OpenHermes、ELI5 和 ARC-Easy。
- 流水线： 将文档嵌入（使用 sBert），并训练一个逻辑回归分类器来区分 HQ 与 LQ 的嵌入。通过保留基于分类器得分的前 $k$ 比例的文档来过滤 LQ 集。
- 评估： 对在过滤后的数据集上进行预训练的模型（350M 参数）进行评估，评估指标包括下游基准测试（ARC-Easy、ARC-Challenge、MMLU、Reward Bench）以及在 HQ 集本身上的表现（通过下个 token 预测损失）。
理论分析：
- 作者在假设贝叶斯最优分类器的前提下分析了 CQF 分数函数 $s(x)$ ，表明它是一个关于似然比 $p_{HQ}(x) / p_{LQ}(x)$ 的单调函数。
- 他们将 CQF 与重要性采样（特别是 CRISP 方法）进行了比较，后者试图直接重采样 LQ 集以匹配 HQ 分布（ $p_{HQ}(x)$ ）。
数据调节框架（Data-Conditioning Framework）：
- 论文引入了一个新的质量定义，称为数据调节（data-conditioning）：如果一个在 $D_{clean}$ 上训练的模型比直接在 $D_{dirty}$ 上训练的模型在 $D_{dirty}$ 上的损失更低，则称数据集 $D_{clean}$ 比 $D_{dirty}$ “具有更好的调节性”。
- 该属性通过半合成数据集（通过排列 token 来模拟噪声）和 CQF 筛选的子集进行了测试，以观察“更高质量”的子集是否能一致地加速在“较低质量”分布上的学习。

核心结果

1. CQF 悖论：下游增益 vs. HQ 建模

研究揭示了一个反直觉的现象：虽然 CQF 持续提升下游任务性能，但它并不一定会提高在 HQ 集本身的语言建模性能。

对于大多数 HQ 集（如 OpenOrca、KnowledgePile），减少选择比例 $k$ 会提高下游准确率，但会增加在 HQ 集上的损失，呈现出 U 型曲线。
这与 CQF 通过使训练分布接近 HQ 分布来发挥作用的观点相矛盾。

2. 对 HQ 集的隐式过滤

作者通过证明 CQF 对 HQ 集本身进行了隐式过滤来解释这一悖论。

CQF 选择的是既可能属于 HQ 分布、又不太可能属于 LQ 分布的文档。
因此，CQF 上调了 HQ 集中那些“远离” LQ 集的部分（即 HQ 集中最“干净”的部分）的权重，并下调了那些与嘈杂 LQ 集相似的 HQ 文档的权重。
通过根据 CQF 得分将 HQ 集划分为十分位数进行的实验表明，使用 CQF 训练的模型在 HQ 集的高分十分位部分表现最好，而随着 $k$ 的减小，其在低分十分位部分的表现则会下降。

3. CQF 与重要性采样

与重要性采样（CRISP）相比：

重要性采样成功地最小化了在 HQ 集上的损失（模仿了 HQ 分布），但在下游基准测试中未能超越 CQF。
CQF 在下游任务上优于重要性采样，因为它隐式地过滤了 HQ 集，使其更好地与评估基准对齐，而不仅仅是简单地模仿 HQ 分布。

4. CQF 优于直接使用 HQ 训练

即使将 HQ 集扩展到足以进行大规模训练的规模（消除了数据稀缺问题），使用 CQF 过滤后的数据进行训练仍然优于直接使用扩展后的 HQ 集。

在一项实验中，利用基础 HQ 集通过 CQF 生成了一个更大的“无限量” HQ 集，随后对该新集进行一次 CQF 处理后得到的模型，在 ARC-Easy 上的准确率为 53.8%，而直接在扩展后的 HQ 集上训练的模型准确率为 50.1%。
这表明 CQF 是一个分布塑造算子，能够创建优化效率更高的数据集，而不仅仅是一种近似 HQ 数据的机制。

5. CQF 质量概念的局限性

论文测试了 CQF 的质量分数是否满足数据调节属性。

在通过控制质量（例如通过 token 排列）的半合成实验中，数据调节属性成立：在“更干净”的数据上训练可以提高在“更脏”数据上的性能。
然而，由 CQF 筛选出的子集未能表现出数据调节性。在“前 $k$ ”个 CQF 子集上训练并不能普遍加速在较低质量子集上的学习。
这意味着 CQF 捕捉到的质量概念与风格或领域相似性（与基准对齐）有关，而非一种根本性的优化优势。

意义与主张

本文旨在阐明 CQF 的机制并深化对数据选择方法的理解。其主要贡献包括：

机制洞察： CQF 不仅仅是选择类似于 HQ 集的数据；它通过隐式过滤 HQ 集，强调了那些与嘈杂 LQ 集截然不同的样本。这种“去除噪声”的机制比“寻找黄金”（模仿 HQ 分布）更为关键。
数据增强的实用替代方案： 作者挑战了投入巨大资源来增强 HQ 数据集的策略。他们证明了 CQF 可用于改进现有的 HQ 集，提供了一种构建性能超越 HQ 分布本身的训练分布的可扩展策略。
新的质量度量： 论文提出了数据调节作为一种基于优化驱动的原则性数据质量定义。它证明了可以使用小型代理模型可靠地估计该指标，从而为在大规模训练前评估数据选择策略提供实用的工具。
重新定义 CQF： 作者总结道，CQF 应被视为一种在大规模范围内去除坏数据并与下游评估对齐的工具，而非一种重建 HQ 分布中“黄金”子集的手段。

本文在讨论未来影响时保持了克制的语气，专注于解释观察到的现象并为数据策展流水线提供直接的实践指导。