💬 NLP

SEDD: Scalable and Efficient Dataset Deduplication with GPUs

SEDD 是一个高性能、GPU 加速的大规模数据集去重框架，它通过用流式方法替代数据洗牌并优化哈希函数，在保持高保真度的同时实现了高达 375 倍的加速，显著优于现有的 CPU 和 GPU 工具。

原作者： Youngjun Son, Chaewon Kim, Jaejin Lee

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Youngjun Son, Chaewon Kim, Jaejin Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过给一位天才学生（人工智能）提供一座庞大的图书馆供其阅读来教导它。然而，这座图书馆存在一个问题：里面塞满了成千上万本相同的故事书，只是字体略有不同或改动了几个词。如果学生把同一个故事读上一千遍，他们就会浪费时间反复记忆，而不是学习新事物。他们甚至可能开始认为，那个故事才是唯一重要的事情。

为了解决这个问题，你需要一位图书管理员来遍历图书馆，找出所有重复的书籍，并将多余的副本扔掉。这个过程被称为数据集去重。

你提供的这篇论文介绍了一位名为SEDD的全新、超高速图书管理员。以下是其工作原理的简单解释：

旧方法：缓慢且疲惫的图书管理员

在 SEDD 出现之前，主要有两种完成这项工作的方法：

CPU 方法（人类图书管理员）： 这就像一位非常谨慎的人类，在图书馆中穿梭，阅读每一本书，并逐一进行比较。这种方法准确但极其缓慢。如果你拥有一个规模相当于整个互联网（数万亿个单词）的图书馆，这位人类需要花费数年时间才能完成。
GPU 方法（计划糟糕的快速机器人）： 英伟达（NVIDIA）创造了一个名为 NeMo Curator 的机器人，它的阅读速度远快于人类。然而，这个机器人有一个缺陷：每次需要比较两本书时，它都必须物理地在不同房间之间来回奔跑去取书，在地板上写笔记，并整理成堆的纸张。这种“来回奔跑”（称为数据洗牌）浪费了太多时间，以至于机器人的超快速度往往只是浪费在排队等待上。

新方法：SEDD（超级高效的图书管理员）

这篇论文的作者构建了SEDD，这是一个专为在强大的计算机芯片（即GPU，与高端电子游戏使用的芯片相同）上运行而设计的新系统。他们通过三个巧妙的技巧解决了机器人的问题：

1. “滚动”印章（更智能的哈希）

为了找出重复项，系统必须将每一本书转化为独特的“指纹”（代码）。

旧方法： 想象用沉重且缓慢的墨印给书的每一页盖章。
SEDD 的方法： SEDD 使用“滚动印章”。如果你有一句话叫“猫坐着”，而下一句是“猫坐在垫子上”，SEDD 不会重新给整句话盖章。它只需擦掉“猫”并给“坐在垫子上”部分盖章。它重用了刚刚完成的工作。这使得生成指纹的速度比旧的计算机方法快 375 倍。

2. “无洗牌”流水线（流式处理）

这是 SEDD 最大的创新。

旧方法： 机器人会收集所有书籍，将它们在地面上整理成堆，走开，再回来重新整理，然后写下结果。这是一个不断移动沉重箱子的循环。
SEDD 的方法： SEDD 采用流式方法。想象一条传送带。当书籍在传送带上移动时，机器人抓取它们，进行检查，并立即将重复项扔进垃圾桶。它从不先停下来整理整堆书。它还能同时做两件事：在检查一本书的同时，它已经在将下一本书拉上传送带。这消除了拖慢之前机器人的“来回奔跑”。

3. “尺寸完美”的箱子（智能桶）

在整理书籍时，你需要箱子。如果箱子太多，你会花一整天时间往返于它们之间；如果箱子太少，箱子就会溢出并变得杂乱无章。

SEDD 使用一种特殊的数学技巧，自动计算出针对其正在处理的特定规模图书馆的完美箱子数量。这确保了机器人始终忙碌，从不等待箱子清空。

结果：它有多快？

该论文在包含数百万份文档和数万亿个单词的庞大图书馆（数据集）上测试了 SEDD。

对比人类（CPU）： SEDD 快158 倍。
对比之前的机器人（GPU）： SEDD 快7.8 倍。
重大胜利： SEDD 仅使用 32 块强大的图形卡组成的集群，就在3 小时内清理了一个包含1.2 万亿个单词的图书馆（这是用于训练人工智能的海量数据）。

它是否遗漏了任何重复项？

速度固然重要，但准确性同样关键。如果图书管理员误将一本独特的书扔掉，学生就会失去知识。

论文表明，SEDD 极其准确。它找到重复项的比例与缓慢、谨慎的人类方法相比，95% 或更高的情况下是一致的。
当他们使用经 SEDD 清理过的书籍来测试人工智能学生时，该学生的表现与使用较慢、较旧方法清理过的书籍训练的学生一样好（甚至更好）。

总结

SEDD就像是将图书馆清洁团队从手持剪贴板的缓慢人类，升级为一条高速装配线机器人。它永不停歇，重复利用自己的工具，并且确切知道如何整理书架而从不感到疲倦。它使得为大型人工智能模型准备数据变得快速、廉价且高效。

技术摘要：SEDD——基于 GPU 的可扩展且高效的数据集去重

1. 问题陈述

大规模数据集去重是训练大语言模型（LLM）的关键预处理步骤，旨在确保数据质量、减少计算浪费并防止过拟合。检测 Web 规模语料库中近重复数据的标准方法是 MinHash 局部敏感哈希（LSH）。然而，现有的实现在扩展到万亿 token 数据集时面临显著瓶颈：

CPU 局限性：传统的基于 CPU 的实现（例如使用 datasketch 库）并行化能力差且计算成本高，使其在处理海量数据集时速度慢得无法接受。
GPU 局限性：虽然 NVIDIA NeMo Curator 等 GPU 加速框架提供了改进，但由于架构效率低下，它们仍非最优。具体而言，它们依赖于物理数据重洗牌（基于桶 ID 将数据重新分区到磁盘），这导致了高 I/O 延迟和通信开销。此外，它们的稀疏分桶策略和顺序执行模型往往无法充分利用 GPU 资源，导致硬件并行性未被充分利用。

2. 方法论

作者提出了SEDD，这是一个专为分布式集群环境优化的、高性能的端到端 GPU 加速去重框架。SEDD 通过三项主要技术创新解决了上述瓶颈：

A. 计算高效的哈希

SEDD 用Rabin-Karp 滚动哈希替代标准的加密或非加密哈希函数，用于生成 MinHash 签名。

机制：与 CPU 基线（SHA-1）或 GPU 基线（MurmurHash3）为每个 shingle 重新计算哈希值不同，滚动哈希允许通过少量算术运算（乘法、加法、除法）从上一个 shingle 推导出当前 shingle 的哈希值。
优势：这使得相邻 shingle 之间可以部分重用哈希值，显著降低了生成 MinHash 签名的计算成本。

B. 基于流的数据管道

SEDD 通过采用基于流的提取策略，消除了对物理数据重洗牌（将中间结果写入磁盘并重新分区）的需求。

机制：SEDD 不是物理移动数据以按桶 ID 重新组织，而是即时处理中间哈希文件。每个 GPU 进程被分配一组 bands，并扫描存储以提取特定桶的签名。
双缓冲：系统利用双缓冲技术，将通信（CPU 与 GPU 之间的数据传输）与计算（GPU 内核执行）重叠，从而有效隐藏 I/O 延迟。
比较策略：与使用 $O(D)$ 锚点启发式方法（仅将一个锚点文档与桶中的其他文档进行比较）的基线不同，SEDD 在每个桶内执行详尽的 $O(D^2)$ 全对比较。这得益于高度优化的自定义 CUDA 内核使其成为可能。

C. 硬件感知优化

内核设计：SEDD 为“计数匹配”操作（比较签名向量）实现了自定义 CUDA 内核，采用受 GEMM 启发的分块设计，以改善数据局部性和共享内存的使用。
参数选择：该框架包含一个自动参数选择机制，根据可用的 CPU/GPU 内存和数据集大小，确定最佳的桶数量（ $K$ ）和并发处理批次。最佳桶数量被建模为 $K \propto \sqrt{N}$ ，以平衡碰撞概率与缓冲区管理开销。

3. 主要贡献

端到端 GPU 框架：SEDD 被呈现为一个完整的框架，在配备四块 GPU 的单节点上，相比最先进的 GPU 基线（NVIDIA NeMo Curator）实现了高达7.8 倍的加速，相比 CPU 基线实现了158 倍的加速。
优化的 MinHash LSH：引入可重用的滚动哈希函数和自定义 GPU 内核，使签名生成阶段相比 CPU 基线加速了高达375 倍。
通信高效管道：通过用流式提取和双缓冲替代物理重洗牌，SEDD 将总通信开销降低至现有框架的约20%。
可扩展性：该框架在 8 节点、32 块 GPU 的 V100 集群上，仅用3 小时就成功处理了1.2 万亿 token。

4. 实验结果

作者使用 RealNews 和 C4 数据集，将 SEDD 与 CPU（SlimPajama）和 GPU（NeMo Curator）基线进行了评估。

性能：
- 在 100GB 的 RealNews 数据集（3000 万文档）上，SEDD 在135.2 秒内完成了去重，而 CPU 基线耗时 21,361.4 秒，GPU 基线耗时 1,048.8 秒。
- 仅 MinHash 生成阶段相比 CPU 基线就实现了375 倍的加速。
- 扩展实验表明，即使 GPU 数量增加到 32 块，SEDD 相比 GPU 基线仍保持至少7 倍的加速。
准确性：
- 尽管进行了优化，SEDD 仍保持了高保真度。在较小数据集上与“精确 MinHash"预言机进行比较时，SEDD 在 10 万文档规模下的 Jaccard 相似度为0.956，在 100 万文档规模下为0.966。
- 在大型数据集上与 NeMo Curator 相比，SEDD 识别出了 NeMo 发现的近重复数据的**97%**以上，同时发现了更多实例。
- 在 SEDD 去重数据上进行的下游 LLM 训练（LLaMA 3.2-1B）在多个基准测试（HellaSwag, MMLU, ARC-Easy, WinoGrande）中表现与 NeMo 去重数据相当，尽管使用的 token 数量减少了 10%。
通信效率：
- 在 4-GPU 环境中，SEDD 将通信延迟从187.7 秒（GPU 基线）降低至35.7 秒，将通信量从3.45 TB降低至398.9 GB。

5. 意义

本文认为，SEDD 为现代 LLM 数据管道日益增长的需求提供了一种实用且可扩展的解决方案。通过解决现有 GPU 框架中特定的架构低效问题——即过度的数据重洗牌和资源利用率低下——SEDD 使得在数小时而非数天内处理万亿 token 语料库成为可能。作者强调，这种效率是在不牺牲重复检测准确性的情况下实现的，从而确保生成的数据集对于训练最先进语言模型而言仍保持高质量。这项工作突显了硬件感知的系统优化（如滚动哈希和流式管道）对于释放 GPU 集群在数据预处理任务中全部潜力至关重要。