💬 NLP

What Are They Filtering Out? An Experimental Benchmark of Filtering Strategies for Harm Reduction in Pretraining Datasets

该论文通过基准研究指出，虽然数据过滤策略能有效减少预训练数据中的有害内容，但会加剧对易受歧视群体的代表性不足问题。

原作者： Marco Antonio Stranisci, Christian Hardmeier

发布于 2025-02-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Marco Antonio Stranisci, Christian Hardmeier

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一次对“人工智能厨师”如何挑选食材的深度体检报告。

想象一下，我们要训练一个超级聪明的 AI（大语言模型），就像要培养一位无所不知的大厨师。为了让这位厨师做出美味且安全的菜肴，我们需要给他提供海量的“食材”（也就是互联网上的文本数据）。

但是，互联网上有很多“坏食材”：比如脏话、暴力内容、仇恨言论等。如果不小心把这些混进去，做出来的菜（AI）可能会变得有毒、有偏见，甚至伤害到某些人。

为了解决这个问题，研究者们发明了很多**“过滤网”**（过滤策略），试图在把食材交给厨师之前，先把坏东西筛掉。

这篇论文主要做了两件事：

盘点：看看现在大家都在用什么网筛？
实验：这些网筛真的安全吗？会不会在筛掉“坏东西”的同时，把“好食材”也误伤了？

1. 他们用了哪几种“过滤网”？（研究问题一）

作者调查了 55 份关于 AI 的技术报告，发现大家用的“过滤网”五花八门，大概可以分成这几类：

权威来源法：只从“名人”或“官方”那里拿食材（比如只选维基百科）。这就像只去米其林餐厅进货，虽然安全，但可能太单一了。
关键词黑名单：只要看到某个词（比如脏话），整段话就扔掉。这就像看到“辣椒”就全部倒掉，不管它是不是用来做微辣菜的。
毒气探测器（分类器）：训练一个 AI 小助手，让它去闻一闻，觉得有毒就扔掉。
质量评分法：只保留那些看起来“文笔好”、“像教科书”的文章。这就像只选包装精美的食材，不管里面是不是坏的。
人工审核：请真人来帮忙挑拣。

发现的一个大问题：
很多大公司的技术报告里，对于他们到底用了什么网、怎么用的，遮遮掩掩，不肯说清楚。就像厨师说“我用了秘方过滤”，但从来不告诉你秘方是什么，别人想学也学不会，想检查也检查不了。

2. 这些网筛出了什么意外？（研究问题二）

作者做了一个实验，他们把互联网上的文章（Common Crawl 数据）拿来，用 7 种不同的“过滤网”去筛，然后看看谁被误伤了。

他们特别关注了四个群体，就像把人群分成了四个篮子：

西方男性
西方女性
后殖民国家（非西方）男性
后殖民国家女性

实验结果让人大吃一惊：

🚨 意外一：女性被“误杀”得最惨

无论用哪种网（除了那种只看文章质量的网），女性被筛掉的比例总是比男性高。

比喻：这就好比你在清理厨房里的“坏鸡蛋”，结果发现女厨师的名字被从食谱里删掉得最多。
原因：很多过滤网（比如关键词黑名单）对涉及女性的词汇特别敏感。比如，提到“色情演员”或“模特”时，如果这些词被判定为“有害”，那么提到这些职业的女性就会连坐被删。结果就是，数据集里关于女性的声音变少了，而且往往是那些“非传统”或“敏感”的女性形象消失了。

🚨 意外二：不同的网，筛掉的东西完全不同

网 A 可能专门筛掉脏话，但留下了种族歧视。
网 B 可能专门筛掉种族歧视，但留下了性别歧视。
比喻：这就像你为了防蚊子，关上了窗户（筛掉了 A 类害虫），结果却把苍蝇放进了屋里（B 类害虫进来了）。选择一种过滤策略，就意味着你选择性地忽略了某些类型的伤害。

🚨 意外三：所谓的“高质量”并不等于“安全”

有些策略认为“写得好的文章就是安全的”。作者发现，大错特错！

比喻：有些文章写得像诗一样优美，但里面却藏着对女性的恶意。如果用“文笔好”作为标准，这些“优雅的毒药”反而会被保留下来，而那些真正需要被清理的“粗俗但无害”的内容却被误删了。

3. 核心结论：我们在过滤什么？

这篇论文想告诉我们一个很扎心的道理：

我们在努力清除“有害内容”的时候，往往不小心把“弱势群体”的声音也一起过滤掉了。

副作用：原本是为了让 AI 更善良、更公平，结果因为过滤策略太粗糙，导致 AI 学到的知识里，女性、少数族裔的声音变得更少了（代表性不足）。
现状：很多大模型开发者并没有意识到这个问题，或者即使意识到了，也因为商业机密等原因，不愿意公开他们是怎么过滤的。

总结

这就好比我们在给 AI 做“大扫除”，本意是想把垃圾扫干净，结果因为扫帚太粗糙，把角落里珍贵的女性和少数族裔的“传家宝”也当成垃圾扫出去了。

未来的方向：
我们需要更精细的“纳米级”过滤网，不仅要能识别脏话，还要能识别偏见；同时，我们需要更透明的规则，让大家都知道这把“扫帚”到底是怎么挥动的，以免在扫垃圾的时候，把无辜的人扫出门外。

论文技术总结：《他们在过滤什么？预训练数据集中危害减少过滤策略的实验基准研究》

1. 研究背景与问题 (Problem)

大型语言模型（LLM）的安全性是当前的核心议题。为了减少模型对弱势群体的歧视和危害，研究人员通常在预训练数据集中实施数据过滤策略以移除有害内容。然而，现有研究存在以下关键缺口：

缺乏系统性评估：尽管已有许多关于 LLM 后训练（Post-training）的基准测试，但针对预训练阶段数据过滤策略对弱势群体（如特定性别、种族/原籍群体）实际影响的研究非常匮乏。
副作用未知：现有的过滤策略在移除有害内容的同时，是否会导致特定群体在数据集中被过度代表（Underrepresentation），从而加剧偏见，目前尚未得到系统性的量化分析。
透明度不足：许多技术报告缺乏对过滤策略的详细披露，导致难以复现和评估其社会影响。

本文旨在通过系统性的文献综述和实验基准测试，回答两个核心研究问题：

现有的预训练数据过滤策略有哪些？
这些策略对哪些人群的影响最大（即谁被“过滤”掉了）？

2. 方法论 (Methodology)

2.1 文献综述与分类学构建

数据来源：作者收集并分析了 55 份 描述英语 LM/LLM 的技术报告。这些报告来自 MMLU-pro、Chatbot Arena、ALERT 等六个排行榜，涵盖了不同代际和任务类型的模型。
分析内容：审查报告中关于预训练数据集描述、过滤策略实施以及对有害/偏见内容处理的章节。
成果：建立了一个包含 8 类 过滤策略的分类学（Taxonomy）：
1. 权威来源 (Authoritative sources)：仅从维基百科等验证来源选择文档。
2. 文档种子 (Document seeding)：基于启发式规则（如 Reddit 点赞数）选择特定文档。
3. 基于质量 (Quality-based)：通过与高质量文档（如维基百科）对比，移除低质量文档。
4. 毒性分类器 (Toxicity classifier)：使用训练好的分类器（如 Perspective API, FastText）移除有害内容。
5. 基于规则 (Rule-based)：使用词典（如 Shutterstack, HateBase）匹配关键词。
6. URL 黑名单 (Url blacklists)：移除特定黑名单网站的内容。
7. 人机回环 (Human-in-the-loop)：人工评估或众包标注。
8. 安全政策 (Safety policy)：基于团队自我评估的过滤声明。

2.2 实验基准测试 (Benchmarking)

为了量化过滤策略对弱势群体的影响，作者设计了一个实验管道：

数据集构建 (People Dataset)：基于 Wikidata 和 CaLiGraph 构建了一个包含 1080 万个人实体的知识库，标注了性别（男/女）和原籍（西方/后殖民国家）的交叉属性。
采样：从 Common Crawl (2024 年 8 月快照) 中抽取 5 个英文文档样本。
实体链接 (Entity Linking)：使用 SpaCy 检测人名实体，并通过维基百科和 Wikidata 链接到 People Dataset，将实体分为四组：
- 西方男性 (Western Men)
- 西方女性 (Western Women)
- 后殖民男性 (Post-colonial Men)
- 后殖民女性 (Post-colonial Women)
策略实施：在包含上述实体的句子/文档上应用 7 种 可复现的过滤策略（涵盖基于规则、基于分类器、基于文档相似度三类），计算被移除的实体提及比例。

3. 关键贡献 (Key Contributions)

首次系统性综述：提供了关于预训练数据危害减少过滤策略的首次系统性调查，归纳了 8 种主要策略类型。
基准测试管道与资源：构建了一套用于评估过滤策略对弱势群体影响的实验管道（包括 People Dataset 和实体链接流程），并开源了相关资源。
实证发现：通过实验证明了当前的过滤策略在减少有害内容的同时，会系统性地加剧弱势群体（特别是女性）在数据集中的代表性不足问题。

4. 主要结果 (Key Results)

4.1 过滤策略的透明度与趋势

复现性差：大多数现代 LLM 的技术报告未公开具体的过滤脚本或数据集快照（Table 1 中红色/橙色标记居多）。
文档债务：尽管有 Model Cards 等模板，但近期报告对过滤策略的描述往往过于笼统（例如仅提及“使用启发式方法和分类器”）。
关注点转移：研究趋势从预训练数据过滤转向后训练对齐，导致对预训练数据中偏见根源的关注度下降。

4.2 过滤效果与偏差分析

过滤强度差异巨大：
- 基于规则/分类器：移除率较低（通常 < 5%）。
- 基于质量/相似度：移除率极高（11% - 44.6%），但并不等同于移除有害内容。实验显示，基于质量过滤（如对比 Wikipedia）后，仍有 69%-90% 被其他策略标记为有害的句子被保留。
针对性偏差 (Who gets filtered?)：
- 女性受冲击最大：在基于规则和基于分类器的策略中，西方女性 (Western Women) 的实体提及被移除的比例最高。
- 职业偏见：被过滤掉的女性职业高度集中在“色情演员”、“模特”等特定领域，而男性职业分布则相对均匀。这表明过滤策略并非随机移除，而是系统性地抹去了特定群体的特定形象。
- 策略选择决定偏见类型：不同的词典（如 Shutterstack 侧重色情，HateBase 侧重种族歧视）和分类器会过滤掉不同类型的有害内容，选择一种策略意味着忽视其他类型的危害，并针对特定群体产生副作用。

4.3 核心发现

质量 $\neq$ 安全：基于“高质量”来源（如维基百科）的过滤策略并不能有效移除针对特定群体的有害内容，反而可能因为来源本身的偏差而加剧不平等。
系统性边缘化：当前的过滤策略在减少显性危害的同时，导致了弱势群体（尤其是女性）在预训练数据中的系统性边缘化。

5. 意义与启示 (Significance)

重新审视过滤策略：研究指出，单纯追求“去毒”（De-toxification）而不考虑群体代表性，可能会导致新的、更隐蔽的歧视形式（即通过移除特定群体的提及来“净化”数据）。
政策与透明度：呼吁 LLM 开发者在技术报告中更透明地披露过滤策略，并意识到“一刀切”的过滤方案可能带来的社会风险。
未来方向：未来的过滤策略需要采用更细粒度的分析，平衡“移除有害内容”与“保留弱势群体代表性”之间的关系，并引入受影响的社区参与评估过程。

总结：该论文揭示了当前 LLM 预训练数据过滤实践中的一个悖论：旨在减少危害的过滤机制，实际上可能通过过度移除弱势群体的声音，加剧了数据集中的代表性偏差。这为构建更公平、更安全的 AI 系统提供了重要的实证依据和警示。