💬 NLP

IYKYK (But AI Doesn't): Automated Content Moderation Does Not Capture Communities' Heterogeneous Attitudes Towards Reclaimed Language

该研究通过定量与定性分析发现，由于边缘化群体内部对 reclaimed 语言（如被重新定义的侮辱性词汇）的态度存在显著异质性和主观性，导致自动化内容审核工具难以准确区分其作为团结象征的用法与仇恨言论，从而造成对边缘化声音的误伤。

原作者： Christina Chance, Rebecca Pattichis, Arjun Subramonian, James He, Shruti Narayanan, Saadia Gabriel, Kai-Wei Chang

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Christina Chance, Rebecca Pattichis, Arjun Subramonian, James He, Shruti Narayanan, Saadia Gabriel, Kai-Wei Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣且重要的问题：为什么电脑（AI）总是“误伤”那些正在开玩笑或表达团结的少数群体，而把他们的“内部黑话”当成仇恨言论给封杀了？

简单来说，这项研究就像是在说："AI 不懂‘圈内梗’（IYKYK - If You Know You Know），它太死板了。"

下面我用几个生动的比喻来拆解这篇论文的核心内容：

1. 核心冲突：AI 是个“不懂变通的教导主任”

想象一下，学校里的教导主任（AI 审核系统）手里有一本死板的《禁止用语手册》。

手册规定：只要看到"n-word"（针对黑人的脏话）、"f-word"（针对同性恋的脏话）或"b-word"（针对女性的脏话），立刻记过、封号。
现实情况：在黑人社区、LGBTQ+ 群体或女性群体内部，这些词有时候被“夺回”了（Reclaimed）。就像一群好朋友互相起绰号，虽然词本身很难听，但在这种语境下，它代表的是亲密、团结和骄傲，而不是攻击。
问题所在：AI 教导主任只看字面意思，不看眼神和语气。它分不清这是“朋友间的互损”还是“敌人的攻击”。结果就是，很多表达团结的帖子被误删了，导致这些群体的声音被压制。

2. 研究过程：找“圈内人”来当裁判

研究者找来了来自黑人、LGBTQ+ 和女性社区的成员，让他们来当“裁判”，给 12,000 条包含这些脏话的推文打分。

任务：让他们判断，如果发帖人是“自己人”（圈内人）或者“外人”，这条内容算不算仇恨言论？
发现：研究者原本以为，既然是“自己人”裁判，大家肯定能达成一致。结果大错特错！

3. 最惊人的发现：即使是“自己人”，看法也天差地别

这是论文最反直觉的地方。研究者发现，即使是同一个社区的人，对同一个词的理解也完全不同。

比喻：想象一群人在讨论“辣椒”。
- 有人觉得：“哇，这辣椒真香，是咱们家乡的味道！”（这是夺回/骄傲的使用）。
- 有人觉得：“这辣椒太辣了，我不喜欢，甚至觉得被冒犯了。”（这是厌恶的使用）。
- 还有人觉得：“这词儿太老了，现在年轻人都不这么说了。”
数据说话：研究计算了裁判们的一致性（Krippendorff's alpha），结果低得可怜（接近 0）。这意味着，在同一个社区内部，根本没有所谓的“统一标准”。
- 对于"f-word"，有人觉得是姐妹间的昵称，有人觉得是严重的冒犯。
- 对于"n-word"，有人觉得是表达团结，有人觉得无论谁用都不可接受。
- 对于"b-word"，甚至有人觉得它已经变成了普通的流行语（比如“坏女人”变成了“酷女孩”）。

结论：你不能指望 AI 通过“找一群黑人/同性恋/女性来训练”就解决所有问题，因为社区内部本身就是多元且充满分歧的。

4. AI 的“偏见”：它总是假设发帖人是“坏人”

研究者把人类的判断和著名的 AI 审核工具（Perspective API）做了对比。

AI 的逻辑：只要看到脏话，它倾向于认为发帖人是“外人”（坏人），并且大概率是仇恨言论。
人类的逻辑：如果发帖人是“自己人”，人类裁判更宽容；如果是“外人”，人类裁判更严厉。
错位：AI 完全忽略了“身份”这个关键因素。它就像是一个没有社交直觉的机器人，不管你是谁，只要你说脏话，它就报警。这导致黑人或 LGBTQ+ 群体在网络上不得不“自我审查”，甚至不敢用那些代表他们文化的词汇，以免被误杀。

5. 为什么这很重要？（比喻总结）

这就好比语言是一种“方言”。

在主流文化（AI 的训练数据）看来，这些词是“毒药”。
但在特定社区（人类用户）看来，这些词可能是“解药”或“粘合剂”。
目前的 AI 审核系统：就像是一个只会检测“毒药成分”的机器，不管这瓶药水是用来救人的还是毒人的，只要成分一样，就全部倒掉。

6. 论文给出的建议

既然 AI 这么笨，我们该怎么办？

承认“没有标准答案”：不要试图建立一个完美的“黄金标准”来定义什么是仇恨言论。社区内部的观点本身就是多样的，这种分歧是正常的，而不是错误。
需要“上下文”而非“关键词”：审核系统不能只看词，要看语境、意图和说话人的身份。但这很难，因为 AI 很难理解复杂的社交潜规则。
个性化与灵活性：未来的审核系统可能需要更灵活，允许不同的社区有不同的“容忍度”，或者让用户自己设置“我想看什么，不想看什么”，而不是由平台一刀切。

一句话总结

这篇论文告诉我们：AI 太死板，不懂“圈内梗”；即使是“自己人”对脏话的看法也千差万别。如果我们继续用死板的规则去审核充满活力的社区语言，只会误伤无辜，让真正需要保护的声音消失。

未来的审核，需要的不是更聪明的“警察”，而是更懂人情世故、能理解“语境”的“调解员”。

论文标题

IYKYK (But AI Doesn't)：自动化内容审核无法捕捉社区对“被收回语言”（Reclaimed Language）的异质性态度

1. 研究背景与问题 (Problem)

核心问题：在线社区中，边缘化群体（如 LGBTQIA+、黑人、女性）经常“收回”（Reclaim）历史上用于压迫他们的侮辱性词汇（如 n-word, f-word, b-word），将其转化为表达团结、身份认同和共同经历的工具。然而，当前的自动化内容审核和 AI 驱动的工具无法区分“被收回的用法”和“仇恨言论”，导致边缘化群体的声音被错误地压制。
现有假设的缺陷：现有的研究和审核系统通常假设同一身份群体内部对收回语言的态度是同质化的（Homogeneous），即认为只要标注者属于该群体（In-group），就能提供一致且可靠的“黄金标准”标签。
研究动机：本文挑战了这一假设，指出即使在同一社区内部，由于个人经历、文化背景和具体语境的差异，成员对收回语言的理解和容忍度存在巨大的异质性（Heterogeneity）。自动化模型未能捕捉这种复杂性，导致过度审核。

2. 方法论 (Methodology)

本研究采用混合方法（Mixed-Methods），结合定量标注和定性访谈，针对三个边缘化群体（黑人、LGBTQIA+、女性）及其对应的收回词汇（n-word, f-word, b-word）进行分析。

2.1 数据收集与标注 (Data & Annotation)

数据集：从 Twitter (X) 和现有仇恨语料库中收集约 12,000 条包含目标词汇的推文，从中筛选出 300 条（每种词汇 100 条）进行深度标注。
标注者：招募了来自目标社区的成员（In-group annotators）。
- n-word: 6 人
- f-word: 6 人
- b-word: 9 人
标注任务：
- 语境判断：判断词汇是“骄傲收回”（Pride reclamation，表达尊严）、“内部团结收回”（Insular reclamation，表达 camaraderie）还是“非收回用法”。
- 属性判断：是否具有贬义（Derogatory）、目标对象是谁（自己、他人、特定群体等）、主要语境（如反讽、引用、讨论词汇本身等）。
- 反事实审核决策：标注者需分别假设作者是**群体内（In-group）和群体外（Out-group）**成员，判断是否应将该文本标记为仇恨言论。
对比基准：使用 Perspective API 的“身份攻击（Identity Attack）”分数作为自动化模型的基准，计算其与人类标注的一致性。

2.2 定性访谈 (Semi-structured Interviews)

对 7 名完成标注任务的参与者进行半结构化访谈，深入探讨个人经历、成长背景、文化环境如何影响他们对收回语言的理解和界限设定。

2.3 分析指标

一致性度量：使用 Krippendorff's alpha ( $\alpha$ ) 计算标注者间的一致性。
特征重要性：使用 XGBoost 模型分析哪些文本特征（如是否贬义、作者身份假设、语境）最影响“是否标记为仇恨言论”的决策。
校准度分析：计算平均总变异（Average Total Variation, ATV），衡量人类标注概率分布与 Perspective API 预测概率之间的差异。

3. 主要发现与结果 (Key Results)

3.1 群体内部存在显著分歧 (Low Inter-annotator Agreement)

低一致性：所有社区和所有标注问题的一致性分数（Krippendorff's $\alpha$ $α$ ）均极低（最高仅为 0.33，通常 0.80 才被视为高一致性）。
- n-word 的收回类型判断 $\alpha = 0.05$ 。
- f-word 的收回类型判断 $\alpha = 0.07$ 。
- 即使是判断“是否贬义”（Q2），一致性也仅为 0.27-0.33。
结论：这证明群体成员身份（In-group membership）并不能保证标注的一致性。分歧不是噪声，而是反映了社区内部对语言意义的真实协商过程。

3.2 影响审核决策的关键特征

作者身份假设至关重要：XGBoost 模型显示，假设作者是“群体内”还是“群体外”是预测是否标记为仇恨言论的最重要特征。
语境与目标：
- 贬义性（Derogatory）和目标对象（Target）（特别是是否针对自己）对决策有显著影响。
- 不同词汇的决策路径不同：例如，对于 n-word，语境（如引用、讨论词汇本身）会显著改变基于作者身份的决策；而对于 f-word，目标对象的影响更大。

3.3 自动化模型与人类态度的错位 (Misalignment with AI)

Perspective API 的偏差：
- 模型更倾向于假设作者是“群体外”成员，从而更频繁地将包含收回词汇的文本标记为攻击。
- ATV 分析：n-word 的群体内（In-group）假设下，人类与 API 的差异最大（ATV = 0.42），表明 API 严重误判黑人社区内部的收回用法。相比之下，b-word 的群体内一致性较高（ATV = 0.18），因为该词在主流文化中已被广泛接纳。
具体案例：API 经常无法识别“引用仇恨言论”、“讨论词汇本身”或“特定文化语境（如英式俚语中的 f-word 指代香烟）”等细微差别，导致高误报率。

3.4 不同词汇的异质性 (Slur-Specific Patterns)

n-word：具有极高的社会敏感性和历史负担，群体内对其使用的界限最为严格，且 AI 对其压制最严重。
f-word：在 LGBTQIA+ 群体内部存在代际和身份（如跨性别与顺性别男性）的复杂分歧，导致标注高度不一致。
b-word：在主流文化中已高度正常化（甚至用于商业营销），因此其收回用法更容易被模型和人类共同识别，但在特定语境下仍可能被视为厌女。

4. 核心贡献 (Key Contributions)

挑战“同质化”假设：实证证明了边缘化社区内部对收回语言的态度是高度异质的，推翻了“群体成员身份即可作为可靠黄金标准”的现有 NLP 假设。
揭示审核系统的系统性偏见：量化了自动化审核工具（如 Perspective API）在缺乏语境和作者身份信息时，如何系统性地压制边缘化群体的合法表达。
提出“分歧即信号”的视角：主张在内容审核研究中，标注者的分歧不应被视为需要消除的噪声，而应被视为反映语言社会性、语境依赖性和个人经历的重要信号。
方法论创新：通过引入反事实的作者身份假设（In-group vs. Out-group）和混合方法，深入剖析了语境、身份和权力动态在语言审核中的相互作用。

5. 意义与启示 (Significance & Implications)

对 NLP 研究的启示：未来的仇恨言论检测模型不能仅依赖单一身份群体的标注数据或简单的二元分类（仇恨/非仇恨）。需要开发能够处理**多元视角（Pluralistic）和语境敏感（Context-sensitive）**的模型。
对内容审核政策的启示：
- 目前的“一刀切”审核策略正在加剧对边缘化群体的伤害（Digital Colonialism）。
- 需要引入更灵活的机制，如个性化内容审核（Personalized Content Moderation）或多模态对齐（Pluralistic Alignment），允许不同社区定义其自身的规范。
- 单纯依赖“群体内标注者”不足以解决问题，必须考虑个体经历的多样性。
社会影响：研究强调了在算法治理中尊重人类经验复杂性的必要性，避免技术系统通过过度审核进一步边缘化那些试图通过语言重建身份和团结的社区。

总结

这篇论文有力地证明了，自动化内容审核在理解“收回语言”时存在根本性缺陷，因为它忽视了社区内部态度的复杂性和异质性。解决这一问题不能仅靠增加“群体内”标注者，而需要从根本上重新思考审核系统的架构，使其能够容纳多元的解释框架和具体的语境线索，从而避免在打击仇恨言论的同时误伤边缘化群体的文化表达。