Majority Vote Silences Minority Values: Annotator Disagreement at the Hate/Offensive Boundary in HateXplain

以下是该论文的通俗化解释，使用了日常类比。

核心问题：当“多数派”使少数派失声时

想象一下，你正在试图判断一个笑话到底是幽默还是刻薄。你请了 100 个人来投票。

• 51 个人说：“这只是个玩笑，很有趣。”
• 49 个人说：“这其实很刻薄，也很伤人。”

在计算机科学和人工智能领域，标准的规则是：“少数服从多数。” 计算机被告知：“好吧，既然 51 个人说它有趣，那它就是有趣的。” 于是，计算机就将此视为绝对真理并进行学习。

本文认为，这个简单的规则是危险的。它把人类之间复杂、混乱的分歧，当作清晰的事实来对待。作者指出，当你强迫计算机从这种“多数票”中学习时，它会在那些人们最容易产生分歧的内容上表现得非常糟糕。

研究背景：HateXplain 数据集

研究人员观察了一个名为 HateXplain 的数据集，其中包含了由人工标注的社交媒体帖子。标注人员需要在三个类别中做出选择：

1. 正常（无害）
2. 冒犯性（粗鲁或伤人，但不是仇恨言论）
3. 仇恨言论（针对特定群体的危险言论）

研究人员发现，人类经常难以区分**“冒犯性”与“仇恨言论”**。这就像是在判断一个落日究竟是“橙色”还是“红色”一样，界限非常模糊。

核心发现

1. 分歧并非随机，而是一场“边界战争”

作者发现，人类标注员之间近 43% 的争论都发生在“冒犯性”与“仇恨言论”的交界处。

• 类比： 想象两个国家之间的边界。大多数人都清楚地知道什么是 A 国的领土，什么是 B 国的领土。但在边界线附近，人们总是争论不休。
• 论文观点： 数据显示，当人类产生分歧时，他们并不是在随机地感到困惑，而是在专门针对“粗鲁”与“仇恨”之间的界限进行争夺。

2. “失声”效应

当数据集的创建者收集投票并选出获胜者（多数派）时，他们实际上让少数派失声了。

• 如果 2 个人说“仇恨”，1 个人说“冒犯”，计算机就会学习到“仇恨”。
• 如果 2 个人说“冒犯”，1 个人说“仇恨”，计算机就会学习到“冒犯”。
• 结果： 计算机永远无法理解这里存在着正当的辩论。它认为答案是明确的，即便事实并非如此。

3. AI 会变得“自信地出错”

研究人员训练了三种不同类型的 AI 模型，以观察它们是否能解决这个问题：

• 模型 A（标准型）： 从“多数票”标签中学习。
• 模型 B（软学习型）： 从百分比中学习（例如：“60% 说仇恨，40% 说冒犯”）。
• 模型 C（个体主义型）： 尝试学习每个特定标注员的想法，而不是仅仅学习群体平均值。

令人震惊的结果：

• 三种模型在人类意见一致的帖子（约 80% 的准确率）上表现都很出色。
• 但在人类存在分歧的帖子（即边界案例）上，所有三种模型都崩溃了，准确率降至约 55%。
• “过度自信”陷阱： 标准模型（模型 A）不仅做错了，而且错得非常“自信”。它会说：“我有 71% 的把握这是仇恨言论”，而实际上这是一个充满争议且模糊的案例。
• “诚实”的模型： 模型 C（个体主义型）在这些错误案例上的信心较低（49%）。它对自己的不确定性表现得更诚实，但它依然同样不准确。

类比： 想象一位天气预报员。

• 模型 A 看着阴天说：“肯定要下雨！”（高信心，但错了）。
• 模型 C 看着同样的天气说：“我不确定，也许下雨，也许不下。”（低信心，但依然不知道答案）。
• 重点在于： 如果系统即便表现出“不知道”也无法做出正确的决策，那么这种“诚实”并无实质帮助。

为什么我们不能直接修复 AI？

研究人员尝试了三种不同的“下游”修复方法（改变 AI 学习或投票的方式）。但没有一种奏效。

• 类比： 想象你正在教一个学生画一个完美的圆。但老师却一直拿一张正方形的照片给学生看，并说：“这就是圆。”
  • 你可以试着用温柔的声音去教（软标签）。
  • 你可以试着展示每位老师的不同视角（每位标注员专属头部）。
  • 但这都不重要。 如果“标准答案”（底层的真相）本身是错的，学生永远学不会画圆。

论文得出结论：问题不在于 AI 模型，而在于标注设计。你不能通过粉刷墙壁来修复一个地基破损的房子。

提出的解决方案：在开始之前改变规则

由于修复 AI 无效，作者认为我们必须在 AI 接触数据之前，先修复人类的标注过程。他们提出了三点建议：

1. 停止使用“是/否”标签： 不要强迫标注员在“冒犯”或“仇恨”之间二选一，而是给他们一个量表（如 1 到 5 分）。这承认了一些事物既是“有点冒犯”也是“有点仇恨”，而不是通过强制性的二元选择来制造争论。
2. 标记“边界案例”： 当 AI 看到自己不确定的帖子（置信度低）时，它不应该做出最终决定，而应该将其标记出来，交由人工审核。
3. 纳入受影响的人群： 论文认为，被评判的内容所涉及的人群（例如特定的文化或少数群体）应当是进行标注的人。他们对“仇恨”的定义可能与大多数人不同。如果你只询问多数派，你将永远无法捕捉到少数派的视角。

关于解决方案的警告

作者特别指出，第三点存在重大的伦理问题。要求受害者群体去查看针对他们的仇恨言论可能会造成心理伤害。他们认为，如果我们这样做，必须支付合理的报酬、提供心理健康支持，并允许他们自愿加入。我们不应将审核的负担直接转嫁给那些正在遭受伤害的人。

总结

论文认为，在 AI 训练中使用多数投票是一个陷阱。它将复杂的人类分歧转化为了虚假的“事实”。这导致 AI 模型在处理最敏感的话题时，会表现出错误的自信。解决之道不在于构建更聪明的 AI，而在于从源头改变人类标注数据的方式。