💬 NLP

The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction

本文介绍了“幽灵标注者”（Ghost Annotator）框架，该框架将符合性预测（conformal prediction）与协同过滤相结合，用以分析人类标签的变异性，并揭示出大型语言模型在预测与人类共识发生分歧时表现出更高的置信度，从而暴露了植根于预训练数据的结构性人口统计学偏差。

原作者： Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何判断什么是“无礼”或“有害”的对话。你找来 100 个不同的人，让他们阅读一段特定的评论并进行评分。因为人们的背景、年龄和文化各不相同，他们并不总能达成一致。有些人认为这段评论很有趣；有些人则认为这是仇恨言论。这种分歧被称为人类标签差异（Human Label Variation）。

这篇论文介绍了一个名为**“幽灵标注员”（Ghost Annotator）**的新工具，旨在弄清楚 AI 模型（例如驱动聊天机器人的模型）在理解这些人类分歧方面表现如何，以及它们在哪些地方出了错。

以下是该论文通过简单的类比进行的解释：

1. 问题所在：机器人与人群的对峙

通常，当我们测试一个 AI 时，我们会问：“机器人得到了‘正确’的答案吗？”但在内容审核中，往往并不存在唯一的“正确答案”。如果 50 个人说一段评论是“轻微冒犯”，而另外 50 个人说它是“有害”的，AI 就会陷入困境。

研究人员想知道：

当人类产生分歧时，AI 会感到困惑吗？
AI 是否拥有自己的“个性”，使得它倾向于认同某些类型的人而忽略另一些人？

2. 工具：“机器中的幽灵”

为了解决这个问题，团队使用了一种称为**共形预测（Conformal Prediction）**的统计方法创建了一个框架。你可以把它想象成一个“信心计”。

幽灵预测（The Ghost Prediction）： 想象 AI 正在参加一场考试。通常情况下，它会选择一个与人类选择相匹配的答案。但有时，AI 会选择一个没有任何人类选择过的答案。研究人员称之为**“幽灵预测”**。这就像 AI 看到了一个幽灵——一个在人类世界中并不存在的标签。
幽灵标注员（The Ghost Annotator）： 这是论文的核心发明。他们不仅仅是观察 AI 的答案，而是将 AI 的行为转化为一个“指纹”（一个数学向量）。他们称这个指纹为**“幽灵标注员”**。它代表了 AI 独特的“观点”，仿佛它是一个人类工作人员，尽管它其实是一台机器。

3. 实验：对比指纹

研究人员选取了四个不同的 AI 模型（两个小型模型，两个大型模型，来自两家不同的公司），并在四个关于仇恨言论、暴力和冒犯性内容的社交媒体数据集上进行了测试。

他们将 AI 的“幽灵指纹”与真实的人类标注员指纹进行了对比，并将人类按人口统计学特征（如年龄、性别和来源地，例如撒哈拉以南非洲、印度、美国）进行分组。

4. 研究结果：幽灵揭示了什么

发现 A：“自信的局外人”

类比： 想象一个身材瘦小、胆怯的学生，当班级发生争论时，他会承认：“我不确定这个答案。”现在，再想象一个非常自信、年长的学生，即使全班都意见不一，他也会坚定地说：“我知道答案是 X。”
结果： 研究人员发现，大型 AI 模型（即那些自信的学生）在给出没有任何人类认同的答案（幽灵预测）时，实际上表现得更加自信。即使在与人类观点完全脱节的情况下，它们也对自己给出的“幽灵”答案非常笃定。小型模型在这些奇怪的情况下表现得没那么自信。

发现 B：“人口统计学盲点”

类比： 想象一群评委。如果你请一位 A 组的评委去评价一部电影，他可能会与 AI 一致。但如果你请一位 B 组的评委，他可能会与 AI 完全不同。论文发现，AI 表现得像是一个始终与某一特定群体“脱节”的评委，无论该群体在房间里有多少人。
结果： AI 模型表现出了持续的**人口统计学失配（demographic misalignment）模式。具体而言，AI 的“幽灵指纹”与撒哈拉以南非洲（SSA）**人群的指纹最不相似。
转折点： 尽管 SSA 组实际上是研究中人数最多的群体，但这种情况依然发生了。AI 忽略他们并不是因为人数少，而是因为一种根深蒂固的偏见。
原因： 研究人员认为这种偏见源于预训练数据（即 AI 在学习特定任务之前阅读的海量文本）。这就像 AI 的“世界观”是从一个缺乏由撒哈拉以南非洲人撰写的书籍的图书馆中学习到的。这种偏见是“结构性的”，意味着它被刻在了模型的基石之中，而不只是一个简单的错误。

5. 为什么这很重要（根据论文所述）

论文认为，我们不能仅仅通过在训练数据中添加更多样化的人类标签来解决这个问题。如果 AI 的“基础”（预训练）已经存在偏见，那么在最后阶段添加一些多元的声音并不能改变“幽灵标注员”的视角。

幽灵标注员框架是一种对 AI 模型进行“X 光检查”的方法，让我们在将它释放到互联网进行内容审核之前，就能看清它究竟无法理解哪些群体。

简而言之： 这篇论文构建了一个能够观察 AI 模型“个性”的工具。他们发现，大型、自信的 AI 模型往往对特定文化存在“盲点”，而且这种盲点如此深刻，以至于它源于 AI 最初学习阅读数据的方式。

技术摘要：Ghost Annotator（幽灵标注器）框架

问题陈述
当前在自然语言处理（NLP）和内容审核领域的研究主要侧重于模型性能指标，往往忽视了不确定性估计以及人类标注差异（Human Label Variation, HLV）的细微差别。HLV 指的是人类标注者之间在标注上的分歧，特别是在涉及仇恨言论、冒犯性和毒性等主观现象时。虽然近期的范式主张通过捕捉这些多样化的观点来增强公平性，但仍面临重大挑战：关于 HLV 的研究发现往往受到数据集与标注方案之间不匹配的阻碍；此外，随着利用大语言模型（LLM）生成标注数据的依赖程度增加，研究重心已从不确定性转向了其他方面。此外，现有的评估“LLM 作为标注者”的方法往往无法区分真实的 HLV 与标注错误，且研究表明 LLM 在复制人类意见多样性方面表现乏力，通常会对特定人口统计群体表现出偏见，或对冒犯性内容过度标记。

方法论
作者引入了 Ghost Annotator，这是一个旨在利用**符合预测（Conformal Prediction）**来建模 LLM 相对于人类标注者行为的框架。该方法通过以下技术步骤进行：

符合预测与非一致性得分（Non-Conformity Scores, NCS）： 该框架利用符合预测来生成校准的不确定性估计。系统并非计算单一的聚合得分，而是计算针对单个“模型–标注者–实例”交互作用的 NCS。NCS 量化了模型的预测相对于基于人类标注得出的校准分布而言是多么“异常”。
幽灵预测指标（Ghost Prediction Metric）： 为了超越传统的基于准确率的指标（这些指标依赖于聚合后的地面真值），作者将幽灵预测定义为：模型预测的标签在特定条目的所有人类标注中均不存在的实例比例。该指标量化了模型与整套可用人类视角之间的分歧。
标注者表示（协同过滤类比）： 受推荐系统中协同过滤（Collaborative Filtering, CF）的启发，该框架将人类标注者和模型都表示为三维向量。这些向量是通过 NCS 分布的四分位数推导出来的：
- 人类标注者： 由其标注的所有条目的 NCS 值分布表示。
- 幽灵标注器（模型）： 由专门针对模型预测与所有人类标注均不一致的实例（即幽灵预测）所计算出的 NCS 值分布表示。
对齐分析： 作者计算了幽尸标注器向量与特定社会人口统计学群体人类标注者向量之间的余弦相似度。这使得剖析模型与哪些人类群体对齐或背离成为可能。

实验设置
该框架在四个内容审核数据集上进行了评估：Attitudes（仇恨言论）、CADE（接受度）、Disentangling（冒犯性）和 MHS（暴力）。测试了四种 LLM，涵盖两个家族（Qwen 和 Llama）以及两种规模（1.5B/1B 和 7B/8B 参数）。由于 Disentangling 数据集具有平衡的社会人口统计特征（性别、年龄和原籍宏观区域），因此专门使用该数据集进行人口统计对齐分析（RQ2）。

核心结果

不确定性与 HLV (RQ1)： 模型不确定性与 HLV 之间存在一致性。随着人类标注者之间分歧的增加，模型的不确定性（由 NCS 衡量）也相应增加。然而，关于幽灵预测出现了一个反直觉的发现：与较小的模型相比，较大的模型在预测人类未选择的标签时，表现出更高的置信度（较低的不确定性）。这表明较大的模型可能编码了更强的多数文化规范，导致在少数派观点存在的区域，模型虽然预测准确但表现出高度的分歧。
人口统计学错位 (RQ2)： Ghost Annotator 框架揭示了稳健且一致的人口统计学错位模式。无论模型架构（Meta vs. Alibaba）、参数规模（1B 到 8B）或用于剖析模型的数据库如何，模型都系统性地偏离了 18-30 岁、男性、撒哈拉以南非洲（SSA） 这一人口统计群体。相反，它们与 30-50 岁、女性、大洋洲 群体的对齐度最高。
标注者池规模： 尽管 SSA 群体是 Disentangling 数据集中最大的统计群体（ $n=169$ ），但与该群体的错位现象依然存在。这表明，仅仅增加多样化标注者的规模并不能解决错位问题，说明这种偏差并非源于标注阶段的数据稀缺。

意义与主张
本文声称，Ghost Annotator 框架提供了一种通过符合预测实现的统计保证方法，用于评估并将 LLM 定位于人类标注者的多样性空间内。其主要意义在于指出，观察到的人口统计学错位很可能是一种植根于预训练语料库的结构性偏差，而非特定微调或模型架构的产物。

作者认为，由于不同的模型家族和规模都趋向于相同的错位模式，这种偏差存在于任务特定适配的上游。因此，论文建议，如果不对应改变模型的预训练或适配方式，仅靠数据集层面的干预（例如增加标注者的多样性）不足以解决这些偏差。该框架作为一个工具，可以在模型部署前揭示这些结构性分歧，为在创建和增强内容审核训练数据集时更审慎地使用 LLM 提供路径。