💬 NLP

Annotator Positionality as Signal: Psychometric Weighting for Anti-Autistic Ableism Detection

本文介绍了一个经过心理测量学加权的评估框架，该框架优先采纳自闭症标注者的观点，以揭示大型语言模型经常将 reclaimed language（被 reclaim 的语言）误判为歧视性用语，并在评估反自闭症偏见时依赖表面关键词匹配而非语境细微差别。

原作者： Naba Rizvi, Harper Strickland, Saleha Ahmedi, Nedjma Ousidhoum

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Naba Rizvi, Harper Strickland, Saleha Ahmedi, Nedjma Ousidhoum

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何区分朋友间的友好玩笑与陌生人发出的恶意侮辱。这正是本文中的研究人员试图做的事情，但他们聚焦于一个非常具体且敏感的议题：伤害自闭症人士的言语。

以下用简单的类比来拆解他们的研究。

1. 问题：机器人的“默认设置”是错误的

大型语言模型（LLM）就像是在整个互联网上训练出来的超级智能机器人。问题在于，互联网上充斥着关于自闭症的陈旧且有害的观念（例如认为自闭症是一种需要治愈的疾病，或者认为自闭症人士是残缺的）。

当这些机器人试图识别“健全中心主义”语言（即歧视残障人士的语言）时，它们往往会出错，因为它们被困在“神经典型”的思维模式中。它们无法理解：

语境为王：如果一个陌生人说出"aspie"（阿斯伯格）这个词，它可能是一个充满仇恨的蔑称；但如果一个自闭症人士对另一个自闭症人士说出这个词，它可能是一个温暖友好的昵称。
“局外人”的盲点：机器人往往忽略了那些不使用“脏话”却仍将自闭症视为悲剧的微妙侮辱。

2. 解决方案：向正确的人寻求帮助

通常，当研究人员训练机器人时，他们会让一群人投票判断某句话是否有害，少数服从多数。作者指出，这就像让一群从未去过某个国家的人去评判当地的习俗——他们会搞错。

相反，这个团队创建了一个**“心理测量加权”系统**。这就像是为老师（而非仅仅是学生）设定评分曲线。

他们不只是让随机的人去标记句子。
他们让人类标注者接受测试，以衡量他们自身的偏见以及他们与自闭症经历的共鸣程度（使用如 AQ 自闭症特质测试和 IAT 内隐联想测试等工具）。
类比：想象一个法官小组。如果某位法官对某个群体有偏见历史，他们的投票权重就较低。如果某位法官属于该社区或偏见极低，他们的投票权重就更高。
结果：他们发现，“多数投票”（标准方式）实际上压制了自闭症人士的声音。通过提高自闭症人士和低偏见人士的投票权重，他们创造了一个更“严格”且更准确的“真相”。

3. 实验：机器人能学会吗？

研究人员使用这种新的、更严格的“真相”作为基准，测试了 12 种不同的 AI 模型。他们尝试了与机器人对话的不同方式：

零样本（Zero-Shot）：直接让机器人做决定。
思维链（Chain-of-Thought）：让机器人在做决定之前“大声思考”，一步步推理。
角色设定（Personas）：告诉机器人：“假装你是一个自闭症人士。”
示例（Examples）：向机器人展示该做什么的范例。

研究发现：

机器人表现挣扎：即使有最好的指令，机器人的表现也很差。它们几乎不比猜谜强多少。
“关键词”拐杖：机器人就像只死记硬背“脏话”列表的学生。如果一句话里有脏话，它们就标记它；如果没有，它们就忽略了其中的伤害。它们未能理解谁在说话，或者为什么说话。
“思考”技巧无效：即使强迫机器人“一步步思考”，它们仍然依赖表面层面的关键词，而不是理解谁对谁说话这一深层语境。
“角色”陷阱：告诉机器人“你是自闭症人士”并不能神奇地让它们理解该社区。事实上，一些注重安全的机器人变得过于敏感，因为它们害怕犯错，反而将友好的社区用语标记为仇恨言论。

4. 隐藏偏见测试

研究人员还让机器人接受了与人类相同的心理测试（用于衡量偏见），但他们“掩盖”了测试内容，使机器人不知道它们正在接受关于自闭症的测试。

结果：当机器人以为只是在回答普通问题时，它们对自闭症人士表现出的负面态度，比它们知道正在接受测试时更多。这表明，AI 的标准“自我报告”掩盖了其真实的偏见，就像人类在知道自己被监视时可能会隐藏偏见一样。

5. 核心结论

该论文得出结论：

当前 AI 尚未准备好：这些模型还不足以胜任为自闭症社区审核内容的工作。它们要么过于倾向于审查友好的社区言论，要么会漏掉微妙的仇恨言论。
我们需要更好的数据：不能仅靠“多数投票”来决定什么是有害的。你需要倾听那些最受伤害影响的人（自闭症社区）的声音，并更重视他们的观点。
表面层面是不够的：你不能只教机器人寻找脏话。你必须教它理解身份、语境，以及区分“局内人的玩笑”与“局外人的攻击”。

简而言之：该论文认为，要解决 AI 对自闭症人士的偏见，我们不能仅仅要求 AI“友善”。我们必须通过倾听社区的声音，从根本上改变我们衡量“真相”的方式，并且我们需要承认，目前的机器人仍然过于笨拙，若无重大协助，无法胜任这项工作。

技术摘要：标注者立场作为信号：用于检测反自闭症歧视的心理测量加权

问题陈述

大型语言模型（LLMs）正越来越多地被部署于决策流程中（例如内容审核），在此过程中存在放大或压制社区观点的风险。尽管先前的研究已识别出大型语言模型中普遍存在的与残疾相关的偏见，但这些模型如何具体概念化并检测反自闭症歧视的机制仍未得到充分探索。该领域的一个关键挑战在于内部人士/外部人士的区分：自闭症社区为表达团结而重新定义的术语（例如"aspie"、"autie"）可能会被缺乏社区根基知识的自动化系统或人类标注者误判为歧视性用语。此外，依赖多数投票聚合的标准评估方法系统地低估了自闭症及自闭症接纳视角，将标注者身份视为噪声而非有意义的信号。这导致“真实标签”（ground truths）无法捕捉说话者身份、被重新定义的用语以及社区影响的情境细微差别。

方法论

作者提出了一种偏见感知评估框架，将心理测量加权与受控的大型语言模型评估相结合。

1. 心理测量加权的真实标签

该研究不再采用简单的多数投票，而是根据人类标注者测量的偏见水平和自闭症特质对其标签进行加权，从而构建真实标签。

数据来源：来自AUTALIC数据集的 2,120 个句子，被标记为歧视性（1）或非歧视性（0）。
标注者特征描述：标注者完成了三项心理测量工具：
- SATA（社会对自闭症的态度）：测量显性接纳度。
- AQ（自闭症谱系商数）：量化自闭症特质。
- IAT（内隐联想测试）：测量对自闭症的隐性偏见。
加权方案：通过极小 - 极大归一化并平均三项工具得分（其中 IAT 得分反转，使较高值代表较低偏见）来计算综合可靠性分数（ $R_i$ ）。这些分数相对于团队均值进行归一化，以生成最终权重（ $W_i$ ）。真实标签（ $\hat{y}$ ）是标注者标签的加权平均值。
验证：结果显示，这种综合加权方法产生的真实标签比多数投票更为严格（ $p < .001$ ），而仅基于 AQ 的加权则未产生显著差异（ $p = .651$ ）。

2. 大型语言模型评估设置

模型：评估了十二个公开可用的大型语言模型，参数量从 1.35 亿到 200 亿不等，包括指令微调、具备推理能力、面向安全以及未加过滤的变体。
提示条件：八个模型在七种不同条件下进行了测试：
1. 零样本（ZS）：基于定义的框架。
2. 思维链（CoT）：三步推理（说话者身份、关键词与元语境、危害评估）。
3. 上下文学习（ICL）：两个子条件，分别使用高 AQ（自闭症邻近）和低 AQ（非自闭症）标注者的示例。
4. 角色提示：三个子条件，变化身份语言（身份优先、人本优先或中性）。
指标：主要一致性使用科恩 $\kappa$ 相对于加权真实标签进行测量。次要指标包括 F1 分数、精确率、召回率和准确率。

3. 大型语言模型的心理测量评估

为了评估潜在偏见，向大型语言模型施测了 SATA 和 AQ 工具。为了减轻“基于识别的反应”（即模型因训练数据熟悉度而模仿社会期望的回答），研究采用了工具的掩码重写。这包括项目随机化、措辞变化以及包含填充项和效度（虚拟）项，以掩盖问卷的目的。

4. 错误分析

对 92 个采样的大型语言模型输出进行了三角验证的错误分析。三位分析师使用了不同的视角：(1) 主题内容，(2) 残疾研究语言特征，以及 (3) 推理结构。

主要结果

1. 真实标签的构建并非中立

更严格的基线：在 56 种模型 - 条件组合中，心理测量加权的 $\kappa$ 值始终低于未加权（多数投票）的 $\kappa$ 值（平均 $\delta\kappa = -0.012$ ）。这证实了多数投票系统地低估了自闭症视角。
对齐差距：大型语言模型与“可靠”标注者（高信任分数）的一致性显著高于与“自闭症邻近”标注者的一致性，验证了综合加权方案的必要性。
模型差异：面向安全的分类器（LLaMA Guard 3, GPT-OSS）的表现优于通用模型，表明针对特定任务的安全训练编码了对残疾危害的敏感性，这是通用提示无法恢复的。

2. 分类性能

整体性能低下：平均加权 $\kappa$ 为 0.118，平均 F1 为 0.237，表明在该高风险任务上表现接近随机猜测。
精确率 - 召回率失衡：模型表现出系统性的过度分类（高召回率，低精确率），将社区重新定义的术语标记为歧视性。
提示局限性：
- 思维链：虽然思维链消除了“话题转移”（即通过声称文本与自闭症无关来为非歧视性标签辩护），但它未能显著改善“立场推理”（理解说话者身份）。
- 上下文学习与角色提示：上下文学习和角色提示并未一致地提高性能；在某些情况下，它们甚至使高性能模型变得不稳定。

3. 推理失败

错误分析确定了四种主要的失败模式：

表面形式推理：模型严重依赖关键词匹配（占摘录的 41%）而非语境。它们经常错误地将重新定义的术语（例如"aspie"）标记为歧视性，并遗漏了缺乏负面关键词的缺陷导向框架。
立场盲区：关于说话者身份的显性推理极为罕见（总体 10%，思维链条件下 13%），在零样本条件下则完全缺失。
话题转移：模型经常通过声称文本不涉及自闭症来为非歧视性标签辩护，这种行为虽被思维链消除，但被其他错误所取代。
幻觉与刻板印象：模型诉诸刻板印象，并在某些情况下幻觉出话题（例如，将关于“自闭症之声”的句子误识别为反犹太主义）。

4. 大型语言模型中的潜在偏见

掩码揭示偏见：当工具识别线索被掩码时，大型语言模型的反应显示出显著差异：与原始工具相比，SATA 得分下降（表明接纳度降低），AQ 得分上升（表明临床范围内的自闭症特质更高）。
解释：这表明大型语言模型的标准自我报告会引发社会期望的回答，从而掩盖了潜在的反自闭症态度。

意义与主张

该论文声称提供了一种用于有害语言检测的、基于社区且感知偏见的可复制模板。其主要贡献包括：

方法论：证明心理测量加权比多数投票能创建更严格、更准确的真实标签，用于检测反自闭症歧视，具体通过提高具有高自闭症特质和低隐性偏见的标注者的权重来实现。
实证：揭示当前的大型语言模型，即使采用先进的提示策略（如思维链和角色），也无法超越表面关键词来推理说话者身份和被重新定义的用语。
诊断：表明掩码心理测量评估能揭示大型语言模型中隐藏的反自闭症偏见，这些偏见被标准自我报告机制所掩盖。

作者得出结论，在基于社区标注的数据上进行针对特定任务的微调是该领域达到部署级性能的先决条件，而非可选的增强功能。他们强调，当前的模型在影响自闭症社区的任务上表现接近随机猜测，突显了迫切需要以社区视角和立场为中心的评估框架。