SCOPE: A Dataset of Stereotyped Prompts for Counterfactual Fairness Assessment of LLMs
本文提出了名为 SCOPE 的大规模数据集，包含 24 万余条覆盖 12 万对反事实提示、1438 个主题、9 种偏见维度及 1536 个社会群体的多样化指令，旨在通过引入四种沟通意图来系统评估大语言模型在语义一致条件下的群体敏感性与公平性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 SCOPE 的新工具，你可以把它想象成是给大型语言模型（LLM，比如现在的各种 AI 聊天机器人）做的一次"大规模、高精度的公平性体检"。
为了让你更容易理解，我们可以用几个生活中的比喻来拆解这项研究：
1. 为什么要做这个？（背景故事）
想象一下，你开了一家非常聪明的“全能咨询店”（这就是 AI 模型）。顾客来问问题，你希望无论顾客是男是女、来自哪个国家、从事什么职业，你给出的建议都是公平、客观的。
但之前的研究发现，这家店有个毛病：如果顾客稍微换个身份，你的回答就会变样。
- 比如，问“为什么男性容易失业？”，你可能回答得比较温和；
- 但问“为什么女性容易失业？”，你可能就会搬出很多刻板印象，语气变得不同。
以前的研究者手里只有一些老旧的测试题（比如只有几个固定的句子，或者只测试“性别”这一项）。这就像是用几道简单的数学题去测试一个博士生的能力，根本测不出他真正的水平，也发现不了他深层的偏见。
2. SCOPE 是什么？（核心产品）
为了解决这个问题，作者们造了一个超级巨大的测试题库，叫 SCOPE。
- 规模巨大：它包含了 24 万多个 问题，组成了 12 万对 “双胞胎问题”。
- 双胞胎的秘密：每一对问题就像双胞胎，长得一模一样，唯一的区别就是“主角”的身份变了。
- 问题 A：“你觉得黑人医生容易出错吗？”
- 问题 B：“你觉得白人医生容易出错吗？”
- 除了“黑人”和“白人”这两个词不同，其他所有字、语气、背景都完全一样。
- 覆盖面广：
- 1400 多种话题：从工作、健康到日常生活。
- 9 种偏见维度：不仅测性别，还测种族、宗教、年龄、残疾、外貌、性取向等。
- 1500 多个群体：不仅仅是“男/女”，还有具体的“来自某国的某宗教女性”等细分群体。
- 4 种说话方式：模拟人们问 AI 的四种真实场景：
- 提问（Question）：直接问“为什么？”
- 建议（Recommendation）：求推荐“我该选哪个？”
- 指令（Direction）：让 AI 做某事“请告诉我怎么做。”
- 澄清（Clarification）：确认信息“你是说……吗？”
3. 这个工具是怎么造出来的？（制作过程）
作者们没有凭空捏造，而是像炼金术士一样，从旧有的“偏见矿石”（之前的数据集）中提炼出了精华。
- 提取核心：他们把旧数据里那些带有偏见的句子，拆解成“核心概念 + 弱势群体 + 优势群体”的公式。
- 例子：把“同性恋男性很情绪化”和“异性恋男性很情绪化”拆解成
<情绪敏感度，同性恋男性，异性恋男性>。
- 例子：把“同性恋男性很情绪化”和“异性恋男性很情绪化”拆解成
- 人工审核：就像老师批改作业一样，研究人员手动检查了成千上万个公式，确保它们准确无误，没有歧义。
- 批量生成：利用更先进的 AI（GPT-4），根据这些公式，生成了上面提到的 24 万个问题。AI 被要求：必须保持意思完全一样，只是换个主角，而且要用不同的方式说话。
4. 怎么用这个工具？（应用场景）
有了 SCOPE，研究人员和开发者就可以像质检员一样使用它：
- 场景一：公平性测试（照镜子）
把一对“双胞胎问题”同时扔给 AI。如果 AI 对“黑人”的回答充满偏见，而对“白人”的回答很客观，那就说明 AI 照出了“偏见之镜”，它不公平！ - 场景二：鲁棒性测试（抗压测试）
看看 AI 是不是“看人下菜碟”。如果换了个身份，AI 的回答突然变长了、变谨慎了，或者逻辑变了，说明它不够稳定，容易被身份标签带偏。 - 场景三：不同语气的偏见（变脸测试）
以前大家只关注 AI 在“回答问题”时是否公平。现在 SCOPE 可以测试：AI 在“给建议”时是否比“回答问题”时更爱搞歧视？这能帮我们发现更隐蔽的偏见。
5. 一个小实验（实际效果）
作者们拿这个工具去测了 Google 的 Gemini 模型。
- 结果：虽然 Gemini 在宏观故事上差不多，但在细节解释和用词上，对不同的种族和性别表现出了微妙的差异。
- 意义：这证明了即使是很先进的模型，在细微之处也会“看人下菜碟”，而 SCOPE 能精准地抓出这些细微的差别。
总结
SCOPE 就像是一套给 AI 准备的“全方位、高难度、多角度的公平性考卷”。
它不再满足于只问几个简单的问题，而是通过成千上万对精心设计的“双胞胎问题”，逼迫 AI 在保持逻辑一致的前提下，面对不同的社会群体。这能帮助开发者发现并修复 AI 的“偏见漏洞”，让未来的 AI 真正成为一个一视同仁、公正无私的助手。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。