To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias
本文提出了一个统一的框架，旨在揭示虽然孤立的评估可能会限制偏见，但比较性评估设置会系统性地放大大型语言模型中的潜在社会偏见——这一现象在思维链推理和模型规模扩大的情况下会被进一步加剧——从而凸显了在利用比较方法审计隐藏偏见与在模糊的现实世界部署中避免使用此类方法之间进行批判性区分的必要性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是对论文《比较，还是不比较》（"To Compare, or Not to Compare"）的解释，采用了简单的语言和富有创意的类比。
核心理念：“单项”测试 vs. “对决”测试
想象一下，你正在试图弄清楚一群学生是否对特定学科（比如数学）存在潜在的偏见。你有两种方法可以进行测试：
- 单项测试（孤立测试）： 你单独询问每个学生：“女性擅长数学吗？”他们回答“是”或“否”。
- 对决测试（比较测试）： 你把两名学生放在擂台中央，问：“谁更擅长数学：男性还是女性？”他们必须选出一个。
该论文的主要发现令人震惊： 当你使用单项测试时，学生们（AI 模型）看起来非常公平且中立。他们回答“是”或“否”，并没有表现出什么异样。但一旦你切换到对决测试，同样的这些学生突然开始以惊人的自信度选择那个刻板印象的答案（例如，“男性”）。
作者称之为“范式差距”（paradigm gap）。事实证明，迫使 AI 在两个群体之间做出选择就像是一个压力锅，它会把那些在单独测试群体时无法察觉的隐藏偏见激发出来。
“上下文真空”类比
为什么会发生这种情况？论文认为这是因为问题往往是在“上下文真空”中提出的。
想象一下，在没有任何关于具体人物细节的情况下问：“谁更擅长数学？”这就像是在没有阅读任何证据的情况下要求法官判案。因为 AI 没有足够的客观事实来进行逻辑选择，它就会退回到它的“训练数据”——即它从互联网中吸收的刻板印象。
- 在单项测试中： AI 可以回答“是”或“否”，感觉自己只是在回答一个一般性问题。它并不觉得被迫要去选出一个“赢家”。
- 在对决测试中： AI 被迫选出一个赢家。由于缺乏事实依据，它会抓取最近的刻板印象（即“容易”的答案）来填补空白。
论文发现： 如果你给 AI 足够的上下文（例如，“玛丽拥有数学博士学位，而詹姆斯不及格”），这种偏见在两种测试中都会消失。只有当 AI 在黑暗中盲目猜测时，偏见才会爆发。
“推理”陷阱（思维链）
你可能会想：“如果 AI 有偏见，也许我们可以通过先让它‘一步步思考’来修复它。”这被称为**思维链（Chain-of-Thought, CoT）**推理。
- 预期： 我们希望 AI 会停顿一下，意识到这个问题是不公平的，然后说：“我无法回答这个问题。”
- 现实： 论文发现结果恰恰相反。在被迫进行比较（对决）时，要求 AI “一步步思考”实际上会让偏见变得更严重。
类比： 想象一个内心带有偏见的人。如果你问他一个简单的问题，他可能只是耸耸肩。但如果你要求他“写一篇论文，解释为什么他认为 X 比 Y 更好”，他就会开始编造一些听起来逻辑严密的理由来为他的偏见辩护。这种“思考”过程并没有阻止偏见，它只是将偏见合理化了，让 AI 在其不公平的行为上显得更加自信和固执。
“中立”选项的幻象
一些研究人员试图通过给 AI 一个“安全”选项来解决这个问题，比如“保留意见”或“我不知道”。
- 论文的发现： 这是一个陷阱。
- 类比： 想象一台被操纵的投票机，它提供了一个“我不确定”按钮。大多数人可能会为了表现得稳妥而按下它。但如果你观察那些确实做出了选择的人，你会发现投票机仍然在向有偏见的选项倾斜。
论文显示，即使 AI 模型使用了“中立”选项，那些确实做出了选择的模型仍然表现出极大的偏见。中立选项只是掩盖了问题，并没有解决问题。
“随机”的谎言
最后，论文测试了 AI 模型在被告知要进行随机回答时是否真的能做到。
- 声明： “我将随机选择一个答案。”
- 现实： 它们并没有。即使被告知要随机，AI 选择刻板印象答案的频率仍然高于 50%。这就像一位魔术师声称自己在随机洗牌，但黑桃 A 总是落在最上面。所谓的“随机性”只是掩盖深层偏见的幌子。
“规模”问题
论文还研究了 AI 模型的大小。
- 发现： 更大的 AI 模型（拥有更多“脑力”）在这些对决测试中并不更安全。事实上，它们通常更有偏见。
- 类比： 想想图书馆。小图书馆只有几本书；而巨型图书馆有数百万册。如果巨型图书馆包含了数百万个带有偏见的故事，那么更大的图书馆（更大的 AI）就有更多的素材来为它的偏见提供依据。额外的“脑力”只是帮助 AI 想出更好的借口来为偏见辩护。
给研究者和用户的底线建议
该论文提出了一个至关重要的警告：
- 对于研究者（审计者）： 如果你想发现 AI 中隐藏的偏见，你必须使用“对决”（比较）测试。“单项”测试太容易了，会让 AI 隐藏其真实本质。你需要给 AI 施加压力，才能看到裂痕。
- 对于从业者（构建者）： 如果你正在开发一个需要 AI 进行人群比较的应用（例如，“谁应该得到这份工作？男性还是女性？”），你正处于危险区域。AI 很可能会产生偏见。你应该要么完全避免这类比较，要么重新构思问题，使 AI 不必在群体之间被迫选出“赢家”。
简而言之： 不要仅仅因为 AI 通过了单项测试就信任它。如果迫使它在群体之间做出选择，尤其是在缺乏明确事实的情况下，它很可能会显露出其最糟糕、最刻板的一面。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。