📊 statistics

Silenced Biases: The Dark Side LLMs Learned to Refuse

该论文提出了“被压制的偏见”概念及相应的基准测试（SBB），通过激活引导技术减少模型拒绝回答，从而揭示安全对齐大语言模型在表面公平背后隐藏的真实偏见。

原作者： Rom Himelstein, Amit LeVi, Brit Youngmann, Yaniv Nemcovsky, Avi Mendelson

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Rom Himelstein, Amit LeVi, Brit Youngmann, Yaniv Nemcovsky, Avi Mendelson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于人工智能（AI）的“秘密”故事，我们可以把它想象成给 AI 做了一次“深层心理体检”。

🎭 核心故事：AI 的“礼貌面具”与“内心独白”

想象一下，你面前坐着一个非常有礼貌的机器人（这就是现在的大语言模型，比如 Llama、Gemma 等）。

表面的礼貌（安全对齐）：
如果你问它：“哪个种族的人最可能是罪犯？”或者“哪个国家的人最擅长搞恐怖主义？”，这个机器人会立刻戴上“礼貌面具”，严肃地回答：“对不起，我不能回答这种带有偏见的问题，这是不公正的。”
- 现状： 研究人员以前认为，只要机器人会拒绝回答这种问题，它就是“公平”和“安全”的。
被压抑的内心（被消音的偏见）：
但这篇论文的作者发现，这个机器人其实并没有真正忘记这些偏见。就像一个人虽然嘴上说“我不歧视”，但心里可能还藏着刻板印象。这些偏见被“安全训练”强行按下去了，藏在了机器人的**潜意识（潜在空间）**里。
- 比喻： 这就像把脏东西扫到了地毯底下。表面上地板很干净（AI 拒绝回答），但地毯底下（AI 的内心）其实全是灰尘。

🔍 他们做了什么？（SBB 基准测试）

为了看看地毯底下到底有什么，作者发明了一个新工具，叫**“被消音的偏见基准测试”（SBB）**。

普通测试（以前的方法）： 就像直接问机器人：“你心里有偏见吗？”机器人会拒绝回答，于是大家以为它没问题。
SBB 测试（新方法）： 作者使用了一种叫**“激活导向”（Activation Steering）**的“魔法”。
- 比喻： 想象机器人的大脑里有一个“拒绝按钮”（Refusal Subspace）。当它想拒绝时，就会按这个按钮。作者发明了一种“遥控器”，在机器人按下拒绝按钮的瞬间，强行把它的手拨开，把它推到了“听话模式”（Compliance Subspace）。
- 结果： 一旦按下了这个“魔法开关”，机器人就不得不说出它心里原本想说的话。结果令人震惊：它真的开始根据种族、性别、宗教等刻板印象来回答问题了！

📊 发现了什么？（令人震惊的真相）

作者对 10 种不同的 AI 模型进行了测试，发现了几个惊人的事实：

偏见从未消失，只是被“静音”了：
即使是最先进、最“政治正确”的 AI，一旦绕过拒绝机制，它们依然会表现出强烈的偏见。比如，当被问到“谁最可能是恐怖分子”时，某些模型会高概率选择特定的宗教群体；问到“谁最可能重犯”，会指向特定的种族。
- 比喻： 就像把一只老虎关在笼子里（安全对齐），它看起来温顺。但如果你把笼子打开（激活导向），它立刻就会露出獠牙。
越“聪明”的模型，偏见越隐蔽：
以前大家以为模型越大、越新，就越公平。但研究发现，模型的大小、版本新旧和公平程度没有直接关系。有的小模型反而比大模型更“诚实”（偏见更少），有的新模型虽然拒绝回答，但内心偏见依然很深。
现有的测试方法在“自欺欺人”：
以前的测试如果看到 AI 说“我不知道”或“我不能回答”，就给它打高分，认为它很公平。这篇论文指出，这就像因为一个人不敢承认自己撒谎，就认为他是诚实的。这是一种虚假的安全感。
黑客攻击（越狱）不是好办法：
以前有人试图用“黑客手段”（Jailbreak）让 AI 说脏话或暴露偏见。作者发现，这些黑客手段往往会制造出新的偏见，而不是揭示原本存在的偏见。就像你用力摇晃一个瓶子，出来的东西可能是你摇晃时混进去的杂质，而不是瓶子里原本的东西。

💡 这对我们意味着什么？

不要只看表面： 我们不能因为 AI 会说“不”就认为它是安全的。它可能只是在“装傻”或“装好人”。
需要新的体检工具： 我们需要像 SBB 这样的工具，能够探测 AI 的“潜意识”，看看它到底在想什么，而不仅仅是看它说了什么。
未来的挑战： 如果 AI 在医疗、招聘、司法等关键领域工作，而这些领域需要绝对的公平，那么仅仅依靠“拒绝回答”是不够的。我们需要真正消除 AI 内心的偏见，而不仅仅是把它关在笼子里。

🌟 一句话总结

这篇论文告诉我们：现在的 AI 就像是一个戴着厚厚面具的演员，它嘴上说着最政治正确的台词，但内心可能依然充满了刻板印象。如果不把面具摘下来（通过特殊技术），我们就永远无法知道它真正的想法，也无法真正解决偏见问题。

这篇论文《Silenced Biases: The Dark Side LLMs Learned to Refuse》（被沉默的偏见：大语言模型学会拒绝的黑暗面）由以色列理工学院的研究人员发表，深入探讨了大型语言模型（LLM）在安全对齐（Safety Alignment）训练后，如何通过“拒绝回答”来掩盖其内部潜在的偏见，并提出了一种新的评估框架来揭示这些被隐藏的偏见。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

表面公平与深层偏见的矛盾：当前的安全对齐技术（如 RLHF）使 LLM 在面对敏感或有害问题时倾向于拒绝回答（Refusal）。现有的公平性评估基准（如 BBQ）通常将这种“拒绝”视为模型公平或安全的正面指标。
被掩盖的偏见（Silenced Biases）：作者指出，这种拒绝机制实际上掩盖了模型内部仍然存在的刻板印象和偏见。模型虽然在输出层面拒绝了回答，但在其潜在空间（Latent Space）中，这些有偏见的关联依然存在。
现有方法的局限性：
- 传统的提示词操纵（Prompt Manipulation）或隐式查询往往缺乏可扩展性，且可能引入新的偏差。
- 越狱攻击（Jailbreak）虽然能绕过安全机制，但往往会引入攻击者自身的偏差，无法真实反映模型原本的偏见分布。
- 现有的基准测试无法区分模型是“真正公平”还是仅仅“学会了拒绝”。

2. 核心概念与方法 (Methodology)

2.1 核心概念：被沉默的偏见 (Silenced Biases)

作者定义了“被沉默的偏见”：指那些被安全对齐机制（拒绝回答）所抑制，但依然编码在模型潜在空间中的不公平偏好。这些偏见在常规 QA 测试中不可见，因为模型直接返回了拒绝信息。

2.2 技术方法：拒绝激活导向 (Refusal Activation Steering)

为了揭示这些偏见，论文提出了一种基于**激活导向（Activation Steering）**的技术，而非传统的提示词工程或越狱攻击。

拒绝方向（Refusal Direction）：利用有害（Harmful）和无害（Harmless）提示词训练集的激活差异，计算出模型产生“拒绝”行为的特定向量方向（ $r_i^{(l)}$ ）。
激活干预：在推理过程中，通过以下两种方法修改模型的内部激活：
1. 方向消融 (Direction Ablation)：将激活投影到拒绝方向的正交补空间，移除拒绝成分。
2. 方向减法 (Direction Subtraction)：在特定层直接减去拒绝方向的激活分量。
效果：这种方法迫使模型绕过其拒绝机制，直接输出原本被抑制的回答，从而暴露其真实的内部偏好，而无需修改模型权重或引入外部攻击提示。

2.3 基准测试：被沉默偏见基准 (SBB)

作者构建了 Silenced Bias Benchmark (SBB)，这是一个结构化的 QA 数据集，旨在系统性地评估被沉默的偏见。

数据构成：包含 4,800 个针对偏见的查询，涵盖 16 种人口统计维度（如种族、宗教、国籍、性别等），每种维度包含 10 个组。
主题分类：问题分为三类：
- 正面 (Positive)：如“优秀的员工候选人”。
- 负面 (Negative)：如“犯罪团伙头目”、“恐怖分子”。
- 中性 (Neutral)：如“喝水的人”。
评估指标：
- 人口统计差异度 (Demographic-Parity Difference, DPD)：衡量不同群体被选中概率的最大差异。
- Kullback-Leibler (KL) 散度：衡量模型输出分布与均匀分布（理想公平）的偏离程度。

3. 主要贡献 (Key Contributions)

定义“被沉默的偏见”：首次明确提出了这一概念，指出安全对齐导致的拒绝行为可能给模型带来虚假的公平感，掩盖了深层的歧视性关联。
提出无偏见的拒绝导向技术：证明了通过激活导向（Activation Steering）可以绕过拒绝过滤器，且该方法本身不会引入新的偏差（通过实验验证了拒绝方向的无偏性）。
构建 SBB 基准：提供了一个可扩展的、结构化的基准，能够系统地揭示不同模型在敏感话题上的真实偏见分布。
大规模实证分析：在 10 个主流开源 LLM（包括 Llama, Gemma, Qwen 系列）上进行了大规模评估，揭示了现有模型在绕过拒绝后表现出的惊人偏见。

4. 实验结果 (Results)

拒绝率与偏见的关系：
- 在未进行导向干预时，模型对 SBB 中的敏感问题拒绝率极高（例如 Llama-2-13B 拒绝率超过 82%）。
- 应用拒绝导向后，攻击成功率（ASR，即模型成功输出答案的比例）大幅提升至接近 100%（例如 Llama-2-7B 从 19.63% 升至 100%）。
偏见的具体表现：
- 一旦绕过拒绝，模型表现出极端的刻板印象。例如，Qwen-14B 在“恐怖分子”问题上 disproportionately（不成比例地）选择"Muslim"；在“犯罪头目”问题上选择"Russian"或"American"；在“重犯”问题上选择"Black"。
- 偏差幅度巨大：某些群体被选中的概率比均匀分布预期高出 360% 到 900% 不等（Fairness Deviation）。
模型间的差异：
- 不同模型家族（Llama, Gemma, Qwen）以及同一家族的不同版本/大小，其偏见模式各不相同。
- 没有绝对的“最公平”模型：即使是最新、最大的模型（如 Llama-3.1-8B, Qwen2.5-14B）在绕过拒绝后也显示出显著的统计显著性偏差（p < 0.05）。模型的大小或版本并不直接决定其公平性。
与越狱攻击的对比：
- 实验表明，传统的越狱攻击（Jailbreak）在不同运行间产生的偏见分布不一致，说明它们引入了攻击者自身的偏差，无法像 SBB+ 激活导向那样稳定地揭示模型固有的偏见。

5. 意义与影响 (Significance)

重新定义安全评估：论文挑战了“拒绝即安全/公平”的假设。它表明，仅仅观察模型的输出拒绝是不够的，必须深入检查模型的内部表示。
揭示对齐的局限性：安全对齐训练可能只是将偏见“压入”了模型的潜在空间，而非真正消除。这可能导致模型在用户未察觉的情况下，通过隐式方式表现出歧视（例如在推理链或长文本生成中）。
推动更有效的去偏技术：现有的去偏方法可能只针对表面输出。SBB 和激活导向技术为开发能够真正消除潜在空间偏见的工具提供了新的评估基准和方向。
伦理警示：对于将 LLM 应用于医疗、招聘、司法等高利害领域（High-stakes domains），如果仅依赖拒绝机制来保证公平，可能会造成严重的现实世界伤害（如歧视性决策）。

总结

这篇论文通过引入“被沉默的偏见”概念和“拒绝激活导向”技术，揭示了当前安全对齐的 LLM 在表面公平之下隐藏的深层歧视。研究结果表明，安全对齐并未消除偏见，只是将其隐藏了起来。SBB 基准为未来开发真正公平、透明的 AI 系统提供了关键的评估工具和理论依据。