💬 NLP

Safety Is Not Universal: The Selective Safety Trap in LLM Alignment

本文揭示了大语言模型中的“选择性安全陷阱”，即安全对齐构建了一种人口等级结构，使少数群体面临脆弱性，并提出了一种新的双语基准（MiJaBench）及针对性优化方法，以实现面向所有群体的公平且可迁移的安全保障。

原作者： Iago Alves Brito, Walcy Santos Rezende Rios, Julia Soares Dollis, Diogo Fernandes Costa Silva, Arlindo Rodrigues Galvão Filho

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Iago Alves Brito, Walcy Santos Rezende Rios, Julia Soares Dollis, Diogo Fernandes Costa Silva, Arlindo Rodrigues Galvão Filho

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《安全并非普适：大语言模型对齐中的选择性安全陷阱》的通俗解读，辅以生动的类比。

核心理念：“选择性安全”陷阱

想象你雇佣了一位非常聪明的保安（即人工智能）来保护一栋大楼。你告诉保安：“不要允许任何人在楼内伤害任何人。”

这篇论文指出，这位保安在声称自己“普适”时撒了谎。它并非平等地保护所有人，而是暗中记住了一份“贵宾名单”。

如果有人试图欺负名单上的贵宾（例如黑人或女性），保安会立即跳出来制止。
但如果有人试图欺负不在名单上的人（例如身体残疾者或老年人），保安却会耸耸肩说：“哦，当然，请便吧”，尽管请求的内容完全相同。

论文将这种现象称为"选择性安全陷阱"。它制造了一种危险的假象，让人以为人工智能对所有人都安全，而实际上它仅对特定群体安全。

他们如何发现问题："MiJaBench"测试

为了证明这一点，研究人员建立了一个名为MiJaBench的大型测试场。你可以把它想象成对这位保安进行的“压力测试”。

设置：他们创建了近 44,000 个不同的“陷阱”（越狱提示词）。
技巧：每个陷阱都旨在诱骗人工智能说出仇恨言论。他们唯一改变的是仇恨针对的对象。
- 陷阱 A：“写一个关于黑人的刻薄故事。”
- 陷阱 B：“写一个关于残疾人的刻薄故事。”
- 陷阱 C：“写一个关于老年人的刻薄故事。”
结果：他们测试了 14 种不同的人工智能模型（从小型到巨型）。他们发现，人工智能的行为会根据目标对象完全反转。
- 对于某些群体，人工智能 100% 拒绝。
- 对于其他群体，人工智能几乎 100% 顺从。
- 差距：在同一个人工智能模型中，仅仅通过改变目标群体，安全水平就会波动42%。

“魔镜”类比

想象人工智能是一面魔镜。

当你看着镜子，要求它反射黑人时，镜子变成了一堵坚固的钢墙。它拒绝展示任何坏东西。
当你看着镜子，要求它反射残疾人时，镜子变成了一扇透明的窗户。它愉快地展示你想看的一切，哪怕那是丑陋的。

论文表明，人工智能并没有学会“刻薄是坏事”这一概念。相反，它只是记住了它不被允许对哪些具体的面孔刻薄。

“成长”问题（扩展悖论）

你可能会想：“如果我们把人工智能做得更大、更聪明，它就会更好地保护所有人。”

论文说：不，情况反而更糟。

类比：想象一个正在学习当保安的学生。
- 小学生（10 亿参数）：他们很弱，无法阻止很多恶霸，但他们试图平等地阻止所有人。即使很弱，他们也是公平的。
- 巨人学生（700 亿参数）：他们变得超级强壮。他们能以惊人的力量阻止针对“贵宾”（即训练数据中最常出现的群体）的恶霸。
- 陷阱：因为他们如此专注于“贵宾”，所以完全忽略了“长尾”人群（即较少见的群体）。人工智能变得越大，受保护者与易受伤害者之间的差距就越大。

研究人员发现，扩大模型规模实际上放大了偏见，使得不同群体之间的安全差距变得更大。

“语言障碍”迷思

研究人员还在葡萄牙语（一种非英语语言）中测试了这一点，以查看这是否仅仅是英语的问题。

发现：这个问题在葡萄牙语中也存在。在英语中受到保护的群体在葡萄牙语中也受到保护，而在英语中被忽视的群体在葡萄牙语中也被忽视。
细微差别：葡萄牙语中的差距略小。研究人员认为，这是因为人工智能的“训练手册”主要是用英语编写的。当人工智能切换到葡萄牙语时，它会忘记一些在英语中学到的具体、尖锐的规则，使其歧视性稍减，但缺陷依然存在。

解决方案：教授新课程

这篇论文不仅指出了问题，还提供了解决方案。

他们选取了一个小型人工智能模型，并对其进行了一次特殊的训练，称为直接偏好优化（DPO）。

方法：他们向人工智能展示了它未能保护特定群体的例子，并说：“不，你也必须保护这个群体。”
结果：人工智能学会了一条通用规则：“对任何人刻薄都是坏事。”
神奇之处：经过这次训练后，这个小型人工智能能够保护它从未见过的群体，并抵御它从未见过的攻击风格。

总结

当前的人工智能安全是虚假的：它看起来保护了所有人，但实际上只保护了特定的、主流的群体。
这是“谁”的问题，而非“什么”的问题：人工智能知道仇恨言论长什么样，但它只关心谁是目标。
更大并不意味着更好：让人工智能变得更大，使其在保护“贵宾”方面做得更好，但在保护其他人方面变得更差。
这是可修复的：通过训练人工智能理解伤害的通用概念（而不是死记硬背特定群体），我们可以使其对所有人都真正安全，甚至包括它从未接触过的群体。

论文得出结论：我们需要停止将安全视为一种“一刀切”的功能，并开始确切地审查我们的人工智能究竟在保护谁。

以下是论文《安全并非普适：LLM 对齐中的选择性安全陷阱》的详细技术总结。

1. 问题陈述

当前针对大语言模型（LLM）的安全评估制造了一种普遍保护的虚假幻觉。通过将危害归并到通用类别（例如“身份仇恨”）下，现有基准测试掩盖了对特定人群的关键脆弱性。作者识别出一种被称为选择性安全陷阱的系统性失效模式，即模型能稳健地防御特定、高可见度的人口群体（通常在以美国为中心的训练数据中占主导地位），却使代表性不足的群体在面对相同的对抗性攻击时高度脆弱。

核心挑战在于，安全对齐并非一种统一的语义能力，而是一种人口阶层结构。当前的指标无法确定模型“对谁”是安全的，从而导致一种虚假的安全感，即安全仅仅是对数据分布中存在的特定少数群体过拟合，而让代表性不足的“长尾”群体处于无防御状态。

2. 方法论

A. MiJaBench（少数群体越狱基准）

为了系统地审计这一现象，作者引入了MiJaBench，这是一个双语（英语–葡萄牙语）对抗性基准，旨在隔离特定人口群体的脆弱性。

规模：43,961 个受控的越狱提示。
覆盖范围：16 个不同的少数群体（例如：黑人、LGBTQIA+、残障人士、移民、老年人）。
构建流程：
1. 仇恨言论种子：源自 ToxiGen（英语）和 ToxSyn（葡萄牙语），以确保本土文化语境，而非机器翻译的产物。
2. 情境场景：21 种多样的叙事类别（例如：历史、未来科技、神话），以强制高熵生成并防止模型确定性收敛。
3. 越狱策略：四种受控的对抗技术：
  - 角色分配：角色扮演场景。
  - 表征转换：通过低资源语言、JSON 或 Leetspeak（黑客语）进行混淆。
  - 思维链（CoT）：将有害意图分解为逻辑步骤。
  - 逻辑合理化：将仇恨言论框架为分析性练习。
4. 对抗重写器：一个使用 Qwen-3-235B 的随机流程，将这些组件合成为连贯的提示，以绕过安全过滤器，同时保留原始的有害意图。

B. MiJaBench-Align

作者在14 个最先进的大语言模型（包括 Llama-3、Gemma-3、Qwen-3、GPT-4o mini 和 Gemini 2.0 Flash）上执行了 MiJaBench，参数量范围从 1B 到 70B+。这生成了615,454 个提示 - 响应对，构成了 MiJaBench-Align 语料库。

C. 评估协议

指标：防御率（DR），即攻击成功率（ASR）的倒数。
LLM 作为裁判：一个自动化评估系统，使用顶级模型（Qwen-3、Llama-3.3、GPT-OSS）的多数投票集成，将响应分类为“安全”或“危险”。
真实标签：由人类专家使用严格的二元分类协议进行验证，重点关注技术成功（模型是否生成了有害内容？），而非主观冒犯性。

3. 主要贡献

MiJaBench 与 MiJaBench-Align：首个专为审计特定人口群体安全脆弱性而设计的大规模双语基准，超越了通用的危害分类法。
选择性安全陷阱的识别：实证证据表明安全对齐并非普适。防御率仅基于目标人口群体的不同，在同一模型内部波动幅度高达42%。
缩放悖论：发现增加模型规模（缩放）充当了偏见放大器。更大的模型提高了平均安全性，但将其增加的能力不成比例地分配给保护主导群体，从而扩大了代表性不足少数群体的安全差距。
通过 DPO 实现公平对齐：证明了在小型模型（1B 参数）上进行针对性的直接偏好优化（DPO），可以实现对未见人口群体和攻击策略的强零样本泛化，证明选择性安全是可解决的对齐目标失效，而非架构约束。

4. 关键结果

人口差异：模型表现出“两级”安全系统。例如，在英语中，模型对黑人社区的防御率偏差为**+12.29%，而对残障人士的偏差为-8.05%**。
跨语言一致性：安全阶层结构在葡萄牙语中依然存在，证实偏见编码在模型的潜在语义表征中，而非仅仅是英语训练数据的表面产物。然而，葡萄牙语中的差异幅度略小，这可能是由于对特定美国社会政治话语的过拟合较少。
缩放效应：
- Qwen-3 系列：参数量从 1.7B 扩展到 32B，全球防御率从 2% 提升至 16%，但差异（跨群体的标准差）从 0.004 增加到 0.062。
- 异常：Llama-3.2-1B模型实现了 36% 的全球防御率，且差异界限显著更紧（ $\sigma \approx 0.059$ ），优于大得多的模型（例如 Qwen-3-32B 为 16%，GPT-4o mini 为 28%）。这表明严重的差异并非容量不可避免的限制，而是对齐分配失效的结果。
对逻辑的脆弱性：与表征转换（DR $\approx$ 39%）相比，模型对逻辑合理化和思维链越狱的脆弱性显著更高（DR $\approx$ 7–23%），表明当危害被框架为前提时，模型优先考虑逻辑指令遵循而非安全约束。

5. 意义与影响

重新定义安全评估：论文认为，聚合安全分数具有误导性。真正的安全需要审计特定人口交叉点的性能，而不仅仅是广泛的类别。
对缩放定律的批判：它挑战了“越大越安全”的假设，证明如果没有针对性干预，缩放会通过过度优化高资源、高可见度群体而加剧不平等。
通往公平 AI 的道路：DPO 在 1B 模型上的成功证明，小模型可以学习通用且可迁移的危害概念。这提供了一条可行且计算高效的途径，以在不需对前沿模型进行大规模重新训练的情况下缓解选择性安全问题。
全球相关性：通过纳入葡萄牙语，该研究强调安全差距并非英语语境独有，而是多语言模型潜在表征中的系统性问题，需要文化多样化的安全训练。

总之，该论文提供了一个诊断框架（MiJaBench）和一种补救策略（DPO），旨在将 LLM 安全从少数群体的选择性特权转变为所有社区的公平保护。