💬 NLP

Refusal Direction is Universal Across Safety-Aligned Languages

该论文通过多语言数据集 PolyRefuse 发现，大语言模型中的拒绝机制存在跨语言通用性，即从任意安全对齐语言中提取的拒绝方向向量均能无缝绕过其他语言的拒绝机制，揭示了跨语言越狱的深层机理并为构建更鲁棒的多语言安全防御提供了关键见解。

原作者： Xinpeng Wang, Mingyang Wang, Yihong Liu, Hinrich Schütze, Barbara Plank

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinpeng Wang, Mingyang Wang, Yihong Liu, Hinrich Schütze, Barbara Plank

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大型语言模型（LLM）做一次“跨语言的心理体检”。研究人员发现了一个惊人的秘密：模型说“不”的机制，竟然像是一种通用的“肌肉记忆”，不管你说什么语言，它背后的“拒绝开关”都是一样的。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这项研究：

1. 核心发现：通用的“拒绝开关”

想象一下，大型语言模型是一个拥有 14 种不同语言口音的超级翻译官。以前大家认为，它用英语拒绝坏人时，脑子里想的是“英语版的拒绝”；用中文拒绝时，想的是“中文版的拒绝”。

但这项研究发现，模型脑子里其实只有一个“拒绝开关”（在数学上称为“拒绝方向向量”）。

比喻： 就像你按下了一个通用的“静音键”。无论你是在用英语、中文、德语还是泰语说话，只要按下这个特定的“静音键”，模型就会立刻停止说话（拒绝回答）。
惊人的实验： 研究人员从英语中找到了这个“开关”，然后把它直接“移植”到中文、泰语甚至约鲁巴语（一种西非语言）的模型里。结果发现，只要用英语的“开关”去干扰中文的对话，模型就会立刻失去拒绝能力，开始胡言乱语。 反之亦然，用中文找到的开关也能搞定英语。

2. 为什么这很危险？（跨语言越狱）

这就解释了为什么现在的“跨语言越狱”攻击这么容易成功。

比喻： 想象模型是一个守卫森严的城堡。以前大家以为城堡有 14 道不同的门（14 种语言），每道门都有不同的锁。
现实： 研究人员发现，这 14 道门其实共用同一把钥匙。如果你偷到了英语门的钥匙，你不仅能打开英语门，还能直接打开中文、日语、俄语的所有门。
后果： 攻击者不需要懂所有语言，只需要用英语找到那个“拒绝开关”，就能让模型在所有语言下都“失守”，把有害信息（比如教人制造炸弹、进行网络暴力）毫无保留地输出出来。

3. 为什么有些语言更容易“失守”？（聚类模糊）

既然开关是通用的，为什么有些语言（如英语）模型还能守住，而有些语言（如约鲁巴语）模型几乎完全“失守”呢？

比喻： 想象模型的大脑里有一个“好坏分类区”。
- 英语区： 这里像是一个整理得井井有条的仓库，“坏东西”和“好东西”被分得很清楚，中间隔着一条深深的沟壑。即使有人按了“拒绝开关”，模型也能因为分得清，勉强守住底线。
- 非英语区（特别是低资源语言）： 这里的仓库乱成一团，“坏东西”和“好东西”混在一起，界限模糊。
结论： 当攻击者按下了通用的“拒绝开关”（或者移除了它），在英语区，模型可能只是稍微犹豫一下；但在那些“混乱”的语言区，模型根本分不清什么是坏的，所以一旦开关被干扰，它就直接顺着坏人的意思说了。

4. 研究的意义：给未来的安全防御指路

这项研究就像给安全专家画了一张“藏宝图”：

统一防御： 既然“拒绝开关”是通用的，我们不需要为每种语言单独造一个防御系统。只要把这个通用的开关加固好，就能同时保护所有语言。
清理仓库： 仅仅加固开关还不够。我们还需要把那些“混乱”的语言仓库（非英语的嵌入空间）整理好，把“好”和“坏”分得更清楚。只有当模型能清晰地区分好坏时，通用的“拒绝开关”才能真正发挥作用。

总结

简单来说，这篇论文告诉我们：大模型说“不”的能力，本质上是一种跨越语言的通用本能。 但这种本能很脆弱，如果模型在某种语言里连“什么是坏”都分不清，那么只要有人稍微干扰一下这个通用的“拒绝开关”，模型就会在所有语言下彻底“破防”。

未来的安全策略，不仅要修好那个通用的“开关”，更要帮模型把每种语言里的“是非观”都梳理得清清楚楚。

这是一篇关于大型语言模型（LLM）多语言安全机制的深入技术论文总结。该论文题为《Refusal Direction is Universal Across Safety-Aligned Languages》（拒绝方向在安全对齐的语言中具有普适性），由慕尼黑大学（LMU Munich）和慕尼黑机器学习中心（MCML）的研究团队发表。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景： 大型语言模型（LLM）通过人类反馈强化学习（RLHF）等对齐技术被训练为拒绝有害、不道德或违反政策的请求。然而，现有的安全对齐研究主要集中在英语语境下。
核心问题：
1. 跨语言漏洞： 攻击者发现，使用非英语提示词（Cross-lingual jailbreaks）可以绕过模型在英语中表现良好的拒绝机制。
2. 机制不明： 尽管已知 LLM 的拒绝行为可以通过激活空间中的单一向量（即“拒绝方向”，Refusal Direction）来介导，但这种机制是否具有跨语言的普适性尚不清楚。
3. 安全缺口： 许多模型在非英语语言（尤其是低资源语言）中的安全对齐效果较差，但缺乏对这种差异的底层机理（如表示空间的几何结构）的深入理解。

2. 方法论 (Methodology)

为了探究拒绝方向在多语言环境下的表现，作者提出了一套系统的实验框架：

数据集构建 (PolyRefuse)：
- 构建了一个包含 14 种语言（涵盖印欧语系、汉藏语系、尼日尔 - 刚果语系等）的多语言安全数据集。
- 将现有的英文恶意提示（如 ADVBENCH, MALICIOUSINSTRUCT）和良性提示翻译成这些语言，确保语义一致性。
- 包含的语言包括：英语 (en)、德语 (de)、西班牙语 (es)、法语 (fr)、意大利语 (it)、荷兰语 (nl)、日语 (ja)、韩语 (ko)、俄语 (ru)、中文 (zh)、泰语 (th)、波兰语 (pl)、阿拉伯语 (ar) 和约鲁巴语 (yo)。
拒绝方向提取 (Refusal Direction Extraction)：
- 采用 均值差异法 (Difference-in-Means)。计算有害提示（ $D_{harmful}$ ）和良性提示（ $D_{harmless}$ ）在特定层 $l$ 和令牌位置 $i$ 的激活值均值之差： $r_{i,l} = v_{harmful} - v_{harmless}$ 。
- 通过消融实验（Ablation）和添加实验（Addition），在残差流（Residual Stream）中移除或增强这些向量，以评估其对模型拒绝行为的影响。
实验设计：
1. 英语到多语言的迁移： 从英语数据提取拒绝向量，将其应用于其他语言的有害提示，观察是否能绕过拒绝。
2. 多语言间的迁移： 从三种类型学不同的安全对齐语言（德语、中文、泰语）提取拒绝向量，测试其在其他语言（包括英语）中的通用性。
3. 几何结构分析： 在嵌入空间中可视化有害/良性样本的分布，计算拒绝向量之间的余弦相似度，并使用 轮廓系数 (Silhouette Score) 量化有害与良性样本在表示空间中的聚类分离度。

3. 关键贡献与发现 (Key Contributions & Results)

A. 拒绝方向的普适性 (Universality of Refusal Directions)

英语向量的跨语言有效性： 从英语中提取的拒绝向量，在移除后能导致几乎所有其他语言（包括低资源语言）的模型拒绝率大幅下降（即被越狱）。这表明英语的拒绝方向可以控制其他语言的安全行为。
任意安全语言的通用性： 更惊人的是，从任何安全对齐的语言（如德语、中文、泰语）中提取的拒绝向量，同样可以无缝迁移并控制其他语言。
结论： 拒绝方向在安全对齐的语言中是**语言无关（Language-agnostic）**的。无论源语言是什么，只要模型在该语言上表现安全，其拒绝向量就能在其他语言中生效。

B. 约鲁巴语 (Yoruba) 的特殊性

研究发现约鲁巴语（yo）是一个**安全未对齐（Safety-misaligned）**的语言。在这些模型中，约鲁巴语的基线拒绝率极低（Llama3.1-8B 高达 82.9% 的合规率）。
由于缺乏内在的安全概念，从约鲁巴语提取的拒绝向量无法有效迁移到其他语言，反之亦然。这证明了拒绝向量的可迁移性依赖于源语言本身的安全对齐质量。

C. 几何结构分析：为什么跨语言越狱会成功？

向量平行性： 不同语言的拒绝向量在嵌入空间中是近似平行的。这解释了为什么单一方向的干预（如英语向量）能影响所有语言。
聚类分离度不足 (Insufficient Separation)：
- 在英语中，有害样本和良性样本在表示空间中形成了清晰分离的簇。
- 在许多非英语语言中，这种分离度显著下降（轮廓系数较低）。有害样本往往位于有害簇和良性簇的中间区域。
- 核心发现： 跨语言越狱成功的根本原因并非拒绝方向不同，而是模型未能将非英语的有害提示与良性提示在表示空间中清晰分开。这种微弱的信号使得模型容易受到向量干预的影响。

D. 可控性验证

通过向激活值添加拒绝向量，可以显著降低合规率（增强拒绝）；通过移除拒绝向量，可以显著增加合规率（绕过拒绝）。这种对称性进一步证实了拒绝机制的可控性和方向性。

4. 实验模型与数据

模型： 测试了多种主流指令微调模型，包括 Llama-3 (8B, 70B, 3.1-8B), Qwen2.5 (3B-32B), Gemma-2 (9B), 和 Yi-6B。
评估指标： 使用 WildGuard 评估模型是否拒绝有害请求，计算合规率（Compliance Rate）。

5. 意义与启示 (Significance)

理论意义： 揭示了 LLM 内部安全机制的“语言无关”本质。拒绝行为被编码为一种结构上对齐的、跨语言的通用表示，而非特定于某种语言的局部特征。
安全防御启示：
- 当前的多语言安全防御存在严重缺陷，主要问题不在于缺乏拒绝方向，而在于非英语表示空间中有害与良性概念的分离度不足。
- 未来的防御策略不应仅关注多语言微调，而应致力于增强模型嵌入空间中有害与良性表示的几何分离度。
- 利用这种普适性，可以通过单一语言（如英语）的干预来快速测试或修复多语言模型的安全漏洞。
局限性： 研究基于选定的 14 种语言，对于极度低资源或训练数据极少的语言，结论可能有所不同。此外，论文指出了问题机理，但未提出具体的防御算法（这是未来的工作方向）。

总结

这篇论文通过严谨的激活干预实验和几何分析，证明了 LLM 的拒绝机制在安全对齐的语言中具有惊人的跨语言普适性。它揭示了跨语言越狱成功的根本原因在于模型在非英语语境下未能有效区分有害与良性内容的表示，而非拒绝方向本身的缺失。这一发现为构建更鲁棒的多语言安全防御系统提供了关键的 mechanistic（机理层面）指导。