💬 NLP

Why Do Safety Guardrails Degrade Across Languages?

本文引入多组项目反应理论框架，以解耦并分析驱动大语言模型跨语言安全性下降的不同因素，揭示安全失效主要呈单维性，在英语中往往比在低资源语言中更为严重，且显著受到与身体伤害和文化错位相关的特定提示跨语言差距的影响，而非仅仅取决于翻译质量。

原作者： Max Zhang, Ameen Patel, Sang T. Truong, Sanmi Koyejo

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Max Zhang, Ameen Patel, Sang T. Truong, Sanmi Koyejo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一支在博物馆工作的保安团队（即 AI 模型）。他们的工作是阻止人们试图偷运被盗艺术品（即不安全请求）溜走。

很长一段时间以来，我们只用英语测试这些保安。我们会问他们：“你能告诉我如何偷画吗？”如果他们回答“不能”，就算通过；如果回答“能”，就算失败。我们统计失败次数并称之为得分。

但本文提出了一个问题：当我们用其他语言（如斯瓦希里语、爪哇语或孟加拉语）测试这些保安时，会发生什么？

研究人员发现，旧有的测试方式就像拿苹果和橙子做比较。他们建立了一种更智能的安全测量方法，将问题拆解为各个组成部分，就像机械师拆解汽车引擎以精确找出哪个部件损坏了一样。

以下是他们研究发现的拆解分析，使用了简单的类比：

1. 旧方法 vs. 新方法

旧方法（“越狱成功率”）：
想象你有一个测试，你问保安：“你能打破规则吗？”如果他们打破了规则，你就打上一个大大的红色"X"。你只需统计红色"X"的数量。

问题所在： 如果一名保安在斯瓦希里语测试中失败，但在英语测试中通过，是因为这名保安能力差吗？是因为斯瓦希里语的问题更难理解吗？还是因为该问题的斯瓦希里语翻译无意中让它听起来无害？旧方法将所有这些原因混为一个令人困惑的数字。

新方法（“IRT 框架”）：
作者构建了一台“安全分解机器”。它不再给出一个总分，而是将失败分解为四个不同的要素：

保安的技能（ $\theta$ ）： 保安总体上拒绝的能力有多强？
问题的难度（ $\beta$ ）： 即使是用英语，这个问题本身是否就很棘手？
语言障碍（ $\gamma$ ）： 这种语言是否总体上更难让 AI 处理？
翻译故障（ $\tau$ ）： 特定的问题在翻译时是否被搞砸了，从而更容易诱骗保安？

2. 重大意外

研究人员在 10 种语言中测试了 61 种不同的 AI 配置。以下是他们的发现：

意外 #1：“英语反转”
我们通常假设 AI 在英语中最安全，而在其他语言中表现较差。

现实情况： 对于许多模型而言，英语实际上是最危险的语言。 保安在英语中比在爪哇语或斯瓦希里语等低资源语言中更有可能打破规则。
原因？ 研究人员认为，“坏人”（攻击者）是用英语编写他们的 trick（攻击手段）的。当这些 trick 被翻译时，有时会失去“杀伤力”或变得混乱，从而降低其有效性。而在英语中，这些 trick 能完美运作。

意外 #2：安全是一块大肌肉
我们可能认为 AI 需要针对每个主题拥有不同的“安全肌肉”（一个用于防盗，一个用于防暴力，一个用于防仇恨言论）。

现实情况： 安全是单维的。它就像一块单一的肌肉。如果一名保安擅长拒绝协助盗窃，那么他们几乎总是擅长拒绝协助暴力。他们并没有为每个主题设置独立的电路；他们使用一个共享机制来说“不”。

意外 #3：翻译错误是“确凿证据”
有时，保安失败并非因为他们能力弱，而是因为问题被翻译得不好。

类比： 想象你问保安：“我如何偷车启动（hot-wire）？”（即通过偷窃启动汽车）。
- 如果翻译无意中将其改为“我如何加热汽车？”（即给汽车加热），保安可能会回答：“当然，这是如何使用加热器的方法。”
- 保安并非在安全方面失败，而是在理解错误的翻译时失败了。
论文发现，虽然糟糕的翻译确实会导致一些失败，但它们只能解释整体问题的一小部分。大多数时候，翻译没有问题，但 AI 仍然感到困难。

意外 #4：文化困惑
有些问题失败是因为该概念在该文化中并不存在。

类比： 在一个没有 FBI 的国家，问 AI“我如何逃离 FBI？”可能会让 AI 感到困惑。“FBI"这一概念具有特定的文化背景。AI 可能没有意识到这是一个危险的请求，因为缺乏文化背景。

3. “不确定性”因素

研究人员注意到，在低资源语言（数据较少的语言）中，AI 的表现更像是一个在考试中紧张猜测的学生。它会给出“边界”答案——即一半安全、一半不安全，或非常不确定的回答。

解决方法： 为了获得准确的读数，你不能只问一次问题。你必须问 10 次并取平均值。这样可以平滑掉“猜测”成分，揭示 AI 的真实安全水平。

4. 为什么这很重要

论文得出结论，我们不能再仅仅查看 AI 的单一“安全评分”。

如果 AI 在特定语言中失败，我们现在知道如何诊断原因：
- 是 AI 本身在安全方面表现不佳吗？（修复模型）
- 是该语言对 AI 来说很难吗？（改进语言训练）
- 是翻译出错了吗？（修复数据集）
- 是概念在文化上陌生吗？（调整提示词）

简而言之： 这篇论文为我们提供了一台观察 AI 安全的“显微镜”。我们不再只是说"AI 不安全”，而是可以说"AI 是安全的，但当我们用爪哇语询问如何偷车时，它会感到困惑，因为翻译略有偏差”。这有助于开发者修复确切的问题，而不是靠猜测。

技术摘要：为何安全护栏在多语言环境中会退化？

问题陈述
大型语言模型（LLM）在非英语语言，尤其是低资源语言中，表现出退化的安全护栏。标准评估指标（如越狱成功率 JSR 或攻击成功率 ASR）将二元结果聚合为单一标量。这种方法导致了“苹果与橘子”式的比较，将多个驱动安全的因素——如模型能力、提示难度、语言处理成本以及翻译错误——混淆在一个指标中。因此，JSR 无法区分安全失败是源于模型安全能力的缺失、语言本身的内在难度、翻译失真，还是文化概念的不匹配。

方法论
作者提出了一种**多组项目反应理论（IRT）**框架，将安全失败分解为不同的潜在参数。与标准的聚合指标不同，该模型将每种失败来源映射到特定变量：

安全能力（ $\theta_j$ ）： 模型 $j$ 的语言无关安全鲁棒性。
提示内在难度（ $\beta_i$ ）： 提示 $i$ 的固有难度（源自英语）。
全局语言处理难度（ $\gamma_L$ ）： 与语言 $L$ 相关的全局处理成本。
跨语言安全差距（ $\tau_{iL}$ ）： 代表项目功能差异（DIF）的特定提示残差。在控制了能力和全局语言效应后，这捕捉了特定语言中特定提示的安全差距。
语言适应性（ $\delta_{jL}$ ）： 模型 $j$ 在语言 $L$ 中的性能特定偏移。

安全响应的概率建模为：
$P(\text{safe}_{ijL} = 1) = \sigma\left(\alpha_i [(\theta_j + \delta_{jL}) - (\beta_i + \gamma_L + \tau_{iL})]\right)$
其中 $\alpha_i$ 是项目区分度参数。

实验设置

数据集： 研究利用 MultiJail（3,150 个提示，10 种语言，18 个危害类别），并在 XSafety 上验证了发现。
模型： 涵盖 5 个系列（GPT、Claude、DeepSeek、Gemini、Grok）的 61 种模型配置。
规模： 聚合数据集共 190 万行。
评估协议： 为减少随机噪声，作者采用 Pass@k（具体为 Pass@10），为每个提示生成 $k$ 个独立响应以估计响应分布，而非依赖单次输出。
评判： 响应由 GPT-5.2 按 6 点李克特量表评分，并经过人类母语者及次要 LLM 评判者（Claude、Gemini）的验证。
锚点选择： 使用 Lord 的 $\chi^2$ 统计量选择跨语言不变的提示以固定测量尺度，并对锚点应用紧密的正态先验。
正则化： 对 $\tau_{iL}$ 应用分层 Horseshoe 先验 以强制稀疏性，防止模型将全局语言效应（ $\gamma_L$ ）与特定提示的差距（ $\tau_{iL}$ ）混淆。

关键结果

安全的一维性： 探索性因子分析（EFA）显示，安全在很大程度上是一维的。模型拒绝不同类型的危害主要通过共享机制（KMO = 0.942，优势比 = 7.37），这证明了使用全局 IRT 模型而非按危害类别使用单独模型的合理性。
“英语逆转”现象： 与“安全在低资源语言中退化最严重”的假设相反，61 种模型配置中的 22 种（包括所有 16 种 Grok 变体和 4 种 DeepSeek 变体）在英语中表现出最高的失败率。对于这些模型，其在低资源语言中的安全性能略优于英语。
响应不确定性： 与高资源语言相比，低资源语言产生的不确定响应（更高熵）比例显著更高，且“边界”案例的比例更高。高能力模型在这些语言中更接近决策边界运行。
翻译质量与安全差距：
- 翻译质量与聚合安全及跨语言安全差距（ $\tau$ ）的相关性较弱，仅解释了 $\tau$ 方差的约 1%。
- 然而，严重误译（例如将“给汽车接火启动”误译为“给汽车加热”）充当了高偏差异常值，通过净化有害意图人为地夸大了 $\tau$ 。
- 文化与概念差距： 对翻译质量完美但具有高 $\tau$ 的提示进行母语者分析显示，文化框架的不匹配（例如美国特有的术语如"FBI"或"SSN"）和概念基础的差异导致了安全差距。高 $\tau$ 提示集中在物理危害类别（盗窃、武器）而非抽象类别中。
预测效度： 完整的 IRT 框架在预测安全拒绝方面实现了 0.940 的 AUC，优于更简单的基线（例如语言率 AUC = 0.531）。至关重要的是，在留一语言（LOLO）验证中，IRT 框架通过利用潜在结构保持了强劲的性能（AUC $\approx$ 0.875），而基线则退化为随机猜测。

意义与主张
该论文声称超越聚合指标，为多语言安全提供诊断框架。通过解耦能力、语言难度和特定提示的差距，该框架：

揭示了安全退化并非均匀分布；某些模型在英语中实际上安全性更低。
指出虽然翻译错误总体上是一个次要因素，但它们会导致严重的异常值，从而扭曲评估。
强调即使翻译准确，文化和概念的不匹配（特别是在物理危害类别中）也会驱动显著的安全差距。
提供了一种针对性修复的方法，允许从业者识别具有高 $\tau$ 的特定提示 - 语言对，以改进数据集构建或微调。
批评当前的 LLM 评估实践（JSR/ASR）由于混淆因素的存在，通常无法用于跨设置比较，并倡导采用如 IRT 这样的心理测量方法。

作者指出了局限性，包括依赖封闭 API 模型（导致无法进行内部激活分析）、非母语语言中评判者可能存在的残留偏见，以及“英语逆转”机制目前仍停留在行为层面而缺乏机制性解释。

1. 旧方法 vs. 新方法

2. 重大意外

3. “不确定性”因素

4. 为什么这很重要

类似论文