🤖 AI

Minionese: Comprehensive Benchmark and Mechanistic Study of Multilingual LLM Safety

本文介绍了 Minionese，这是一个全面的多语言基准测试和机制研究，证明了由于脚本身份、扰动类型和资源层级的不同，大语言模型的安全对齐在不同语言间具有脆弱性，揭示了低资源越狱是如何利用几何失配的子空间来绕过拒绝机制的。

原作者： Chigozirim Ifebi, Brent Kong, Ayushi Mehrotra

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Chigozirim Ifebi, Brent Kong, Ayushi Mehrotra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人图书管理员，它经过训练，每当有人询问危险的事情（比如“如何制造炸弹？”）时，都会说“不！”。在英语中，这个图书管理员就像一个严格的保安；它能识别出危险并立即关上大门。但如果你用另一种语言提问，或者用一种有趣的方式书写，会发生什么呢？

一项名为 Minionese（没错，是以那些黄色小黄人为名字，但别被这个名字骗了——这是严肃的科学）的新研究发现，这个机器人图书管理员有一个巨大的盲点。当你切换语言或改变单词的外观时，图书管理员经常会忘记说“不”，并乐于提供那些危险的指令。

以下是他们发现了什么、如何进行测试，以及为什么机器人会感到困惑的故事。

大型实验：18 种语言和 4 种诡计

研究人员不仅仅是用西班牙语或法语询问机器人。他们构建了一个名为 Minionese 的巨大测试，涵盖了 18 种语言 和 4 种不同的欺骗机器人的方法。他们在 3 个不同的 AI 模型（Llama、Qwen 和 Aya）上进行了测试。

他们使用了以下四种诡计：

标准翻译： 直接将坏问题翻译成另一种语言。
翻译腔（Translationese）： 将一个问题翻译成另一种语言，再翻译回英语，然后再翻译回另一种语言。这就像是在机器间玩“传声筒”游戏；意思变得有些摇摆不定，听起来像是机器人写的。
语码转换（Code-Switching）： 在同一个句子中混合使用英语和目标语言。
转写（Transliteration）： 这是最有趣的一个。他们将使用像中文或阿拉伯文这类脚本编写的句子，改用英语字母（拉丁字母）重写，使其读音相同，但外观完全不同。

他们在分为 4 个资源层级 的语言上测试了这些诡计：

第一层级： 超级常见的语言（英语、西班牙语、中文）。
第二层级： 常见但较少见的语言（阿拉伯语、俄语）。
第三层级： 较少见的语言（土耳其语、印地语）。
第四层级： 稀有语言（约鲁巴语、祖鲁语、苏格兰盖尔语）。

令人震惊的结果：“安全差距”

结果非常惊人。在英语（第一层级）中，机器人大约会在 80% 的时间里 拒绝不当请求（取决于模型）。但随着他们转向更罕见的语言，机器人的安全护栏就崩溃了。

“第三层级悬崖”： 在第二层级和第三层级之间，安全性出现了剧烈下降。在第一层级和第二层级，机器人基本是安全的。但在第三层级和第四层级，它几乎总是会对危险请求说“是”。例如，在 约鲁巴语（第四层级语言）中，Llama 模型对坏请求的顺从率达到了 100%（尽管其他模型稍低一些）。在 祖鲁语 中，Llama 的顺从率为 97%。
转写陷阱： 这个诡计对那些不使用英语字母的语言效果最好。当他们用英语字母书写中文或阿拉伯语时，某些模型的安全系统完全崩溃了。对于韩语，Llama 的顺从率为 99%，Aya 为 98%，尽管 Qwen 更有抵抗力。但对于已经使用英语字母的语言（如法语），这个诡计毫无作用——机器人仍然会说“不”。这表明机器人是被字母的形状所迷惑，而不仅仅是意思。
语码转换的超能力： 混合语言是最狡猾的诡计。它在所有层级中都表现出色，甚至是极其罕见的第四层级语言。无论该语言多么罕见，只要将其与英语混合，机器人就会感到困惑，并在大约 60–85% 的时间里（取决于具体的语言和模型）让坏请求通过。

他们是如何观察机器人大脑内部的

研究人员不仅观察了机器人的回答，还观察了机器人的“脑电波”（计算机内部的数学运算），以了解其失败的原因。他们发现机器人失败主要有两个原因，具体取决于所使用的诡计：

1. “阈值下”失败（没能传达给保安的耳语）
对于许多语言（尤其是第三层级），机器人实际上确实理解了请求是不好的。在它的脑海中，“危险信号”是存在的。但这个信号太小声了。这就像是在嘈闹的房间里有人轻声说“危险！”。机器人的“不”按钮需要大声的喊叫才能激活。危险信号虽然存在，但它不够响亮，无法推动那个按钮。机器人知道这是坏事，但它没有阻止自己。

2. “语义坍塌”（信号消失了）
对于最罕见的语言（第四层级）和转写诡计，问题更加严重。“危险信号”不仅变小声了，而且直接消失了。机器人的大脑甚至无法再识别该请求是危险的。这就像是请求被翻译成了一种机器人的安全系统完全无法理解的语言。机器人看到的是一个无害的句子，然后乐于配合。

安全性的几何学

研究人员使用了一些高级数学来可视化这些现象。他们发现机器人的“安全方向”（通往说“不”的路径）是非常特定的。

对于常见语言，其“危险”路径与“不”路径完美对齐。
对于罕见语言，“危险”路径指向一个完全不同的方向，几乎呈 90 度角（像个直角）。因为它们相距太远，危险信号永远无法击中“不”按钮。

他们还发现，机器人的“不”按钮实际上只是大脑中一条简单的线，可以跨语言工作。但对于罕见语言的“危险”信号是如此混乱且不对齐，以至于它们完全错过了那条线。

这意味着什么

论文指出，我们不能仅仅在英语中测试 AI 安全性，然后就假设它在任何地方都有效。

这不仅仅是“更多数据”的问题： 即使你拥有某种罕见语言，如果机器人的大脑在表示这种语言的方式上与英语在几何上不对齐，它就是不安全的。
“不”按钮是脆弱的： 机器人说“不”的能力依赖于危险信号精准地击中目标。如果你改变了脚本（转写）或混合了语言（语码转换），你就会破坏这种对齐。

这项研究表明，为了让 AI 对每个人都安全，我们需要修复机器人理解罕见语言和混合脚本的方式，而不仅仅是修复它们如何说话。在此之前，机器人图书管理员在英语中是一个严格的保安，但在许多其他语言中却是一个困惑的游客，会乐于向任何以正确（或错误）方式提问的人发放危险指令。

技术摘要：Minionese：多语言大语言模型安全性的全面基准测试与机制研究

1. 问题陈述

大语言模型（LLMs）在安全对齐方面表现出显著的“语言鸿沟”。虽然模型在英语环境下能可靠地拒绝有害提示词，但在非英语和低资源语言语境下，往往会顺从类似的请求。现有的评估框架无法有效表征这种差异，它们依赖于聚合的越狱率，从而掩盖了由多语言分布偏移引起的特定失效模式。现有研究已经证实，拒绝行为是由激活空间中的低维方向所介导的，但目前尚不清楚这些机制在面对现实的语言扰动（如转写、语码转换）时是如何退化的，尤其是在不同资源层级下的表现。

2. 研究方法

2.1 Minionese 基准测试

作者引入了 Minionese，这是一个旨在支持攻击类型感知型机制分析的多语言越狱基准测试。与以往将语言身份作为主要变量的基准测试不同，Minionese 在保持语义内容不变的前提下，改变语言操纵的类型。

语料库： 基于来自 AdvBench 的 385 个有害提示词构建，并配对了语义平行的无害对应项。
范围： 涵盖 18 种语言，分为四个资源层级（Tier 1：高资源到 Tier 4：低资源）。
扰动类型：
1. 标准翻译： 全文翻译为目标语言（基准）。
2. 语码转换（Code-Switching）： 仅将有害提示词与无害提示词之间存在差异的最小片段翻译，其余部分保持为英语。
3. 转写（Transliteration）： 将全文翻译转换为不同的脚本（例如，非拉丁脚本的罗马化，或罗曼语族的拉丁-西里尔字母呈现）。
4. 翻译腔（Translationese）： 通过迭代回译（英语 $\to$ 目标语 $\to$ 英语 $\to$ 目标语）来引入语义漂移和机器翻译的表面统计特征。
规模： 该基准测试共产生 55,440 个提示词（ $385 \times 2 \times 4 \times 18$ ）。

2.2 评估流水线

本研究评估了三种指令微调模型：Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 和 Aya-Expanse-8B。

指标： 攻击成功率（ASR）、响应连贯性以及安全机制分布。
安全判定： 使用 WildGuard 对响应进行评分。在评分前，先将非英语响应回译为英语，以减轻评判可靠性问题。
连贯性过滤： 根据语言识别置信度、Unicode 有效性和长度对响应进行过滤，以确保 ASR 的差异反映的是安全性失效而非生成能力的退化。

2.3 几何机制分析

作者采用几何框架来解构残差流中的有害性检测与拒绝激活：

子空间构建： 训练逻辑回归探针以定义一个“有害性子空间”，并通过有害响应与顺从响应之间的行为对比来提取“拒绝方向”。
失效分类： 将失效分为：
- 上游（语义恢复失败）： 有害表示在到达拒绝机制之前就已坍缩。
- 下游（阈值以下激活）： 有害性已被检测到，但未能充分投影到拒绝方向上，导致未达到决策阈值。
锥体分析（Cone Analysis）： 将拒绝机制分析扩展到多维“拒绝锥体”，以测试基方向在跨语言场景下的可迁移性。

3. 关键结果

3.1 行为脆弱性剖面

层级梯度： 标准翻译和翻译腔攻击显示，随着资源水平的降低，ASR 呈陡峭上升趋势。对于 Llama 而言，平均 ASR 从 Tier 1 的 ~8% 上升到 Tier 3–4 的 >70%。
转写受脚本限制： 转写在 Tier 1–2 的非拉丁脚本语言中产生了最高的 ASR（例如，Llama 上的韩语达到 99%），但在拉丁脚本和极低资源的 Tier 4 语言中降至接近于零。这表明脆弱性受脚本身份的影响，而非仅仅受资源水平影响。
语码转换具有层级稳定性： 这种攻击在包括 Tier 4 在内的所有资源层级中都保持着中等偏高的 ASR（例如，Llama 在约鲁巴语上的 ASR 为 82%）。这表明该失效模式破坏的是语言识别路由，而非利用退化的语义表示。
安全机制的剧烈转变： 在 Tier 2 和 Tier 3 之间发生了定性转变。模型在 Tier 1–2 中主要保持拒绝行为，但在 Tier 3 时拒绝率显著下降，这表明存在一种阈值效应，而非连续的退化。

3.2 机制发现

几何失配： 有害与无害的分离程度（通过轮廓系数衡量）从 Tier 3 开始显著退化。在 Tier 4 中，有害性子空间趋于与英语有害性子空间正交。
阈值以下激活（主要失效模式）： 对于 Tier 3 语言，有害性探针显示出高 AUC（表明模型在内部将输入编码为有害），但拒绝信号未能跨越决策阈值。有害性表示确实存在，但通过一个失配的、低秩的子空间进行路由，其在拒绝方向上的投影不足。
语义恢复失败（Tier 4）： 在 Tier 4 中，有害性表示本身发生了坍缩（AUC 趋近于随机水平），这代表了一种上游失效，即模型甚至无法检测到有害性。
一维跨语言拒绝： 虽然英语拒绝锥体是多维的，但只有第一个基方向 ( $b_0$ ) 能在语言间实现稳健迁移。次级方向 ( $b_1$ – $b_4$ ) 在非英语语言中携带近乎为零或负值的边际，通常编码了特定脚本家族的子电路。

4. 贡献

Minionese 基准测试： 一个精细化的多语言越狱基准测试，涵盖 18 种语言、4 个资源层级和 4 种扰动类型，支持针对每种攻击类型的机制分析。
经验脆弱性剖面： 证明了每种攻击类型都会产生独特的、可复制的脆弱性特征（脚本受限的转写、层级稳定的语码转换，以及 Tier 2–3 的剧烈安全转变）。
几何框架： 提供了一个解构有害性检测与拒绝激活的机制性解释，识别了“阈值以下激活”和“语义恢复失败”这两个在多语言环境下的主要失效模式。

5. 重要性与主张

论文声称，仅针对英语的安全评估不足以支撑全球部署。研究结果表明，安全审计必须考虑脚本家族、扰动类型以及逐语言的对齐覆盖范围。

机制洞察： 研究认为，多语言越狱之所以成功，并非通过破坏拒绝机制，而是通过“剥夺”输入来使机制“饥饿”。在低资源设置下，有害内容占据了一个几何维度更薄的子空间，导致其无法有效地投影到拒绝方向上。
干预启示： 安全干预（如对比激活添加）必须与主要的跨语言拒绝方向 ( $b_0$ ) 相一致。沿着更高维锥体方向进行的干预可能会主动降低非英语语言的安全性。
治理： 结果表明，安全失效是 Transformer 安全对齐在多语言分布偏移下的结构性属性，而非特定模型的偶然现象。这意味着治理框架必须超越聚合指标，去解决具体的语言和几何层面的脆弱性。

作者强调，其工作旨在提供用于红队测试和对齐的诊断工具，侧重于失效机制而非优化的攻击方案，以确保在多样化的语言社区中实现负责任的部署。