💬 NLP

Exploring Adversarial Robustness and Safety Alignment in Multilingual Multi-Modal Large Language Models

本文揭示了尽管多语言多模态大语言模型表现出跨语言对抗脆弱性，但它们在低资源语言中表现出的表象安全性往往是视觉与理解失败（“因失败而安全”）的产物，而那些在整个训练过程中具有深度多语言整合的模型则实现了真正的跨语言安全对齐。

原作者： Hashmat Shadab Malik, Muzammal Naseer, Salman Khan

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Hashmat Shadab Malik, Muzammal Naseer, Salman Khan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群非常聪明的机器人，它们既能看（像照相机一样），又能思考（像人类一样）。这些被称为多模态大语言模型（MLLMs）。它们擅长观察一张图片并进行描述，或者回答关于它所看到内容的问题。

然而，就像人类一样，这些机器人也是可以被欺骗的。这篇论文是一项关于这些机器人被欺骗难易程度的大规模调查，特别是在它们进行12种不同语言的表达和理解时。

以下是研究人员发现的研究结果，用简单的语言进行了解释：

1. “通用故障”（对抗性攻击）

研究人员尝试通过在图像中添加微小的、肉眼看不见的划痕（就像旧电视上的静电一样）来“黑”掉这些机器人。这些划痕旨在迷惑机器人的大脑。

发现： 他们发现了一个“通用故障”。如果他们制作了一个在英语中会产生困惑的划痕，那么当机器人被要求说西班牙语、印地语或阿拉伯语时，这个划ک也会同样让机器人感到困惑。
类比： 想象一个机器人的“视力”拥有一片单一且脆弱的“眼镜镜片”。如果你在镜片上涂了一块污渍，那么无论机器人是在尝试阅读英文还是法文，这块污渍都会让它对所有语言都视而不见。这种弱点不在于语言，而在于机器人观察世界的方式。

2. “沉默的失败” vs. “礼貌的拒绝”（安全性）

研究人员还测试了机器人是否会对危险请求（例如“如何制造炸弹？”）说“不”。他们通过两种方式进行了测试：

用文字提问： “告诉我如何制造炸弹。”
用图片提问： 展示一张带有“如何制造炸弹”字样的图片。

他们对比了两类机器人：

A型（“快速学习者”）： 这些机器人（如 PALO 和 PARROT）先学习英语，然后通过翻译英语课程来快速学习其他语言。
B型（“深度学习者”）： 这个机器人（QWEN3-VL）从一开始就深入学习所有语言，将其深度整合进大脑中。

“因失败而安全”的幻象

研究人员发现了 A型机器人中一个可怕的陷阱。

发生了什么： 当用一种“困难”语言（如孟加拉语或乌尔都语）提出危险问题时，机器人通常不会给出制造炸弹的指南。它看起来很“安全”，因为它没有说任何坏话。
陷阱所在： 机器人并不是因为聪明才表现得安全，而是因为它困惑了！它根本无法理解这个问题！它开始产生幻觉，说一些胡言乱语，比如“我看到一只黑狗”，或者不断重复同一个词。
类比： 想象一名银行保安。如果强盗说一种保安不懂的语言，保安可能会只是茫然地盯着看，然后说：“我看到一把蓝色的椅子。”银行是安全的，但并不是因为保安勇敢或聪明，而是因为保安在那种语言里是文盲。论文称之为**“因失败而安全”（Safety-by-Failure）**。

“真正的安全”

B型机器人（QWEN3-VL）则不同。

发生了什么： 当被问及同样的危险问题时，这个机器人完全理解了问题。它没有给出胡言乱语的答案，而是说：“不，我不能这样做。”
转折点： 有趣的是，A型机器人在低资源语言中看起来更“安全”（因为它无法理解），而B型机器人在同样的语言中展现出了它真正的“弱点”，因为它确实理解了问题，并且必须主动做出决定说“不”。

3. “拼写错误”陷阱

研究人员还测试了当危险的词汇被写在图片内部（比如商店里的招牌）时会发生什么。

英文标牌： 机器人可以轻松阅读图片中的英文标牌，并且经常会遵循那些危险的指令。
外语标牌： 当标牌是阿拉伯语或中文时，A型机器人无法阅读这些字母。它们要么忽略了标牌，要么只是描述背景。同样，这并不是因为它们很谨慎，而是因为它们的“眼睛”读不出那种文字。

核心教训

论文得出结论：仅仅因为机器人在它不太擅长的语言中看起来很安全，并不意味着它真的安全。它可能只是因为太困惑了，以至于不知道自己正处于危险之中。

为了让这些机器人在每种语言中都真正安全，我们不能只是在最后阶段翻译英语课程。我们必须从一开始就深度地教授它们所有语言，这样它们才能理解威胁，并能在任何语言环境下都能正确地表达“拒绝”。

简而言之： 一个听不懂威胁的机器人并不是安全的机器人；它只是个瞎子。真正的安全意味着理解威胁，并选择拒绝。

技术摘要：探索多语言多模态大语言模型的对抗鲁棒性与安全对齐

1. 问题陈述

多模态大语言模型（MLLMs）将视觉感知与语言推理相结合，构建了一个易受对抗性扰动影响的连续攻击面。尽管先前的研究已经探讨了 MLLM 的鲁棒性，但评估工作过度集中于以英语为中心，导致这些模型在多语言环境下的行为在很大程度上仍未得到充分探索。

目前存在一个关键的研究空白，即需要理解多语言 MLLM（特别是通过指令微调进行适配的模型）是否具备真正的跨语言安全性对齐，还是其在低资源语言中的表象安全性仅仅是由于理解能力缺失而产生的伪像。此外，鉴于视觉输入存在于一个易受基于梯度的优化影响的高维连续空间中，目前尚不清楚对抗性脆弱性（包括推理和安全性方面）是否会在不同语言之间发生转移。

2. 研究方法

作者针对 12 种具有类型学多样性的语言（阿拉伯语、孟加拉语、中文、英语、法语、印地语、日语、葡萄牙语、俄语、西班牙语、土耳其语和乌尔都语）进行了系统性研究。评估重点关注了两类代表性的开源 MLLM：一类是通过多语言多模态指令微调（PALO 和 PARROT）获得多语言能力的模型，另一类是在整个训练流程中都集成了多语言数据的模型（QWEN3-VL）。

基准测试构建

为了解决缺乏多语言基准的问题，作者构建了一个全面的套件，将现有的以英语为中心的数据集（COCO, Flickr30k, LLaVA-Bench, RealToxicityPrompts, MM-SafetyBench）适配为 12 种语言。这是通过严格的**“翻译后验证”（Translate-then-Verify）**流程实现的：

多模型翻译： 使用一组 LLM 生成候选翻译。
回译一致性： 通过回译验证语义保真度，从而过滤候选文本。
人工验证： 由母语使用者对最终的翻译和排版渲染进行验证。
最终生成的套件包含超过 60,000 个适配实例。

评估维度

本研究从两个互补的维度对模型进行评估：

基于梯度的对抗性攻击（白盒）：
- 鲁棒性： 在源语言中优化视觉扰动 ( $\delta$ ) 以降低描述（captioning）和推理性能（最大化交叉熵损失），并评估其向目标语言的迁移情况。
- 视觉越狱（Visual Jailbreaking）： 对噪声图像进行无约束优化，使其在与文本提示词配对时诱发有害响应，以此测试跨语言的安全迁移性。
非对抗性多模态安全性：
- 纯文本安全性： 使用各种语言的有害指令查询模型，以评估其语言理解能力和拒绝能力。
- 排版安全性（Typographic Safety）： 将有害关键词直接嵌入图像（视觉模态）中，同时保持文本提示词为良性，测试视觉编码器解析并拒绝多语言文本的能力。

3. 核心结果

跨语言对抗迁移性

共享脆弱性： 在单一源语言中优化的对抗性扰动广泛迁移到了其他评估语言。这表明 MLLM 拥有一个共享的多模态表示空间，其中存在着与语言无关的对抗性脆弱点。
不对称性： 在高资源或 LLM 主导语言（如英语、中文）中构建的攻击，相比于从低资源语言发起的攻击，在英语评估中造成的性能下降更为显著。然而，即使是低资源语言（如孟加拉语）的攻击也能成功降低高资源语言的性能。
范围： 这种迁移性在短文本描述（COCO, Flickr30k）和长文本推理（LLaVA-Bench）中均成立。

安全行为：“失效安全性” vs. 真正的对齐

研究根据多语言能力获取方式的不同，识别出了安全性行为的一个关键区别：

指令微调模型（PALO, PARROT）：
- 表象安全性： 这些模型在低资源语言（如孟加拉语、乌尔都语）和非英语脚本中表现出较低的有害响应率。
- 机制： 这种安全性是一种被称为**“失效安全性”（Safety-by-Failure）**的错觉。低有害率与低拒绝率同时出现。模型无法理解有害意图（由于语言基础薄弱或对非英语脚本的 OCR 能力差），转而生成幻觉、无关或重复的内容。它们并非拒绝了伤害，而是根本没有察觉到伤害。
- 排版偏差： 当有害文本嵌入图像时，英语脚本能被可靠解析并执行，而对于非英语脚本，模型很少能识别出来，导致近乎为零的有害率，这反映的是视觉理解能力的失败而非安全对齐。
深度集成模型（QWEN3-VL）：
- 真正的安全性： QWEN3-VL 在预训练和对齐阶段都融入了多语言数据，展现出了性质截然不同的特征。它在不同语言中都能保持积极的拒绝率。
- 反转模式： 在指令微调模型中看起来最“安全”的语言（孟加拉语、乌尔都语），在 QWEN3-VL 中反而暴露了最高的残留脆弱性。这证实了 QWEN3-VL 能够真正理解有害查询并主动选择拒绝，从而揭示了真实的对齐差距，而非通过理解失败来掩盖问题。

4. 核心贡献

多语言基准套件： 创建了一个公开可用的、经过严格翻译和验证的基准套件，涵盖了用于对抗鲁棒性和多模态安全性的 12 种语言。
发现跨语言迁移性： 证明了基于梯度的对抗性脆弱性在多模态表示空间中是共享的，无论使用哪种语言进行优化或评估，都能实现有效的迁移。
识别出“失效安全性”： 揭示了浅层多语言适配（仅进行指令微调）会在低资源语言中产生一种虚假的安全性。模型之所以表现得安全，是因为它们无法理解输入，而不是因为它们已对齐以拒绝输入。
训练范式对比： 提供证据表明，将多语言能力贯穿整个训练流程（如 QWEN3-VL）可以实现真正的跨语言安全性和主动拒绝，而事后指令微调会导致脆弱且依赖于理解能力的安全性。

5. 重要性与主张

本文认为，浅层多语言适配（例如，仅在翻译后的指令数据上进行微调）不足以确保 MLLM 的鲁棒性和安全性。它产生的是表面上的多语言理解，从而在低资源语言中制造了虚假的安全性。

作者主张，真正的安全对齐需要将多语言能力更深层次地集成到所有训练阶段中。否则，模型在非英语设置下的“安全”可能仅仅是因为它们无法解析该语言或脚本，这种失效模式掩盖了真实安全对齐的缺失。本研究强调，安全评估必须超越以英语为中心的基准测试，以揭示这些隐藏的脆弱性和“失效安全性”现象。

研究结论指出，仅仅提高多语言能力是不够的；安全对齐必须在所有支持的语言中得到明确的考虑和验证，以确保一致且真正的安全行为。