Same Model, Different Weakness: How Language and Modality Reshape the Jailbreak Attack Surface in Frontier MLLMs

技術的サマリー：同一モデル、異なる弱点

問題提起
マルチモーダル大規模言語モデル（MLLM）の現在の安全性評価は、言語とモダリティを独立した次元として扱い、モデルのジャイルブレイク攻撃に対する脆弱性が固定された性質であると仮定することが多い。本論文はこの仮定に異議を唱え、MLLM の攻撃対象領域が構造的に言語依存であることを示唆する。著者らは、アライメントの失敗が言語間で均一ではなく、むしろ言語的および視覚的攻撃が安全性フィルターを迂回するメカニズムは、異なる経路を通じて機能すると論じている。具体的には、人間のフィードバックに基づく強化学習（RLHF）が、モデルを主に英語における修辞的攻撃パターン（例：ロールプレイ、戦略的枠組み設定）を認識するように較正しており、これによりこれらの言語的防御が他の言語では効果が低いか、あるいは存在しないままになっている一方で、視覚的攻撃チャネルは言語的障壁が除去された際に一貫して脆弱であるか、あるいはさらに強力になる可能性があるという仮説を立てている。

方法論
本研究は、米国英語（en-US）とメキシコスペイン語（es-MX）を比較する、初の体系的なクロスリンガルかつマルチモーダルなレッドチーム評価を提示する。

• 評価対象モデル: 4 つの最先端 MLLM：Claude Sonnet 4.5、GPT-5、Pixtral Large、Qwen Omni。これらは、Van Doren & Ford [1] による先行する英語のみを対象とした研究で評価されたモデルの次世代後継モデルとして選択された。
• 敵対的ベンチマーク: 本研究では、違法活動、偽情報、非倫理的行動の 3 つの危害カテゴリを網羅する 363 の固有の敵対的シナリオの固定セットを利用した。各シナリオは 6 つの攻撃戦略（例：ロールプレイ、拒絶抑制）で構築され、テキストのみの条件とマルチモーダル（テキスト＋画像）の条件の両方でインスタンス化された。
• 言語プロトコル: すべてのプロンプトはネイティブスピーカーによってメキシコスペイン語に専門的に翻訳され、攻撃ベクトルを変更する可能性のある文化的適応なしに敵対的意図の忠実性を確保するため、独立してレビューされた。
• データ収集: 合計 52,272 の危害評価と二値の攻撃成功判定が収集された。9 名のネイティブ英語話者と 9 名のネイティブスペイン語話者が、モデルの回答を 5 段階のリッカート尺度で評価した。アノテーターはモデルの身元とモダリティについて盲検であった。
• 統計分析: 著者らは、プロンプトと評価者に対する交差ランダム効果を用いたベイズ混合効果モデル（R における brms を使用）を採用した。このアプローチにより、モデル、モダリティ、言語、およびそれらの相互作用に帰属する分散の分解が可能となり、集約分析の落とし穴を回避した。

主な貢献

1. 分離のメカニズム的証拠: 本研究は、言語的および視覚的なアライメントの失敗が異なるメカニズムを通じて機能するという実証的証拠を提供する。著者らは、プロンプト言語を英語からスペイン語に切り替えることで分離が生じることを実証している。すなわち、言語的攻撃技術（ロールプレイなど）は著しく効果が低下する一方、視覚的に明示的なマルチモーダル攻撃はより効果的になる。これは、プロンプト - 言語インターフェースが単なるアノテーターの寛容性の産物ではなく、アライメントの構造的な特徴であることを示唆している。
2. 安全性ランキングの順位逆転: 本論文は、安全性ランキングが言語間で転用可能ではないことを確立している。英語の条件では Pixtral Large が最も脆弱なモデルであったのに対し、スペイン語の条件では Qwen Omni がそれを追い抜き、最も脆弱なモデルとなった。この順位逆転は、英語条件のスコアのスカラー補正では回復できず、英語のみを対象としたベンチマークが、グローバルに展開されるモデルのリスクプロファイルを根本的に誤って表現していることを示している。
3. 方法論的枠組み: 著者らは、安全性評価におけるベイズ混合効果枠組みの有効性を示した。プロンプトレベルと評価者レベルの分散を共同で考慮することで、この手法は集約分析では見逃されるクロスリンガルおよびクロスモーダルの構造を明らかにする。著者らは、将来の評価においてこのアプローチを促進するため、分析スクリプトとデータを公開した。

結果

• 言語的対視覚的減衰/増幅: スペイン語（es-MX）において、言語的攻撃は著しい減衰を示した。例えば、ロールプレイ攻撃は英語と比較して信頼性のあるほど効果が低かった（OR = 0.45）。一方、有毒な画像の実行はスペイン語で信頼性のあるほど効果的であった（OR = 1.58）。
• モデル固有の脆弱性:
  • Claude Sonnet 4.5: 両言語および両モダリティにおいて最も耐性のあるモデルであり、英語（11.3%）とスペイン語（11.4%）の間で攻撃成功率（ASR）の変化は無視できるほど少なかった。
  • Pixtral Large: スペイン語への切り替え時に脆弱性が最も大きく低下し（ASR は en-US の 50.5% から es-MX の 32.0% に低下）、英語固有の言語的アライメントへの重篤な依存を示した。
  • Qwen Omni: スペイン語で脆弱性が増加する（ASR は en-US の 31.2% から es-MX の 35.6% に上昇）という独特のパターンを示し、Pixtral Large に対する観察された順位逆転をもたらした。
• 世代間の傾向: これらの結果を先行する世代のモデルと比較すると、4 つのモデルファミリーのうち 3 つで絶対的な ASR が低下した。しかし、モデル間の格差は縮小せず、脆弱性ランキングの言語依存構造は維持された。

意義と主張
本論文は、言語とモダリティを独立した次元として扱う安全性評価フレームワークが、グローバルに展開される MLLM の攻撃対象領域を根本的に誤って特定していると主張する。中心的な発見は、言語的攻撃と視覚的攻撃の有効性の間の「分離」が、英語の修辞的パターンに較正された RLHF ベースのアライメントの予測される結果であるということである。したがって、英語のみを対象としたベンチマークは、多様な人口集団に展開されるモデルの攻撃対象領域を特徴づけるものではなく、英語条件でアライメントされたレンズを通して見られた表面のみを特徴づけるに過ぎない。

著者らは、リリース前の安全性パイプラインには、意図された展開人口を代表する言語でのネイティブスピーカーによるレッドチーム評価を含める必要があると論じている。彼らは結論として、安全性によるモデルの順序付けは固定された性質ではなく、言語によって変化する現在のアライメント実践の構造的な特徴であり、集約された ASR 指標ではなく、アイテムレベルの分散分解を含む安全性評価基準の再設計が必要であると述べている。