💬 NLP

Omni-Safety under Cross-Modality Conflict: Vulnerabilities, Dynamics Mechanisms and Efficient Alignment

本論文は、オムニモーダル大規模言語モデル（OLLM）におけるクロスモーダルな安全性脆弱性を解明するために、新たなデータセットの構築と「中間層での拒絶信号の消失」というメカニズムの特定を行い、軽量なアダプターを用いて安全性を高めつつ汎用性を維持する手法「OmniSteer」を提案しています。

原著者： Kun Wang, Zherui Li, Zhenhong Zhou, Yitong Zhang, Yan Mi, Kun Yang, Yiming Zhang, Junhao Dong, Zhongxiang Sun, Qiankun Li, Yang Liu

公開日 2026-02-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kun Wang, Zherui Li, Zhenhong Zhou, Yitong Zhang, Yan Mi, Kun Yang, Yiming Zhang, Junhao Dong, Zhongxiang Sun, Qiankun Li, Yang Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

タイトル：『マルチな能力を持つAIの「心の隙」をどう守るか？』

1. 背景：AIが「超・多才」になったことで起きた問題

これまでのAIは、主に「テキスト（文字）」だけで会話をしていました。しかし、最新のAI（OLLMといいます）は、文字だけでなく、画像、音声、動画まで一度に理解して、それらを使って返答できる「超・多才な天才」になりました。

例えるなら、これまでのAIは「本を読む専門家」でしたが、今のAIは「目で見、耳で聞き、声で話し、映像も理解できる万能な人間」になったようなものです。

しかし、ここで新しい弱点が見つかりました。

2. 問題点：情報の「すり替え」による攻撃（クロスモーダル攻撃）

これまでのAIは、「爆弾の作り方を教えて」という文字が来たら、「それは教えられません」と正しく断ることができました。

ところが、多才になったAIに対して、悪意のある人がこんな「巧妙なトリック」を使うようになりました。

文字では： 「この画像に写っているものの作り方を教えて」と、一見すると普通の質問をする。
画像では： 「爆弾」の絵だけを載せる。

文字だけを見れば「普通の質問」に見えるので、AIのガードが緩んでしまいます。そして、画像と文字を組み合わせた瞬間に、AIは「あ、爆弾の作り方を聞かれているんだな」と気づいてしまい、**「断るべきなのに、つい答えてしまう」**というミスを犯してしまうのです。

これを論文では**「クロスモーダル（情報の組み合わせ）による安全性の低下」**と呼んでいます。

3. 原因の解明：AIの「拒絶スイッチ」が消えてしまう現象

研究チームは、AIの頭の中（内部メカニズム）を詳しく調べました。すると、面白いことが分かりました。

AIの頭の中には、悪いことを聞かれた時に「ダメだよ！」と反応する**「拒絶スイッチ（拒絶ベクトル）」のようなものがあります。
しかし、文字と画像が組み合わさった瞬間、AIの脳の真ん中あたりの層で、この「拒絶スイッチ」の信号が、まるで霧の中に消えるように弱くなってしまう**ことが判明しました。

これを論文では**「中間層での溶解（Mid-layer Dissolution）」**と名付けました。スイッチが弱まってしまうから、AIは「断る」という決断ができなくなってしまうのです。

4. 解決策：新しいガードマン「OmniSteer」

そこで研究チームは、この弱点を克服する新しいガードマン、**「OmniSteer（オムニ・ステア）」**を開発しました。

このガードマンのやり方はとても賢いです。

「黄金の拒絶信号」を見つける： 文字、画像、音声、どんな組み合わせが来ても共通して使える「最強の拒絶の方向（黄金のベクトル）」を、数学的な手法（SVD）を使って探し出しました。
状況に合わせて強さを変える： 常に全力でガードすると、普通の質問まで「答えられません」と拒絶してしまい、AIが使いにくくなってしまいます（これを「過剰拒絶」といいます）。そこで、OmniSteerは、「これは本当に危ない質問か？」を瞬時に判断し、必要な時だけ、適切な強さで「拒絶スイッチ」を押し込んでくれる仕組みにしました。

5. 結果：安全なのに、賢いまま！

実験の結果、この新しいガードマン（OmniSteer）を導入することで、

安全性： 巧妙なトリックを使った攻撃に対しても、断る成功率が劇的に上がりました（約70% → 91%へ）。
賢さ： 普通の質問に対しては、以前と変わらずスムーズに、賢く答え続けることができました。

まとめ

この研究は、**「目や耳を手に入れたAIが、情報の組み合わせによって『正義感』を失ってしまう弱点」を見つけ出し、それを「どんな感覚情報が来ても、状況に応じて適切に『ダメ！』と言える、賢いガードマン」**を実装することで解決した、という素晴らしい成果です。

技術要約：クロスモーダル競合下におけるオムニ・セーフティ（Omni-Safety）

1. 背景と問題提起 (Problem)

近年、テキスト、画像、音声、動画をネイティブに扱うオムニモーダル大規模言語モデル (OLLMs) が急速に発展しています。しかし、既存の安全性アライメント（安全な回答を促す調整）は、主にテキスト単体、あるいは画像・音声といった特定の単一モーダルに対して行われてきました。

本論文は、**「複数のモーダルが組み合わさった際（クロスモーダル）、モデルの安全性（拒絶能力）が著しく低下する」**という未解決の脆弱性を指摘しています。具体的には、単一モーダルでは安全に拒絶できる有害な指示であっても、情報を複数のモーダルに分散させて提示（例：テキストで「画像の中のものをどう作るか？」と聞き、画像内に「爆弾の作り方」という情報を入れる）すると、モデルが有害性を認識できず、指示に従ってしまう現象（クロスモーダル・セーフティ・ギャップ）を問題としています。

2. 提案手法 (Methodology)

本研究は、脆弱性の解明から解決策の提案まで、以下の3つのステップで構成されています。

A. 脆弱性の特定と評価 (AdvBench-Omni)

既存の評価手法では「内容の違い」と「モーダルの違い」を分離できていないため、著者らは**「モーダルとセマンティクス（意味）の分離原則」**を提唱しました。

AdvBench-Omniの構築: 元の有害なテキスト指示を、「文脈（Context）」と「核心的なペイロード（Payload）」に分離。文脈をテキストで、ペイロードを画像や音声などの別モーダルで表現することで、意味内容は同一のまま、表現形式だけを変えた11種類のモーダル組み合わせデータセットを構築しました。

B. メカニズムの解析 (Mid-layer Dissolution)

なぜクロスモーダルで安全性が下がるのかを、内部表現のダイナミクスから解析しました。

Mid-layer Dissolution（中間層での溶解現象）: クロスモーダル入力において、モデルの中間層で「拒絶信号（Refusal Signal）」が急激に減衰・崩壊する現象を発見しました。
原因の特定: 拒絶ベクトル（有害な入力と無害な入力の差分ベクトル）を解析した結果、拒絶の「方向」のズレよりも、拒絶ベクトルの「大きさ（Magnitude）」が著しく縮小することが、安全性の低下の主因であることを突き止めました。
黄金の拒絶ベクトル (Golden Refusal Vector): 特異値分解 (SVD) を用いて、モーダル固有のバイアスを除去し、すべてのモーダルに共通する純粋な拒絶方向を抽出することに成功しました。

C. 効率的なアライメント手法 (OmniSteer)

解析結果に基づき、軽量かつ適応的な防御手法 OmniSteer を提案しました。

適応的ステアリング: 各層に軽量なアダプター（2層のMLP）を配置。入力された隠れ状態に基づき、その層で適用すべき拒絶ステアリングの強度（ $\alpha$ ）をリアルタイムで動的に決定します。
損失関数: 有害入力に対しては拒絶強度を確保し、無害な入力に対しては過剰な拒絶（Over-refusal）を防ぐための二重の目的関数を用いて学習します。

3. 主な貢献 (Key Contributions)

脆弱性の暴露: モーダルと意味を分離した評価基準を確立し、クロスモーダル環境における深刻な安全性低下を初めて体系的に明らかにしました。
メカニズムの解明: 拒絶信号が中間層で消失する現象と、その原因がベクトルの大きさの縮小にあることを理論的・実験的に証明しました。
効率的な防御策の提示: モデルの汎用能力（知識や推論力）を損なうことなく、クロスモーダル攻撃に対する拒絶成功率を劇的に向上させる軽量な手法を開発しました。

4. 実験結果 (Results)

3つの主要なOLLM（Qwen2.5-Omni-7B, Baichuan-Omni-1.5, MiniCPM-o-2.6）を用いて検証を行いました。

安全性向上: OmniSteerを適用することで、拒絶成功率 (RSR) がベースラインの 69.9% から 91.2% へと大幅に向上しました。
汎用性の維持: 安全性を高める一方で、モデルの一般的な能力（OmniBenchでの精度）への影響は 2%未満 と極めて低く、無害な質問への過剰な拒絶も抑制できています。
既存手法との比較: プロンプトによる自己暗示（Self-Reminder）や、分類器を用いる手法（OmniGuard）よりも、安全性と有用性のバランスにおいて優れていることが示されました。

5. 意義 (Significance)

本研究は、次世代の「世界モデル」や「エージェント」の基盤となるオムニモーダルモデルにおいて、「情報の組み合わせによる攻撃」が極めて現実的かつ強力な脅威であることを示しました。また、モデルの重みを再学習させることなく、推論時に介入する「アクティベーション・ステアリング」という軽量なアプローチが、複雑なマルチモーダル環境における安全性の確保において極めて有効であることを証明した点に大きな意義があります。