🤖 AI

Securing Multimodal AI through Internal Information Decomposition

本論文は、部分情報分解に着想を得たFlowVectorを用いた内部的なクロスモーダル一貫性の監視を通じて、敵対的攻撃を検知することによりマルチモーダルAIを保護する、軽量な推論時フレームワークであるFlowGuardを提案しており、最小限のレイテンシとユーティリティの損失で攻撃成功率を大幅に低減させる。

原著者： Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

公開日 2026-07-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、カメラを通じて世界を見、マイクを通じてあなたと話すことができるロボットを構築していると想像してください。このロボットは「マルチモーダル大規模言語モデル（Multimodal Large Language Model）」、つまり画像と言葉を組み合わせて何が起きているかを理解する、非常に賢いAIです。しかし、ここにはトリッキーな問題があります。単にロボットが「無害な画像」と「無害な文章」を受け取ったとしても、その「組み合わせ」が安全であるとは限らないのです。それは、シェフにケーキの画像とレシピを渡しておきながら、耳元で「毒を加えろ」という秘密のコードを囁くようなものです。画像もレシピも一見すると正常ですが、最終的な料理は危険なものになります。これが、研究者たちが懸ereしている新しい種類の危険性です。ハッカーが、画像とテキストに悪意を分割して隠すことで、それぞれ単体では怪しまれないようにしながら、組み合わさった瞬間にAIを騙して有害な行動を取らせようとするのです。

こうした巧妙なトリックを見破るために、科学者たちは通常、画像やテキストを個別にチェックしようとします。それは、セキュリティガードがバッグと身分証明書を一つずつ別々にチェックするようなものです。しかし、この論文はよりスマートな方法を提案しています。入力そのものをチェックするのではなく、ロボットがそれらをどのように「考えているか」を観察すべきだという方法です。核心となるアイデアは、ロボットが正常に動作しているとき、画像とテキストは互いに一致し、ロボットが明確で自信に満ちた決定を下すのを助けるはずだ、ということです。もしハッカーがロボットを騙そうとしているなら、その内部的な合意は崩れます。ロボットの脳は混乱したり、画像とテキストが互いに逆方向へ引っ張り合ったりします。たとえ最終的な答えが滑らかに見えたとしてもです。この論文は、FlowGuardと呼ばれる新しい安全システムを提案しています。これは「思考の探偵」として機能し、表面的な言葉やピクセルをチェックするのではなく、画像とテキストが互いに衝突したり、不自然に動いたりしていないかを、ロボットの内部的な推論プロセスを監視することで検知します。

FlowGuardの物語：「思考の断裂」を捕らえろ

Jehyeok Yeon氏らを中心とする研究チームは、これらのAIモデルがどのように機能するかについて、非常に興味深いことに気づきました。モデルに通常の画像と通常の質問を与えると、画像を見る脳の部分とテキストを読む脳の部分は通常、非常にうまく連携します。彼らは情報を共有し、何が重要であるかに同意し、最終的な答えは安定しており、確実なものになります。それは、二人の友人が一緒に砂の城を作るようなものです。二人とも城がどのような姿になるべきかを理解しており、その共同作業によって、城はより強く、より詳細なものになります。

しかし、攻撃者がモデルを「ジェイルブレイク（脱獄）」しようとする場合（つまり、画像やテキストの中に悪い指示を隠すことで、モデルの安全ルールを無視させようとする場合）、その調和は崩れます。論文によかなれば、攻撃者が画像とテキストをそれぞれ無害に見せることに成功したとしても、モデルがそれらを組み合わせようとした瞬間に、何かがうまくいかなくなります。内部的なロジックが「断裂（fractured）」するのです。画像が何かを叫んでいる一方で、テキストが別のことを囁いていたり、あるいはその組み合わせが、モデルの脳がスムーズに解決できない混乱した状態を作り出したりします。

これを捉えるために、チームはFlowGuardを構築しました。FlowGuardを、入り口に立つガードマンではなく、ロボットの脳のすぐ中に座っている「翻訳者」だと考えてください。それは単に最終的な答えを見るのではなく、ロボットの意思決定プロセスのまさに最初の瞬間に目を凝らします。そして、素早く3つの質問を投げかけます。

もしロボットが「画像だけ」を見たとしたら、何と言うか？
もしロボットが「テキストだけ」を読んだとしたら、何と言うか？
「両方」を一緒に見たとき、何と言うか？

次に、FlowGuardはこれら3つの答えを比較します。安全な状況では、「両方」の答えは他の2つの「幸せな混合物」であるはずです。例えば、赤と黄色を滑らかに混ぜてオレンジ色を作るようなものです。しかし、攻撃が行われている場合、「両方」の答えは突然奇妙な色に変わったり、あるいは赤と黄色の絵の具が互いに混ざり合うのを拒否したりすることがあります。FlowGuardは、この「混合」を、ある概念（部分情報分解と呼ばれる概念から着想を得たもの）を用いた高度な数学を用いて測定し、FlowVectorを作成します。これは、画像とテキストがどのように相互作用しているかを正確に記述する、4つの数字からなる小さなコードです。

冗長性 (Redundancy): 画像とテキストは一致しているか？（高い冗長性は、両者が同じ認識を持っていることを意味します）。
一意性 (Uniqueness): 一方が会話を支配していないか？（画像が叫んでいてテキストが沈黙している場合、それは高い視覚的一意性を意味します）。
相乗効果 (Synergy): それらを組み合わせることで答えはより明確になるのか、それともより混乱するのか？（良い相乗効果は、全体が部分の総和よりも優れていることを意味し、悪い相乗効果は、組み合わせが混沌を生み出すことを意味します）。

チームは、数千もの「正常な」画像と質問（ロボットが完璧に振る舞う例）のみを使用して、FlowGuardを訓練しました。彼らはAI検出器（Isolation Forest）に対し、「正常な」流れとはどのようなものかを教え込みました。正常な振る舞いのみで訓練されたため、この検出器は、パターンが少しでも「通常」から外れているものはすべて怪しいと判断できるのです。それは、セキュリティシステムに「普通の家の音」を認識させるようなものです。もし窓が割れたり、床板が変な音を立てたりすれば、侵入者が変装していても、アラームが鳴る仕組みです。

研究結果

結果は驚くほど効果的でした。研究者たちは、ASCIIアートの中に悪い言葉を隠したり、目に見えないピクセルの変化で画像をスクランブルさせたり、あるいは画像と文章に悪い指示を分割して隠したりする、多種多様な攻撃に対してFlowGuardをテストしました。

防御策がない場合、これらのモデルは非常に脆弱でした。最も巧妙な攻撃に対して、モデルは90%以上の確率で失敗し、喜んで有害なコンテンツを生成してしまいました。しかし、FlowGuardを起動すると、これらの攻撃の成功率は15%未満にまで激減しました。多くの場合、FlowGuardはほぼすべての試みを捉え、失敗率を1桁台（クロスモーダル攻撃に対しては6%から9%程度）にまで抑え込みました。

さらに素晴らしいことに、FlowGuardは単に悪い奴らを止めるだけでなく、善良なユーザーを誤って止めることもありませんでした。研究者たちは、FlowGuardが普通の質問に対して不機嫌になり、回答を拒否しないかどうかを確認しました。その結果、FlowGuardが安全な入力に対してミスをしたのはわずか2.4%であり、これは、安全のために無害な質問までブロックしてしまう他の多くの安全手法よりもはるかに優れていることが分かりました。さらに、非常に高速でした。他の安全チェックの中には、複雑な画像の再構成を実行するために数秒かかるものもありましたが、FlowGuardは約1.3秒で任務を遂行し、リアルタイムでの使用に適していることを証明しました。

また、この手法は、40億の「脳細胞」を持つ小型のロボットから、700億を持つ巨大なものまで、異なるタイプのロボットで機能することも示されました。APIを通じてアクセスされるモデル（脳全体は見えず、トップの予測しか見えないもの）でも機能したことは、この「思考の断裂」のシグナルが、特定の設計による一時的な不具合ではなく、これらのモデルの根本的な仕組みの一部であることを証明しています。

結論

この論文は、マルチモーダルAIを保護するための最善の方法は、入力の周りに高い壁を築くことではなく、AIがどのように考えるかに耳を傾けることであると示唆しています。画像とテキストがうまく噛み合わなくなる瞬間を監視することで、FlowGuardはロボットが文章を言い終える前に、ハッカーのトリックを見抜くことができるのです。これは軽量で高速、かつ驚くほど堅牢な方法であり、強力なツールを安全に保つための鍵は、機械の心の内部的な調和に注意を払うことにあるのかもしれません。

技術要約：内部情報の分解によるマルチモーダルAIの安全性確保

問題提起

マルチモーダル大規模言語モデル（MLLM）は、単一モーダルなシステムには存在しない新たな攻撃対象領域を導入します。攻撃者は、悪意のある意図を複数のモダリティ（テキストと画像）に分散させることができ、個々の入力は無害で内部的に一貫しているように見えながら、それらが組み合わさることで不適切な挙動を誘発させることができます。この「構成的（compositional）」な失敗モードは、従来の安全性の防御策を無効にします。既存のアプローチは、生の入力のサニタイズ、生成された出力の検証、またはスカラー値の信頼度指標（尤度、エントロピー、パープレキシティなど）の監視に焦点を当てています。しかし、これらの手法は、テキストのみの推論とビジョンのみの推論がそれぞれ一貫しているものの、それらが融合した際に確信を持ちつつも構成的に不整合な挙動を生み出す場合には、しばしば失敗します。核心となる課題は、基礎となるモデルを変更したり、敵対的な教師あり学習に頼ったりすることなく、特に未知またはゼロショットの攻撃に対して、これらの失敗を検出することです。

手法：FlowGuard

著者らは、マルチモーダルな推論の内部一貫性を監視することで有害な入力を検出する、軽量な推論時フレームワークであるFlowGuardを提案しています。表面的な入力や出力を検査するのではなく、FlowGuardは、単一モーダルな予測分布とマルチモーダルな予測分布の間の相互作用を分析します。

コアメカニズム

FlowGuardは、以下の3つの条件付け構成の下でターゲットとなるMLLMをプローブ（探索）することで動作します。

テキストのみ: $P^{(1)}_t = P_M(\cdot \mid \emptyset, Q)$
ビジョンのみ: $P^{(1)}_v = P_M(\cdot \mid I, Q_\emptyset)$ （固定された中立的なプロンプトを使用）
結合マルチモーダル: $P^{(1)}_{mm} = P_M(\cdot \mid I, Q)$

システムは、自己回帰的な増幅が行われる前の、モデルの初期決定状態を捉える最初のトークンの予測分布（ $P^{(1)}$ ）に焦лоスを絞ります。

FlowVectorsと部分情報分解（PID）

部分情報分解（PID）に着想を得て、FlowGuardは、テキストとビジョンからの情報がどのように重なり、乖離し、融合の下で安定するかを定量化する4次元のFlowVector $\phi(x) = (U_v, U_t, R, S)$ を導出します。

固有性 ( $U_v, U_t$ ): 方向性KLダイバージェンスを用いて測定されます。
- $U_v = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_t)$ : 融合後の事後分布がテキストのみの事前分布からどの程度乖離しているか（視覚的支配性）を捉えます。
- $U_t = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_v)$ : ビジョンのみの事前分布からどの程度乖離しているか（テキスト的支配性）を捉えます。
- 意義: 敵対的な操作はしばしばモダリティの影響のバランスを崩し、非対称な乖離信号をもたらします。
冗長性 ( $R$ ): $1 - JSD(P^{(1)}_t \parallel P^{(1)}_v)$ $1 - J S D (P_{t}^{(1)} ∥ P_{v}^{(1)})$ として測定されます（ここでJSDはJensen–Shannonダイバージェンス）。
- 意義: 単一モーダルな事前分布間の意味的な整合性を捉えます。無害な入力は整合した構造を誘発しますが、敵対的なプロンプトは相反する意図を導入し、冗長性を減少させます。
シナジー（相乗効果） ( $S$ ): エントロピー減少として測定されます: $S = \frac{H(P^{(1)}_t) + H(P^{(1)}_v)}{2} - H(P^{(1)}_{mm})$ $S = \frac{H ( P _{t}^{(1)} ) + H ( P _{v}^{(1)} )}{2} - H (P_{mm}^{(1)})$ 。
- 意義: 融合が不確実性を減少させるのか（建設的な統合、 $S > 0$ ）、あるいは不確実性を増幅させるのか（不安定な相互作用、 $S < 0$ ）を示します。

防御目標

FlowGuardは、安全性の検出を一クラス分類問題として定式化します。Isolation Forestは、無害なデータ（例：VQAv2検証セット）から得られたFlowVectorsのみを用いて訓練されます。このモデルは、「整列した」マルチモーダルな情報フローのコンパクトな領域を学習します。敵対的な入力は、異常なクロスモーダル相互作用（例：断片化したフロー、負のシナジー、または極端なモダリティ支配）を示すため、この空間における外れ値として現れます。

アクセス要件: FlowGuardは、次トークンの確率分布（またはAPIモデルの場合は、十分に大きなトップ- $k$ のログ確率の裾）へのアクセスのみを必要とします。モデルの重み、勾配、または隠れ層の活性化関数は必要としません。

主な貢献

プロセスレベルのマルチモーダル安全性: 本論文は、マルチモーダルな融合の失敗を直接ターゲットにすることで、表面的なコンテンツではなく、テキストのみ、ビジョンのみ、および結合された予測分布間の一貫性に焦点を当て、MLLMの安全性を再定義しました。
FlowVectors: 推論時におけるマルチモーダルな推論の内部情報フロー（冗長性、固有性、シナジー）を捉える、コンパクトな情報理論的特徴量を導入しました。
ゼロショット攻撃検出: 無害なマルチモーダル挙動を一クラス分類によってモデル化することで、敵対的な学習や生成的検証なしに、多様で未知のジェイルブレイクを堅牢に検出できることを示しました。

実験結果

著者らは、複数のMLLMアーキテクチャ（LLaVA-1.5-7B, Qwen2.5-VL-7B, Gemma-3-4B, LLaMA-3.1-70B）および、テキストのみ、ビジョンのみ、およびクロスモーダル攻撃をカバーするベンチマーク（MM-SafetyBench, VLSafe, VLSU）にわたってFlowGuardを評価しました。

攻撃成功率（ASR）の低減: FlowGuardは、未知の攻撃に対してASRを $>90\%$ （未保護時）から $<15\%$ へと一貫して減少させました。例えば、LLaVA-1.5-7Bにおいて、Universal Master Key (UMK) のASRを96.0%から8.7%へ、Color-Based Substitution Cipher (CBSC) のASRを94.8%から9.1%へと減少させました。
有用性の維持: 本フレームワークは、無害なクエリに対する有用性をベースラインの2.4%以内の誤差に維持しました。また、複雑な意味を持つ無害なクエリ（MOSSBench）に対して2.4%の偽陽性率（FPR）を達成し、パープレキシティベース（FPR 11.2%）や信頼度ベース（FPR 14.5%）の検出器を大幅に上回りました。
効率性: FlowGuardは、1サンプルあたり約1.3秒のレイテンシ（3回のフォワードパスを含む）で動作し、MirrorCheckやCIDERのような拡散ベースの検証方法と比較して最大6倍の高速化を実現しました。
堅牢性: 本手法は、モデルスケール（4Bから70Bパラメータ）および部分的な分布アクセス（top- $k$ ログ確率を用いたGPT-4.1-mini）において堅牢性を示し、平均ASR 10.4%を維持しました。
アブレーション研究:
- シナジー ( $S$ ): シナジー特徴量を除去すると最大の性能低下が見られ、マルチモーダルな不確実性の減少における偏差が、検出のための主要な信号であることを示しました。
- デコーディングステップ: 最初のデコーディングステップ（ $k=1$ ）のみを監視することで飽和に達しており、ステップ数を増やしても、線形なレイテンシコストに対する利得はわずかでした。
- 分類器の選択: 一クラスのIsolation Forestは、未知の攻撃に対して教師ありMLPよりも優れた性能を示し、特定の摂動パターンへの過学習を回避しました。

意義と主張

本論文は、流暢さや信頼性よりもマルチモーダルな統合の構造を重視する、従来の安全性基準の根本的な限界に対処することで、マルチモーダルな推論における効率的かつ効果的な防御策として、クロスモーダルな一貫性を監視することの有用性を主張しています。

汎用性: 特定の攻撃パターンに依存せず、情報フローの構造的一貫性に依拠することで、FlowGuardはアーキテクチャや未知のジェイルブレイク戦略を横断して汎用できる、攻撃に依存しない防御を提供します。
補完性: 著者らは、FlowGuardを、入力浄化や出力検証といった既存の手法を補完するレイヤーとして位置付けています。これは、表面的なチェックでは見逃される、マルチモーダルな統合の失敗を検出するモデル内部の信号を提供します。
スケーラビリティ: 本フレームワークは軽量であり、モデルの再学習や勾配へのアクセスを必要としないため、モデルの重みが非公開であったりアクセス不能であったりする実世界のシステムへの導入に適しています。

著者らは、FlowGuardはクロスモーダルおよびビジュアル攻撃に対して非常に効果的である一方で、テキストのみの攻撃に対しては残留ASRがやや高い（約13–14%）ことを指摘しており、包括的な保護のためにはテキスト特有の防御との組み合わせが必要である可能性を示唆しています。また、検出メカニズムを公開することは適応的な攻撃者に情報を与える可能性があること、および異常検知型のアプローチは稀ではあるが正当な入力を誤検知するリスクがあるため、参照データセットの厳密なキュレーションと、機密性の高いアプリケーションにおける偽陽性の監査が必要であることも認めています。

FlowGuardの物語： 「思考の断裂」を捕らえろ