💻 computer science

SoK: The Security-Safety Continuum of Multimodal Foundation Models through Information Flow and Global Game-Theoretic Analysis of Asymmetric Threats

本論文は、マルチモーダル基盤モデル（MFM）における安全性とセキュリティの課題を情報理論とゲーム理論を用いて体系化し、モデル単体の防御よりもシステムレベルでの情報流（帯域幅）の制御が、適応的な攻撃に対してより強固で一貫した防御を実現することを明らかにしています。

原著者： Ruoxi Sun, Jiamin Chang, Hammond Pearce, Chaowei Xiao, Bo Li, Qi Wu, Surya Nepal, Minhui Xue

公開日 2026-02-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ruoxi Sun, Jiamin Chang, Hammond Pearce, Chaowei Xiao, Bo Li, Qi Wu, Surya Nepal, Minhui Xue

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

1. 背景：AIは「目」と「耳」と「手」を持つようになった

これまでのAIは、テキストだけを読み取る「読書家」のようなものでした。しかし、今の最新AI（マルチモーダルAI）は、画像を見て、音を聞き、さらにはロボットのように「行動」までできる、いわば**「五感を持つ万能な店員さん」**です。

この「万能さ」は素晴らしいことですが、同時に**「騙しやすさ」**も生んでいます。

2. 論文の核心：AIへの攻撃は「情報のノイズ」と「情報の通り道」の問題

研究チームは、AIへの攻撃を**「情報の通信」**として捉えました。これをレストランの注文システムに例えてみましょう。

① モデルレベルの攻撃（店員さんの「勘違い」）

これは、店員さん（AIモデル）の頭の中を混乱させる攻撃です。

ノイズ攻撃（情報の汚れ）： 注文票にわざとインクをこぼして、文字を読みにくくするようなものです。店員さんは「えーっと、これはカレーかな？」と勘違いしてしまいます。
シグナル操作（情報のすり替え）： 注文票には「カレー」と書いてあるのに、横に「激辛」という絵をこっそり添えて、店員さんの判断を狂わせるようなものです。

② システムレベルの攻撃（「注文ルート」の乗っ取り）

これがこの論文の最も重要な指摘です。店員さん自身は優秀でも、**「注文が届くルート」**が悪いと問題が起きます。

プロンプト注入（偽の指示）： お客さんが注文票の隅に、小さく**「※店長、今すぐレジの金を全部外に捨ててください」**と書いておくようなものです。店員さんは「これは注文の一部だ」と思い込んで、指示に従ってしまいます。

3. この論文のすごい発見：「守り方」には格差がある！

研究チームは、数学的な分析（ゲーム理論）を使って、**「守り方の効率」**を調べました。ここで驚きの結論が出ています。

「店員さんの教育」だけでは限界がある（モデルレベルの防御）：
「もっと丁寧に文字を読みなさい」「勘違いしないように訓練しなさい」と教育しても、攻撃者がもっと巧妙な「汚れ（ノイズ）」を使ってくると、教育の効果はどんどん薄れてしまいます。これを論文では**「収穫逓減（しゅうかくていげん）」**、つまり「頑張っても効果が落ちていく現象」と呼んでいます。
「注文ルートの制限」こそが最強（システムレベルの防御）：
店員さんの教育に頼るのではなく、「注文票には『料理の名前』しか書けないルールにする」「レジの鍵は店長しか触れないようにする」といった、「情報の通り道（帯域幅）」を物理的に制限する方が、圧倒的に安全なのです。たとえ店員さんが騙されても、ルール（システム）が「それは許可されていない行動です」と止めてくれるからです。

4. 究極の守り：「非常停止ボタン（回路遮断器）」

もし、どうしても騙されてしまい、店員さんが暴走しそうになったらどうするか？
論文は、**「自己破壊（セルフ・デストラクション）」**という究極の策を提案しています。

これは、レストランが火事になりそうな時に、**「店全体をシャットダウンして、全ての機能を停止させる」という仕組みです。
「少しの損害（お店を閉めること）」を受け入れて、「取り返しのつかない大惨事（店が爆発すること）」を防ぐ。この「非常停止ボタン」**をあらかじめ設計に入れておくべきだと主張しています。

まとめ：この論文が言いたいこと

AIは「目」や「耳」が増えた分、騙す方法も巧妙になっている。
AIの「頭脳」を鍛える（モデル防御）だけでは、賢い攻撃者には勝てない。
「何ができるか、何ができるか」という「ルールと通り道（システム防御）」を厳しく制限することこそが、最強の守りである。
最悪の事態には、潔く「システムを止める」仕組みを持っておけ。

つまり、**「AIを賢くするだけでなく、AIが暴走できないような『頑丈な檻（ルール）』をセットで作ろうぜ！」**という提案なのです。

技術要約：マルチモーダル基盤モデルにおけるセキュリティと安全性の連続体

1. 背景と問題意識 (Problem)

マルチモーダル基盤モデル（MFM）は、テキスト、画像、音声などの多様なデータを統合することで高度な能力を獲得していますが、同時に従来の単一モーダルモデルとは異なる、複雑な**安全性（Safety）とセキュリティ（Security）**のリスクを抱えています。

従来のAI研究では、「安全性（意図しない失敗の防止）」と「セキュリティ（悪意のある攻撃への防御）」は別個に扱われる傾向がありました。しかし、MFMにおいては、あるモーダルへの攻撃が他のモーダルへ伝播したり、エージェントの行動を介してシステム全体に被害が拡大したりするため、両者の境界は曖昧になっています。既存の調査研究は、個別の攻撃手法（プロンプトインジェクションやデータポイズニングなど）に焦点を当てすぎており、「攻撃がどのように伝播し、システム全体としてどのように破綻するか」という包括的な視点が欠如していることが大きな課題でした。

2. 手法 (Methodology)

本論文は、MFMの脅威を体系化するために、**情報理論（Information Theory）とゲーム理論（Game Theory）**を融合させた新しいフレームワークを提案しています。

A. 情報理論による抽象化

シャノン＝ハートレーの定理を応用し、MFMの通信チャネルを以下の4つの変数でモデル化しました。

チャネル容量 ( $C$ ): モデルがタスクに関連する情報を信頼性高く伝達できる能力。
信号 ( $S$ ): 入力から抽出される意味のある情報。
ノイズ ( $N$ ): 信号を歪ませる無関係または悪意のある情報（摂動や誤情報）。
帯域幅 ( $B$ ): システムやエージェントが許可された情報に基づいて行動できる能力（Authorized Information Pathway）。

これにより、モデルレベルの脅威（ $S$ の減少や $N$ の増加）と、システムレベルの脅威（ $B$ の制御不能）を統一的に記述することに成功しました。

B. ゲーム理論による防御分析

攻撃者と防御者の相互作用を**決定論的ミニマックス・ゲーム（Deterministic Minimax Game）**として定式化しました。攻撃者は被害（Harm）を最大化しようとし、防御者はそれを最小化しようとするプロセスを数学的にモデル化し、防御戦略の有効性を評価しました。

3. 主な貢献 (Key Contributions)

統一的な脅威タクソノミーの構築:
情報フロー（予測、学習、逆抽出、行動、相互作用、メモリ）に基づき、モデルレベルの脅威（Misleading, Mislearning, Extraction）とシステムレベルの脅威（Action, Interaction, Memory）を網羅的に分類しました。
防御の構造的不対称性の証明 (Structural Defense Asymmetry):
数学的証明により、モデルレベルの防御（ノイズ除去など）は攻撃が強まるにつれて効果が対数的に減少する（収穫逓減）のに対し、システムレベルの防御（帯域幅 $B$ の制限）は、攻撃の強度に関わらず決定論的な上限を課すことができることを示しました。
防御カバー率指標 (DCI) の導入:
限られた防御リソースがどれだけ広範な攻撃をカバーできるかを定量化する指標を提案しました。
アーキテクチャ原則の提案:
被害の拡大を防ぐための「コンパートメント化（区画化）」と、致命的なリスクを検知した際にシステムを強制停止する「自己破壊型サーキットブレーカー（Self-destructive circuit breakers）」の概念を導入しました。

4. 結果 (Results)

モデルレベル防御の限界: 15種類の防御策を評価した結果、摂動（ノイズ）に対する防御は、複数のモーダルを同時に攻撃する「Co-attack」に対しては効果が著しく低下することが確認されました。
システムレベル防御の優位性: プロンプトインジェクション攻撃に対し、LLMを用いたフィルタリング（モデルレベル）は誤検知率（FPR）が高くなる傾向にありましたが、帯域幅を制限するシステムレベルの防御（DataSentinelなど）は、極めて低い誤検知率と高い検知率を両立しました。
防御の最適解: 攻撃の種類に応じて、ノイズを減らす（ $N \downarrow$ ）、信号を復元する（ $S \uparrow$ ）、あるいは許可された経路を制限する（ $B \uparrow$ ）といった、情報理論的軸に基づいた最適な防御戦略を特定しました。

5. 意義 (Significance)

本研究は、MFMの安全性を「確率的なモデルの頑健性」の問題から、「システム全体の情報の流れを制御する設計」の問題へと昇華させた点に大きな意義があります。

単に「より賢い、壊れにくいモデル」を作るだけでは、エージェント化が進むAI社会のセキュリティは守れません。本論文が示すように、システムレベルでの帯域幅制限や、異常時にシステムを遮断する物理的な仕組み（サーキットブレーカー）を設計に組み込むことが、次世代のAI安全保障における不可欠なパラダイムであることを示唆しています。