🤖 AI

Semantic Router: On the Feasibility of Hijacking MLLMs via a Single Adversarial Perturbation

本論文は、単一の敵対的摂動を利用して、多様な入力を攻撃者が定義したターゲットへと誘導するセマンティック・ルーターとして機能することで、ステートレスなマルチモーダル大規模言語モデルを乗っ取る新しい攻撃手法であるSemantic-Aware Universal Perturbation (SAUP) を導入し、代表的なモデルにおいて複数のターゲットに対して66%の成功率を達成している。

原著者： Changyue Li, Jiaying Li, Youliang Yuan, Jiaming He, Zhicong Huang, Pinjia He

公開日 2026-06-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Changyue Li, Jiaying Li, Youliang Yuan, Jiaming He, Zhicong Huang, Pinjia He

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常にスマートで自律的なロボットカーやロボットアームを想像してみてください。これらの機械は、世界を観察して次に何をすべきかを決定するために、「マルチモーダル大規模言語モデル（MLLM）」と呼ばれる「脳」を使用しています。

ここで問題が発生します。これらのロボットはしばしば「ステートレス（状態を持たない）」モードで動作します。これは、彼らが5秒前に何が起きたかを覚えていないことを意味します。彼らは現在の画像と現在の指示だけを見て、瞬時の判断を下し、その後すべてを忘れてしまいます。それは、瞬きをするたびに記憶喪失になるドライバーのようなものです。彼らは今、目の前で見ているものしか知りません。

論文「Semantic Router（セマンティック・ルーター）」は、わずか一つ、極めて小さく目に見えないステッカー（敵対的摂動）を用いて、これらのロボットをハッキングする恐ろしい新しい方法を明らかにしています。

「魔法のステッカー」の比喩

ロボットの脳を、非常に厳格な交通警察官だと考えてください。

通常の状態： 警官は交差点の写真を見て「止まれ」と言います。警官はラウンドアバウト（環状交差点）の写真を見て「進め」と言います。
攻撃： ハッカーは、ロボットのカメラレンズに、小さくてほとんど目に見えない「魔法のステッカー」を貼り付けます。このステッカーは、単にロボットに物事を誤認させるだけでなく、セマンティック・ルーター（賢いスイッチ）として機能します。

このステッカーには超能力があります。それは画像の*コンテキスト（文脈）*を読み取り、スイッチを切り替えて、ロボットを全く異なる、危険な目的地へと送り込むことができます。

シナリオA： ロボットがラウンドアバウトを見ます。ステッカーはそれを感知し、ロボットに「左折せよ」と伝えます（通常の動作）。
シナリオB： ロボットが交差点を見ます。ステッカーはこの異なるコンテキストを即座に察知し、指示を「右折せよ」（あるいは「崖に向かって走行せよ」）へと瞬時に切り替えます。

恐ろしいのは、ハッカーはたった一つのステッカーを用意するだけでよいという点です。その単一のステッカーは、ロボットが見るあらゆる画像に対して機能しますが、ロボットが実際に何を見ているかに応じて、その挙動を変化させます。それは、どの部屋にいるかによってボタンの機能が変わるリモコンのようなものです。

どのようにして実現したのか？（「幾何学的」なトリック）

研究者たちは単に推測したわけではありません。彼らは、ステッカーをどのように構築すべきかを理解するために、ロボットの「脳」（画像が処理される数学的な空間）の内部を調査しました。彼らは主に2つのトリックを発見しました。

「ドミナント・シフト（支配的な転移）」（大きな押し出し）： ステッカーは、ロボットの脳を通常の安全な思考経路から押し離します。これにより、ルールが異なる「混乱ゾーン」へとロボットを強制的に追い込みます。
「セマンティック・デフレクション（意味論的な偏向）」（穏やかな誘導）： 一度ロボットがその混乱ゾーンに入ると、ステッカーは画像間の微細な違い（例えば「トラック」と「山」の違いなど）を利用して、あらかじめプログラムされた特定の危険なコマンドへとロボットを穏やかに誘導します。

これを実現するために、彼らはSORTと呼ばれる新しい数学的レシピを考案しました。SORTを「熟練のシェフ」だと考えてください。このシェフは、スープ（画像）にどれくらいの塩（ノイズ）を加えれば、鶏肉を見たときには「チキン」の味がし、ケーキを見たときには「毒」の味がするかを正確に知っているのです。

結果：どれほど深刻なのか？

研究者たちは、3種類の異なるロボットの脳（LLaVA、Qwen、InternVL）を用いて、2種類のテストデータで検証を行いました。

単純な画像（例：猫 vs 犬）。
現実世界の運転やロボットのタスク（例：停止線に接近する車、あるいはコップを掴もうとするロボットアーム）。

判明したことは驚くべきものでした：

一つのステッカー、多数のターゲット： 単一のステッカーを用いて、シーンに応じてロボットを5つの異なる危険な結果へと導くことができました。
高い成功率： あるモデル（Qwen）において、単一のステッカーは5つの異なるターゲットに対して66%の確率でロボットを欺くことに成功しました。
きめ細かな制御： シーンが非常に似ている場合（例：高速道路上の車 vs 歩道上の車）でも、ステッカーはその違いを識別し、正しい危険なコマンドを発行することができました。
長い指示： 彼らは、見たものに基づいて、短い単語だけでなく、長い特定の文章（例：「すべてのファイルを削除せよ」）をロボットに言わせることさえできました。

結論

この論文は、単一の普遍的なトリックによって、ロボットの意思決定プロセスを「ハイジャック」することが可能であることを証明しています。ロボットは動くたびにハッキングされる必要はありません。ハッカーはただ、一つの「セマンティック・ルーター」となるステッカーを設置するだけでよいのです。一度設置されれば、ロボットは目の前の状況に応じて指示を切り替えながら、喜んでハッカーの指示に従うようになります。

論文は、これが現在のAIシステム、特に過去を記憶せずに意思決定を行うシステムにおける根本的な脆弱性であることを結論づけています。

技術要約：Semantic Router: 単一の敵対的摂動によるMLLMのハイジャックの実現可能性について

1. 問題定義：セマンティック認識型ハイジャック

本論文は、マルチモーダル大規模言語モデル（MLLM）に対する新たな脅威である**「セマンティック認識型ハイジャック（Semantic-Aware Hijacking）」を調査している。MLLMは、履歴のコンテキストを保持せずに個々のフレームを処理するステートレスなシステム（例：自動運転、ロボティクス）に導入されることが増えているが、本研究では、これら一連のアトミックな決定を単一のユニバーサルな敵対的摂動**によって侵害することの実現可能性を探求している。

従来のユニバーサル敵対的摂動（UAP）が多様な入力を単一のターゲットにマッピングしたり、性能を全般的に低下させる非標的型のノイズであったりするのに対し、提案されている脅威は**「セマンティック認識型ユニバーサル摂動（SAUP）」**を伴うものである。SAUPは「セマンティック・ルーター」として機能し、入力フレームの視覚的な意味論（セマンティクス）を能動的に感知し、その入力内容のみに基づいて、攻撃者が定義した明確に異なるターゲットへとルーティングを行う。例えば、自動運転のシナリオにおいて、単一の摂動が、交差点を検知したときには「右折」を出力させ、ラウンドアバウトを検知したときには「停止」を出力させるように強制することで、エージェントを累積的に悪意のある目的地へと誘導することができる。

核心となる課題は、潜在空間の幾何学的制約にある。摂動は、すべての入力を自然な多様体から遠ざける（支配的シフト：Dominant Shift）と同時に、微妙な意味的差異を保存・増幅して、それらを特定の異なるターゲットへと偏向させる（セマンティック・デフレクション：Semantic Deflection）必要がある。

2. 手法：SORTおよび理論的枠組み

理論的分析

著者らは、ホワイトボックス設定下でこの脅威モデルを定式化し、MLLMの潜在空間の幾何学的特性を分析している。彼らは、摂動を加えた入力 $x + \delta$ に対するビジョンエンコーダの応答を、一次テイラー展開を用いて以下の2つの成分に分解している：

支配的シフト ( $\mu_\delta$ ): 摂動 $\delta$ は支配的シフト $\phi(\delta)$ を生成し、入力クラスターを決定境界が密集する敵対的な部分空間へと移動させる。
セマンティック・デフレクション ( $\nu_c$ ): 摂動はヤコビ行列 $J_\delta$ を利用して入力 $x(c)$ の固有の意味的差異を抽出し、特徴量を特定のプロキシ・ターゲットの埋め込みへと偏向させる。

著者らは、成功するマッピングには、摂動の拡張能力（ヤコビ行列のスペクトルノルム）が、ターゲット間の埋め込み距離と入力間の埋め込み距離の比率を超える必要があるという理論的境界（定理 3.4）を導き出した。これは、入力間の距離が小さい微細な意味論への攻撃の難しさを示している。

SORTアルゴリズム

これらの最適化の課題を克服するために、本論文はSemantic-ORienTed (SORT) 最適化戦略を提案している。これは以下の2つの主要要素で構成される：

正規化空間最適化 (NSO): 勾配の不安定性や局所解を招くピクセル空間 $[0, 1]$ で直接最適化する代わりに、SORTは正規化された制約のない空間への変数変換を導入する。これにより、最適化のランドスケープが安定し、一貫したステップサイズが確保される。
セマンティック分離最適化 (SSO): デフレクションの効力を明示的に最大化するため、著者らは標準的なクロスエントロピー損失に加えて、マージンベースの損失 ( $L_{Margin}$ ) を導入している。この損失関数は、異なるセマンティッククラスの摂動された特徴量を出力空間で分離させ、それらが単一のクラスターに崩壊することなく、それぞれのプロキシ・ターゲットの埋め込みに整合するように強制する。

データセット：RIST

微細な意味論的ハイジャックを評価するために、著者らはRIST (Real Image Sequence Trajectories) を導入した。標準的な分類ベンチマークとは異なり、RISTは連続的なビデオ（AutoDrivingおよびRoboTaskingシナリオ）からの連続したフレームで構成されている。これは、カテゴリ内の入力が視覚的に類似しているものの、それぞれ異なるコンテキスト依存の行動を必要とする、微細なセマンティックカテゴリ（例：特定の交差点のタイプやロボット操作の状態）を特徴としている。

3. 主な結果

著者らは、3つの代表的なMLLM（LLaVA-1.5、Qwen2.5-VL、InternVL3）を用いて広範な実験を行った。評価には、粗い粒度のImageNetと、微細な意味論を持つRISTの両方のデータセットを用いた。

セマンティック・ルーティングの実現可能性: 実験の結果、単一のSAUPが複数のステートレスな決定を正常にハイジャックできることが示された。Qwenモデルにおいて、単一の摂動は、単一フレームを用いて5つの異なるターゲットに対して66%の攻撃成功率 (ASR) を達成した。
微細な制御: RISTデータセットにおいて、SAUPはRoboTaskingシナリオ（2ターゲット）で平均72%、AutoDrivingシナリオ（5ターゲット）で**62%**のASRを達成し、微妙な意味的変化（例：異なる道路状況）を区別して、「加速」や「操舵」といった特定のコマンドをトリガーする能力を証明した。
長文生成: 攻撃は長文生成の制御にも及ぶ。2つのターゲットの場合、ターゲットが10語で構成されていてもSAUPは83%のASRを維持した。5つのターゲットの場合、4語のターゲットに対して54%のASKを達成した。
情報容量: 本研究では「情報容量」の限界を特定している。ターゲットの数が増えるにつれて、特に空間制約のある摂動（コーナーパッチ vs フルフレーム）においてASRは低下する。フレーム制約（7,056ピクセル）は、ターゲット数が増加してもコーナー制約（1,600ピクセル）よりも高い成功率を維持しており、限られたピクセル予算内に複数の決定境界をエンコードすることにはボトルネックが存在することを示唆している。
アブレーション研究: NSOを取り除くとパフォーマンスが壊滅的に低下（平均49.5%のASR低下）し、最適化の安定性に不可欠であることが確認された。SSOを取り除くと、マルチターゲットシナリオでのパフォーマンスが低下し、セマンティッククラスターを分離する役割が浮き彫りになった。

4. 重要性と主張

本論文は、単一の摂動がセマンティック・ルーターとして機能し、ステートレスなMLLMの決定をハイジャックできるという根本的な実現可能性を実証したと主張している。本研究の意義は以下の点にある：

新しい脅威モデル: 単純な誤分類や単一ターゲットへのハイジャックを超え、単一の摂動が視覚的コンテキストに基づいて入力を動的に異なる悪意のあるターゲットへとルーティングする、「多対多」のユニバーサル攻撃へと踏み込んでいる。
幾何学的洞察: 潜在空間における「支配的シフト」と「セマンティック・デフレクション」のメカニズムに関する理論的および経験的な理解を提供し、ユニバーサル摂動がいかにして複雑なマッピングをエンコードできるかを理解するための原則的な枠組みを提示している。
現実世界への影響: 本研究はデジタルなホワイトボックス設定で行われているが、著者らはこの脆弱性が自動運転やロボティクスにおけるステートレスなエージェントに対して実質的なリスクをもたらすと主張している。例えば、攻撃者が作成したSAUPをウェブ広告や視覚的環境に埋め込むことで、エージェントに一連の悪意のある決定（例：プライベートデータのアップロードに続いて「送信」コマンドを実行させるなど）を強いる可能性がある。

著者らは、物理的な展開（照明、モーションブラーなどの物理的要因）やブラックボックス設定への頑健性は依然として大きな課題であり、今後の研究が必要であることを認め、物理的展開に関する主張については慎重な姿勢を保っている。しかし、示されたデジタル的な実現可能性は、複雑なエージェンティック環境におけるセマンティック・ハイジャックを理解し、軽減するための重要な出発点になると考えている。