Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

技術要約：大規模視覚言語モデルのクラウド・エッジ推論におけるビジョン・トークン操作攻撃

問題提起
本論文は、クラウド・エッジ間における大規模視覚言語モデル（LVLM）推論システムにおける、極めて重大なセキュリティ上の脆弱性に対処している。このアーキテクチャでは、リソース制約のあるエッジデバイスが軽量な視覚エンコーディングを実行し、中間的なビジョン・トークンをクラウドサーバーに送信する。そこで、計算負荷の高いテキストエンコーダーと大規模言語モデル（LLM）バックボーンが動作する。著者らは、エッジとクラウドの間の通信リンクが、未探索の新たな攻撃対象領域（アタックサーフェス）であることを特定した。従来の、生の視覚入力（例：敵対的摂動）やテキストプロンプトを標的とする攻撃とは異なり、本研究はビジョン・トークン操作（VTM）攻撃に焦点を当てている。核心となる問題は、ブラックボックス型の中間者攻撃（MitM）を行う攻撃者が、送信されるビジョン・トークンの一部を傍受し、操作できる点にある。ビジョン・トークンは、意味的内容をエンコードするコンパクトで高次元な表現であるため、これらを操作することで、攻撃者がモデルの重みや生の画像データにアクセスすることなく、LVLMの空間的関係や意味的キューに対する理解を著しく阻害し、重大な推論失敗を引き起こすことができる。

手法
著者らは、エッジおよびクラウドのいずれにおいてもモデルパラメータへのアクセスを持たない、制約付きブラックボックス設定下での一連のVTM攻撃を提案している。この攻撃は、主に以下の2つの制約に従う：

1. 次元の一貫性（Dimensional Consistency）： 即時の検知やパイプラインの失敗を避けるため、操作されたトークンは元の形状（$L_v \times d$）を維持しなければならない。
2. 操作予算（Manipulation Budget）： 隠密性を維持するため、攻撃者はトークン操作比率（$\rho$）によって定義される、選択された一部のトークン（$I$）のみを修正できる。

手法は以下の2つのコンポーネントに分かれている：

1. ナイーブな攻撃戦略： 著者らは、ランダムに選択されたトークンに適用される4つのベースライン操作戦略を設計した：

   • 置換（Permutation / 構造ベース）： 選択されたトークンの位置関係をシャッフルするが、値自体は保持する。これにより、構造的一貫性を破壊する。
   • マスキング（Masking / 値ベース）： 選択されたトークンをゼロにする。これにより、情報的内容を削除する。
   • ガウス摂動（Gaussian Perturbation / 値ベース）： 選択されたトークンにノルムスケールされたノイズを注入し、その大きさ（magnitude）と方向（direction）を確率的に変化させる。
   • 符号反転（Sign Flip / 値ベース）： 選択されたトークンの埋め込み空間における方向を反転させ（$\hat{v}_i = -v_i$）、一方でそのノルムは保持する。これは、表現空間において大きな変位を生じさせる。

2. 最適化ベースのトークン選択： ランダムな選択は最適ではないことを踏まえ、著者らは最も影響力のあるビジョン・トークンを特定するための最適化戦略を提案している。ブラックボックス設定では出力分布への影響を直接測定することは困難であるため、彼らは**自己注意の破壊（Self-Attention Disruption）**をプロキシ（代理指標）として使用する。彼らは、元のトークンと操作されたトークンの自己注意出力の間の不一致を最大化する目的関数（$L_{SA}$）を定式化する。高ノルムのトークンへの選択バイアス（ダウンストリーム層によって正規化される可能性があるため）を防ぐために、ノルム認識型正則化項（$L_{norm}$）を導入する。最終的な目的関数は、投影勾配上昇法を用いて $L_{SA} - \lambda L_{norm}$ を最大化するように設計されており、これにより操作すべき最適なトークン集合を決定し、それらに対してSign Flip戦略を用いて攻撃を行う。

主な貢献

• 新たな攻撃対象領域の特定： クラウド・エッジにおけるLVLMのビジョン・トークン伝送インターフェースが、実用的かつ脆弱な攻撃対象領域であることを正式に定義した。
• VTM-Attackフレームワーク： 構造ベース（置換）および値ベース（マスキング、ガウス、符号反転）の両方のトークンレベル操作戦略を含む、包括的なVTM攻撃ファミリーを導入した。
• 最適化戦略： 自己注意の破壊とノルム認識型正則化を活用した、攻撃の有効性を大幅に高める新しい最適化ベースのトークン選択手法を提案した。
• 実証的評価： 6つの最先端のLVLM（3Bから72Bのパラメータ範囲）と、4つの多様なベンチマーク（OCRBench, MMBench, HallusionBench, MathVista）にわたる広範な評価を提供した。

実験結果
実験により、クラウド・エッジのLVLM推論は、低い操作予算（$\rho = 0.1$、すなわち10%のトークン）であってもVTM攻撃に対して非常に脆弱であることが示された：

• 影響の深刻さ： たった10%のトークンを操作するだけで、精度を最大**88.31%**低下させることができる。例えば、MMBenchベンチマークにおいて、Sign Flip攻撃はQwen2.5-VL-72B-Instructの精度を88.39%から0.23%へと低下させた。
• Sign Flipの有効性： ナイーブな戦略の中で、Sign Flipは一貫して最も壊滅的な劣化を引き起こし、MMBenchやHallusionBenchにおいてモデルの性能をほぼゼロにまで崩壊させることが多かった。これは、トークンの意味的な方向を反転させることが、シャッフルやマスキングよりも破壊的であることを示唆している。
• モデルの堅牢性の差異： モデルファミリー間で、堅牢性に大きな差があることが観察された。Qwen2.5-VLモデルは様々な攻撃に対して壊滅的な劣化を示したが、InternVL3.5モデルはかなり高い堅牢性を示した。さらに、スケーリング則は一貫していなかった。より大規模なInternVLモデルは一般的に堅牢性が高かったが、この傾向はQwenモデルについては一貫して成立しなかった。
• 最適化による利得： 最適化ベースのトークン選択戦略は、ランダムな選択と比較して攻撃の有効性をさらに増幅させた。例えば、HallusionBenchにおいて、最適化戦略はInternVL3.5-4BおよびInternVL3.5-38Bに対する攻撃成功率を、ランダム選択に対してそれぞれ5.79%および21.09%向上させた。

意義
本論文は、これらの結果がクラウド・エッジ環境におけるLVLMのデプロイメントにおける決定的な脆弱性を明らかにしていると主張している。研究結果は、中間表現を伝送する通信リンクが、入力空間への攻撃やテキストのみのモダリティに焦点を当ててきた既存のセキュリティ文献ではほとんど見過ごされてきた、高リスクなベクトルであることを示している。本研究は、限定的かつ隠密なビジョン・トークンの操作であっても、視覚と言語の相互作用を根本的に阻害し、完全な推論失敗を招く可能性があることを強調している。これは、分散型LVLMシステムにおける中間表現層に特化した、安全な伝送プロトコルと堅牢な防御メカニズムの緊急の必要性を浮き彫りにしている。