VisInject: Disruption != Injection -- A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models

提供された論文に基づき、VisInject: Disruption ≠ Injection — A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models（視覚注入：攪乱≠注入 — 視覚言語モデルに対する万能敵対的攻撃の二軸評価）の詳細な技術的要約を以下に示す。

問題定義

視覚言語モデル（VLM）に対する万能敵対的攻撃（UAA）に関する最近の文献は、攻撃成功率（ASR）が 60〜80% の範囲で高いと報告している。これらの指標は、知覚不可能な画素摂動が、安全性の整合性を上書きする可能性のある実用的なプロンプト注入チャネルとなり得ることを示唆している。しかし、著者らは、これらの報告数値が 2 つの異なる事象を混同していると主張する。

1. 影響（ドリフト）： モデルの出力が摂動され、クリーンな基準から乖離すること。
2. 精密注入（ペイロード配信）： 攻撃者の特定のターゲット文字列または概念が実際に応答に現れること。

本論文は、単一の「出力が変化したか？」という指標に依存することが多い既存のベンチマークは、特定のペイロードを配送するための視覚的攻撃の実用性を体系的に過大評価していると提唱する。

手法

著者らは、既存の攻撃手法を新しい二軸評価フレームワークと組み合わせる 3 段階のパイプラインであるVisInjectを提案する。

1. 攻撃パイプライン（段階 1 & 2）：

• 段階 1（万能信号生成）： Rahmatullaev ら (24) の万能敵対的攻撃（UAA）手法を利用する。60 の良性プロンプトを用いて、2〜4 つのオープン VLM（Qwen2.5-VL、Qwen2-VL、DeepSeek-VL、BLIP-2）のアンサンブルに対して PGD（射影勾配降下法）により最適化された、単一の「万能」敵対的画像を作成する。目的は、ユーザーのプロンプトに関わらず、モデルを特定のターゲットフレーズに向かわせる画像を作成することである。
• 段階 2（現実的キャリア融合）： Zhang ら (29) の AnyAttack エンコーダ–デコーダフレームワークを利用する。段階 1 で得られた万能敵対的信号を、凍結された CLIP エンコーダで符号化し、$L_\infty$ 有界のノイズテンソルに復号する。このノイズを任意のクリーンな写真（自然風景、スクリーンショットなど）に追加し、現実的な敵対的キャリアを作成する。摂動予算は $L_\infty \le 16/255$（PSNR $\approx$ 25.2 dB）に制限される。

2. 二軸評価（段階 3）：
単一の ASR 指標の代わりに、パイプラインは LLM 判定器（Claude Opus 4.7 に対して較正された DeepSeek-V4-Pro）を用いて、各（クリーン、敵対的）応答ペアを 2 つの独立した軸に沿ってスコアリングする。

• 影響（ドリフト）： 応答がクリーンな基準から逸脱したかを測定する。決定論的な Ratcliff-Obershelp 文字列類似度スコア（プログラム的ベースライン）と、4 段階の順序 LLM 判定（なし、軽微、実質的、完全）によって評価される。
• 精密注入（ペイロード配信）： 特定のターゲット概念が現れたかを測定する。4 段階の順序 LLM 判定によって評価される。
  • なし： ターゲット内容がない。
  • 弱： 主題的な断片（例：選挙ターゲットに対する「PRESIDENT」）。
  • 部分的： 意味クラスの変種（例：「カード番号」に対する「口座番号」）。
  • 確認済み： 逐語的またはほぼ逐語的なターゲットフレーズ。

実験設定：
本研究は $7 \times 7 \times 3$ の行列をスキャンする。7 つのターゲットプロンプト（文字通りの URL から誤情報などの意味カテゴリまで）、7 つのテスト画像（自然写真とドキュメント様式のスクリーンショット）、および 3 つのサロゲートアンサンブル構成であり、4 つのオープン VLM 全体で評価される。これにより、6,615 の応答ペアが生成される。

主要な結果

中心的な発見は、攪乱と注入の間に巨大な乖離があることである。

• 高攪乱、低注入： 6,615 ペア全体において、プログラム的な攪乱率は**66.4%であり、LLM 判定による「実質的または完全な」攪乱率は46.6%**である。しかし、精密注入率は劇的に低い。

  • 広義注入（なし以外の任意の段階）：0.756%（6,615 ペア中 50 ペア）。
  • 厳密/逐語的注入（確認済み段階）：0.030%（6,615 ペア中 2 ペア）。
  • これは、モデルが攪乱されることとペイロードが配送されることの間に、およそ90 倍の乖離を意味する。

• アーキテクチャの感受性：

  • Transformer 様 VLM（Qwen2.5-VL、Qwen2-VL、DeepSeek-VL）は、普遍的に攪乱される（プログラム的攪乱率 100%）が、注入率は最小限（0.09%〜1.5%）にとどまる。
  • BLIP-2（Q-Former ボトルネックを使用）は、2,205 ペア全体で**0.00%**の検出可能なドリフトまたは注入を示す。これは段階 1 のサロゲートとして使用された場合でも同様である。著者らは、Q-Former の情報ボトルネックと解像度のダウンサンプリングが摂動をフィルタリングしていると仮説を立てる。

• 画像とペイロードへの依存性：

  • 発生する注入は、応答空間が自然にテキスト転写を誘発するか、URL や口座番号のようなトークンを含むスクリーンショット/ドキュメント様式の画像（コードエディタ、請求書、ウェブページなど）に集中する。
  • 自然写真（犬、猫）は高い攪乱を示すが、逐語的注入はゼロである。
  • 文字通りのテキストペイロード（URL など）は、意味的ペイロードよりも段階 2 の融合を生き延びるが、それでも正確な文字列一致は稀である。

主要な貢献

1. 二軸フレームワーク： 「ドリフト」と「ペイロード配送」を分離する手法であり、単一の数値 ASR 指標が質的に異なる故障モードを混同していることを実証する。
2. 体系的なスキャン： 4 つの VLM 全体にわたる 6,615 ペアの評価により、攪乱と注入の間の約 90 倍のギャップを明らかにする。
3. アーキテクチャの観察： $L_\infty=16/255$ において BLIP-2 がこれらの攻撃に対して免疫であることを特定し、Q-Former 様ボトルネックが再トレーニングなしで本質的な敵対的堅牢性を提供し得ることを示唆する。
4. 公開データセット： API キーなしでビット単位の正確な再現を可能にするため、完全なデータセット（万能画像、敵対的写真、応答ペア、判定器キャッシュ）を公開する。

意義と主張

本論文は、ペイロード配送によって厳密に定義された場合、プロンプト注入に対する「視覚モダリティは軟弱な腹部である」という現在の物語は過大評価されていると主張する。万能敵対的摂動はモデル出力を攪乱する（幻覚やトピックのシフトを引き起こす）点では効果的であるが、応答ストリームに攻撃者が選択した特定のフレーズを確実に注入する点では非効果的である。

著者らは以下のように結論づける。

• 評価基準： 将来のベンチマークは、単一の ASR 指標がペイロード配送の真の難しさを隠蔽するため、影響と精密注入を別々に報告しなければならない。
• 防御への示唆： 情報ボトルネック（Q-Former など）のようなアーキテクチャ選択は、高価な敵対的ファインチューニングなしに、$\epsilon$ 有界攻撃に対する実質的な堅牢性を提供し得る。
• 脅威モデルの現実： 信頼性の高いペイロード配送（データの持ち出しや特定の URL の注入など）を求める攻撃者にとって、小規模なオープン VLM に対する視覚的万能攻撃は、成功率が 0.2% 付近で推移しており、非敵対的チャネルと比較して現在、競争力のないベクトルである。

本論文は、その発見がテストされたオープン VLM と $L_\infty=16/255$ の予算に特化したものであり、最先端のクローズドモデル（GPT-4o など）への体系的な転移可能性は未解決の問題であると留保しつつも、初期の anecdotal テストでは攻撃が転移しないことを示唆している。