💬 NLP

Exploiting Vision Encoder Vulnerabilities for Universal Adversarial Perturbations on Large Vision-Language Models

本論文は、テキスト入力を必要とせずに、様々なモデルやタスクにおいて最先端の成功率を達成するユニバーサルな敵対的摂動を生成するために、LVLMのビジョンエンコーダ内の中間層アテンション機構のバリュー成分における構造的に集中した脆弱性を悪用する、コスト効率が高くタスクに依存しない攻撃フレームワークであるVEV-UAPを導入する。

原著者： Hee-Seon Kim, Minbeom Kim, Seokil Ham, Changick Kim

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hee-Seon Kim, Minbeom Kim, Seokil Ham, Changick Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

**大規模視覚言語モデル（LVLM）**を、パズルを共に解く非常に知的な二人組のチームとして想像してみてください。

「目」（視覚エンコーダー）： このパートナーは画像を見て、何が見えるかを説明します。
「脳」（言語モデル）： このパートナーはその説明を聞いて、最終的な答えを書き出します。

長い間、研究者たちは、このチームに間違った答えを出させて騙すには、「目」のパートナー全体を狂わせる必要があると考えてきました。彼らは、「目」のすべての部分は等しく重要であり、等しく騙しやすいものだと想定していました。彼らは、システム全体を混乱させることを期待して、画像全体にほんのわずかな「静止ノイズ」を加えようと試みてきました。

論文の大きな発見：「弱点」
この論文の著者たちは、「目」のパートナーは均一な筋肉の塊ではなく、もっと複雑な、多くのステーション（作業場）を持つ工場のようなものであることに気づきました。彼らは工場のフロアを調査し、驚くべき事実を発見しました。すべてのステーションが等しく脆弱であるわけではないということです。

彼らは、中間のステーション、具体的には実際のコンテンツ（内容）を保持している（「バリューベクトル」と呼ばれる）場所が、弱点であることを突き止めました。

比喩： 工場にはコンベアベルトがあると想像してください。初期のステーションは単に箱を仕分け（低レベルの詳細）、後半のステーションは最終的な箱を梱包（高レベルの要約）します。中間のステーションこそが、実際に箱を開け、中身を検査し、内容を決定する場所です。
意図的な操作を行った場合、初期の仕分けや後半の梱包をいじっても、工場はそれを無視して稼働し続けることが多いですが、この中間のステーションでコンテンツをいじってしまうと、工場全体が崩壊してしまいます。

新しい戦略：VEV-UAP
この発見に基づき、チームはVEV-UAPと呼ばれる新しい攻撃手法を作り出しました。これは、「目」のパートナー全体を混乱させるのではなく、それらの中間にあるコンテンツ保持ステーションだけを外科手術のようにピンポイントで標的にするものです。

その仕組みは、簡単な言葉で言えば以下の通りです。

弱点を見つける： 彼らはモデルを分析し、コンテンツが最も脆弱になる正確な中間レイヤーを特定しました。
普遍的な「グリッチ（不具合）」： 彼らは、単一の、ごく小さなノイズのパターン（「ユニバーサル摂動」）を作成しました。これは、テレビ画面に映る特定の種類の砂嵐のようなものだと考えてください。
魔法： この単一のパターンを（猫、車、夕焼けなど）あらゆる画像に加えると、それらは中間のコンテンツ保持ステーションを特異的に撹乱します。
結果： 「目」のパートナーは、画像が実際には何であるかについて混乱します。彼らは、支離滅裂で間違った説明を「脳」へと渡します。「脳」は、そのナンセンスな話を聞いて、完全に間違った答えを書き出します。

なぜこれが大きなニュースなのか

ワンサイズ・フィット・オール（汎用性）： 画像ごとに新しいトリックを作る必要はありません。一つの小さな「グリッチ」が、何千もの異なる写真に対して機能します。
超高速： 彼らは「目」のモデルの弱点となる中間部分のみを標的にし、残りの部分は無視するため、計算量を大幅に抑えられます。これは、ドア全体を壊そうとするのではなく、特定の鍵を使って鍵穴を開けるようなものです。
拡散性： もし二つの異なるAIチームが同じ「目」のパートナーを使用している場合（たとえ「脳」が異なっていても）、この単一のグリッチは両方に作用します。これは、特定の臓器を標的にするウイルスのようです。もし二人がその臓器を持っていれば、体つきが違っても、二人とも病気になります。

それが成功したとき、何が起こるのか？
この論文は、この攻撃が使用されると、AIの回答がめちゃくちゃになることを示しています。

「赤いボート」と言う代わりに、「この画像は木製の机である」と言うかもしれません。
質問に答える代わりに、「the」という単語を何度も繰り返すだけかもしれません。
それは、AIが見ているものと、AIが言うことの間の繋がりを効果的に断ち切ります。

結論
この論文は、AIモデルはどこでも等しく強いわけではないことを証明しています。彼らには、中間レイヤーに隠された特定の「チョークポイント（急所）」が存在します。これらの地点を見つけ出し、そこを狙い撃つことで、事前に特定の質問や答えを知ることなく、AIの視覚を混乱させ、ほぼあらゆるタスクを失敗させる、極めて効率的で普遍的なトリックを作り出すことができるのです。

技術要約：大規模視覚言語モデルにおけるユニバーサル敵対的摂動のためのビジョンエンコーダの脆弱性搾取

問題提起

大規模視覚言語モデル（LVLM）は、マルチモーダル・タスクにおいて顕著な性能向上を達成しているが、敵対的摂動に対して非常に脆弱である。既存の敵対的攻撃戦略は、通常、ビジョンエンコーダを単一の均一に脆弱な表面として扱い、エンコーダの最終出力埋め込みに対して摂動を最適化する。しかし、このアプローチはエンコーダの内部構造の不均一性を無視しており、堅牢なコンポーネントを標的にすることで敵対的効果を希釈してしまう可能性がある。さらに、ほとんどの先行手法は画像固有の摂動に依存しているため、計算コストが高く、大規模な画像セットに対する堅牢性評価の拡張性に欠ける。どの内部コンポーネントがダウンストリームの言語モデルの挙動に対して最も重要であるか、また、いかに効率的にそれらの脆弱性を搾取できるかに関する体系的な分析が不足している。

手法：VEV-UAP

著者らは、テキスト入力や最適化中の言語モデルを介することなく、画像やタスクを横断して性能を低下させる単一のユニバーサルな摂動を生成するために設計されたフレームワーク、Vision Encoder Vulnerable-Component-Targeted Universal Adversarial Perturbation (VEV-UAP) を提案する。この手法は、主に2つの段階で進行する。

1. 構造的脆弱性分析

著者らは、ビジョンエンコーダ内のアテンション・メカニズムに関するコンポーネントおよびレイヤーごとの体系的な分析を行い、「表現堅牢性（Representation Robustness: RR）スコア」を特定する。このスコアは、様々なレイヤーにおけるアテンション・コンポーネント（Attention weights, Query, Key, Valueベクトル）を摂動させた前後の、ダウンストリームの大規模言語モデル（LLM）の隠れ状態間のコサイン類似度を測定するものである。

主要な知見: 分析の結果、敵対的脆弱性は一様に分布しているのではなく、構造的に集中していることが明らかになった。具体的には、ビジョンエンコーダの中間層のValueベクトルに集中している。これらの特定のコンポーネントを摂動させると、LLMの隠れ状態に最大の乖離が生じる一方で、初期層や後期層、あるいは他のコンポーネント（Query, Key, Attention weights）を摂動させても、影響は著しく低い。

2. 攻撃の最適化

VEV-UAPは、特定された脆弱な中間層（ $L_{vul}$ ）におけるValueベクトルのダイバージェンスを、一連の入力画像 $X$ に対して最大化するように、ユニバーサルな摂動 $\delta$ を最適化する。

目的関数: 特定されたレイヤー $l \in L_{vul}$ におけるクリーンな画像のValueベクトル $V_l(x)$ と、摂動を加えた画像のValueベクトル $V_l(x+\delta)$ の間のRRスコアを最小化（コサイン距離を最大化）する。
制約条件: 摂動は不可視性を確保するために $L_\infty$ ノルム（ $\|\delta\|_\infty \leq \epsilon$ ）によって制約される。
効率性: このプロセスは完全にビジョンエンコーダに基づいている。LLMからの勾配を必要とせず、最適化中にテキストプロンプトを使用せず、すべての画像で共有される単一の摂動を生成するため、画像ごとの最適化コストを排除している。

主な貢献

脆弱なコンポーネントの特定: 本論文は、LVLMのビジョンエンコーダに関する初の体系的なコンポーネントおよびレイヤーごとの分析を提供し、中間層のValueベクトルが言語モデルへの敵対的効果の主要な伝播経路であることを特定した。
VEV-UAPフレームワーク: 著者らは、これらの特定の脆弱なコンポーネントを標的とするユニバーサル敵対的摂動手法を導入した。このアプローチは、高い攻撃成功率（ASR）を達成しつつ、タスクに依存せず、訓練中のテキストによる教師信号やLLMへのアクセスを必要としない。
効率性と転移性: 提案手法は、フルモデル最適化のベースラインと比較して優れた計算効率を示す。決定的なことに、特定のビジョンエンコーダを用いて最適化された単一のVEV-UAPは、異なる言語モデルと組み合わされていても、同じビジョンエンコーダを共有していれば、異なるLVLMに対して効果的に転移する。

実験結果

著者らは、複数のLVLM（LLaVA-1.5, LLaVA, InstructBLIP, MiniGPT-4, Qwen2.5-VL）およびタスク（画像分類、画像キャプション生成、視覚的質問応答）にわたってVEV-UAPを評価した。

攻撃成功率 (ASR): VEV-UAPは、既存のベースライン（Text-Emb, Img-Emb, Both-Emb）を一貫して上回った。例えば、分類タスクにおけるLLaVA-1.5に対して、VEV-UAPは（ $\tau=0.9$ において）**96.1%**のASRを達成したが、最良のベースラインは29.9%であった。VQAタスクでは、モデルのスコアをほぼゼロレベルまで低下させた（例：LLaVA-1.5のVQAv2において0.3）。
転移性: EVA-CLIPビジョンエンコーダを使用して生成された単一の摂動は、異なる言語バックボーン（Vicuna-13B vs. LLaMA2-7B）を使用しているにもかかわらず、InstructBLIPとMiniGPT-4の両方を欺くことに成功した。同様に、CLIP-336ベースの摂動は、LLaVAとLLaVA-1.5の両方に影響を与えた。
防御に対する堅牢性: JPEG圧縮（ $Q=90$ ）の下でも、VEV-UAPはベースラインよりも有意に高いASRを維持した（例：Qwen2.5-VLの分類において88.5% vs. 65.9%）。
計算コスト: VEV-UAPは、1つのUAPあたりの最適化時間を約3.19時間に短縮し、フルLVLMアーキテクチャを通じて最適化を行う手法と比較して6.4倍の高速化を実現した。
定性的分析: 可視化により、VEV-UAPがValueベクトルの分布を異なる入力画像間で不変にし、ダウンストリームのLLMにおいてぼやけた、あるいは整合性の取れないアテンションパターンを引き起こすことが示された。その結果、出力は反復的または意味的に無関係なものとなった。

意義と主張

本論文は、LVLMの敵対的脆弱性は一様に分布しているのではなく、構造的に集中していると主張している。言語モデルへの投影前に特徴統合を媒介する特定の「ボトルネック」コンポーネント（中間層のValueベクトル）を特定し、標的にすることで、VEV-UAPはマルチモーダル・パイプラインのより効率的かつ強力な破壊を実現している。

著者らは、VEV-UAPを単なる攻撃ツールとしてではなく、スケーラブルな堅牢性評価のための実用的なフレームワークとして位置付けている。画像ごとおよびプロンプトごとの最適化を排除し、ビジョンエンコーダのみに依存するため、大規模な画像セットや多様なモデルアーキテクチャ（同一の視覚的バックボーンを共有するもの）に対して、迅速な堅牢性評価を可能にする。本研究は、今後のLVLMの堅牢性向上の取り組みは、これら脆弱な中間層のValue表現を明示的に強化することに焦点を当てるべきであることを示唆している。