技術概要：CBV – 拡散モデルを介したビジョン言語モデルに対するクリーンラベル・バックドア攻撃

1. 問題定義

ビジョン言語モデル（VLM）は、画像キャプション生成や視覚的質問応答（VQA）などのマルチモーダルタスクにおいて顕著な成功を収めています。しかし、最近の研究は、VLM がデータ汚染を介したバックドア攻撃に対して脆弱であることを示しています。VLM に対する既存のバックドア攻撃は通常、「ダーティラベル」戦略に依存しており、攻撃者は汚染サンプルのテキストラベルを変更して画像とテキストの不一致（例：犬の画像を「人」とラベル付けする）を引き起こします。この不一致により、汚染サンプルは標準的なデータ検査を通じて比較的容易に検出可能となります。

本論文は、VLM に対するクリーンラベル・バックドア攻撃の実行という課題に取り組んでいます。この設定において、攻撃者は汚染サンプルを構築する際に、クリーンサンプルと完全に同一のテキストラベルを保持し、画像コンテンツのみを変更しなければなりません。目的は、クリーン入力に対しては正常に動作し、トリガー画像が提示された場合にのみ攻撃者が指定した出力（例：「人」を「犬」に置換）を生成するようバックドアを埋め込むことです。これは、クラスレベルの整合性のみを必要とする従来の画像分類タスクとは異なり、複雑な画像特徴と詳細なテキスト記述の間に豊かな意味的整合性を要求する VLM にとって特に困難です。従来のクリーンラベル手法は、しばしば代理モデルに依存して特徴空間を近似しますが、VLM に必要な複雑な意味情報を符号化できず、攻撃の無効化や不自然なアーティファクトの発生を招いています。

2. 手法：CBV

著者は、**CBV（Diffusion Models を介したビジョン言語モデルに対するクリーンラベル・バックドア攻撃）**を提案します。これは、拡散モデルとスコアマッチングを活用し、元のラベルを保持しつつトリガー特徴を埋め込んだ自然な外観の汚染画像を生成するフレームワークです。パイプラインは主に 3 つの段階で構成されます。

A. 汎用敵対的摂動（UAP）トリガー生成

単純なノイズや固定画像パッチを使用する代わりに、CBV は再利用可能な**汎用敵対的摂動（UAP）**を生成してトリガーとして使用します。

• プロセス: 代理モデル（CLIP）を用いて、良性画像のセットにおける画像 - テキスト整合性の損失を反復的に最大化します。
• 目的: 得られた UAP（$\delta$）は、多様な入力に対して一貫した特徴空間の偏りを引き起こし、被害モデルがバックドアを学習し、確実に活性化しやすくします。UAP は対象画像に適用され、「トリガー付きサンプル」を作成します。

B. GradCAM ガイド付きマスク（GM）生成

不自然なアーティファクトを回避し、隠蔽性を高めるため、CBV は変更を意味的に重要な領域に制限します。

• プロセス: 代理画像分類モデルが対象クラスに対する GradCAM ヒートマップを計算します。このヒートマップは閾値処理され、二値マスク（$M$）を生成します。
• 適用: 変更はマスクされた領域内でのみ適用され、画像の残りの部分は変更されません。この戦略は、ピクセル単位の距離を厳密に最小化するのではなく、視覚的に自然なサンプルを生成することを目指します。

C. 拡散モデルによるスコアマッチングに基づく生成

核心的な革新は、拡散モデルを用いて、ノイズ除去スコア関数を修正することにより汚染画像を生成する点にあります。

• メカニズム: この手法は、汚染画像の生成を条件付き逆拡散プロセスとして扱います。トリガー画像（$x_{trig}$）とその対応するテキスト（$y_{trig}$）からのマルチモーダルガイダンスを組み込むことで、標準的なスコア関数（$s_\theta$）を修正します。
• ガイデッドスコア: 更新されたスコア関数は以下のように定義されます：
  $$s'_\theta(x_t, t) = s_\theta(x_t, t) + \lambda_I \nabla_{x_t} S_I(\phi(\tilde{x}_t), \phi(x_{trig})) + \lambda_T \nabla_{x_t} S_T(\phi(\tilde{x}_t), \psi(y_{trig}))$$
  ここで、$S_I$ と $S_T$ は画像およびテキスト類似度関数（CLIP 埋め込みを介して実装）であり、$\lambda_I, \lambda_T$ は重み付け係数です。
• 結果: これにより、ノイズ除去軌道が誘導され、元のクリーン画像と視覚的に類似（ラベルを保持）しつつ、トリガーの意味的特徴を含む画像が生成され、効果的にバックドアが埋め込まれます。

3. 主要な貢献

1. VLM における初のクリーンラベル・バックドア: 本論文は、ラベル操作を必要とした従来の手法の限界を克服し、VLM に対するクリーンラベル・バックドア攻撃を実行する手法を提案します。
2. 拡散モデルに基づく生成: 代理モデルに基づく近似が複雑な VLM タスクで失敗する問題に対処するため、拡散モデルとスコアマッチングを用いて、意味的に豊かで視覚的に自然な汚染サンプルを生成する新規アプローチを提案します。
3. マルチモーダルガイダンス: 生成プロセス中に画像とテキストの両方のガイダンスを取り入れ、潜在空間の特徴を整合させることで、攻撃の転移性と有効性を大幅に向上させます。
4. GM による隠蔽性: GradCAM ガイド付きマスクの導入により、変更を意味的に重要な領域に局在化させ、従来のクリーンラベル攻撃で見られる目に見えるノイズやアーティファクトを回避します。
5. 汎用トリガー: UAP をトリガーとして使用することで、単純なノイズと比較してより強力な特徴の偏りを提供し、バックドア活性化の信頼性を高めます。

4. 実験結果

著者は、4 つの代表的な VLM（LLaVA-v1.5-7B, MiniGPT-v2, InstructBLIP-7B, Qwen-2.5-VL-7B）を用いて、MSCOCO（画像キャプション生成）およびVQA v2（視覚的質問応答）データセット上で CBV を評価しました。

• 攻撃の有効性: CBV は、すべてのモデルおよびタスクにおいて攻撃成功率（ASR）が 80% 以上を達成しました。この性能は、TrojVLM や BadToken などの最先端のダーティラベル攻撃と同等であり、通常 ASR が 15% 未満にとどまる既存のクリーンラベル手法（Narcissus, HTBA など）を大幅に上回ります。
• 機能の維持: この手法は、クリーン入力に対するモデルの正常な性能を維持しました。キャプション生成におけるBLEU@4およびCIDEr、VQA におけるVQA 精度などの指標は、通常訓練されたモデルとほぼ同一であり、有用性の低下は見られませんでした。
• 隠蔽性: 視覚的な比較により、CBV によって生成された汚染サンプルは自然であり、他のクリーンラベル手法によって生成されたサンプルに見られるような目に見えるノイズやアーティファクトが欠如していることが示されました。
• 頑健性: この攻撃は、Fine-pruningおよびTIJO（Trigger Inversion with Joint Optimization）を含む防御メカニズムに対して耐性を示しました。UAP トリガーの複雑な性質と汚染の意味的統合により、これらの防御がバックドアを検出または再構成することが困難でした。
• 効率性: CBV は、複数の反復最適化ステップに依存する最適化ベースのクリーンラベル手法（185〜218 秒）と比較して、単一の順方向・逆方向拡散パスに依存するため、サンプルあたりの計算時間が大幅に短縮されました（約 28.7 秒）。

5. 意義と主張

本論文は、CBV がマルチモーダル基盤モデルにおける重要なセキュリティ脆弱性を露呈していると主張しています。すなわち、データラベルを変更することなく効果的なバックドアを埋め込む能力です。意味的に強力な自然な外観の汚染サンプルを生成することで、この攻撃は標準的なデータ検査や異常検知手法を回避します。

著者は、彼らの主たる意図はこの脆弱性を暴露し、防御に関する研究を刺激することにあると強調しつつも、このような攻撃の存在は、医療画像診断や自動運転車などの高リスクな VLM 応用にとってリスクとなると指摘しています。彼らは、生成モデルを活用して隠蔽を図るクリーンラベル・バックドアに対する現在の防御戦略は不十分であり、この脅威クラスに特化した堅牢な検出および緩和戦略の開発をコミュニティに促して結論付けています。