CLIP-Inspector: 提案された OOD トリガー逆転によるプロンプト調整済み CLIP のモデルレベルバックドア検出

本論文は、機械学習サービス（MLaaS）プロバイダーから委託されたプロンプト調整（Prompt-Tuning）済みの CLIP モデルにおける、モデルレベルのバックドア検出問題に焦点を当てています。特に、エンコーダーは凍結されたままメタネットワーク（Meta-net）のみが学習される「プロンプト調整」の文脈において、既存の検出手法が機能しないという課題を解決する新しい手法CLIP-Inspector (CI) を提案しています。

以下に、論文の技術的要点を詳細にまとめます。

1. 問題定義と背景

脅威モデル

組織は、データや計算リソースの制約から、CLIP などのビジョン - ランゲージモデル（VLM）をゼロショットやファインチューニングではなく、**プロンプト調整（CoCoOp など）**を通じて MLaaS プロバイダーに委託してカスタマイズすることが増えています。

• 半誠実な攻撃者: プロバイダーはプロンプト調整のプロトコルに従い、高性能なモデルを提供しますが、裏でバックドアを仕掛けます。
• 攻撃の仕組み: 攻撃者は、画像エンコーダーを変更せず、画像に付与された「不可視なトリガー（$\delta$）」に対してのみ、メタネットワークがバイアスされたトークンを出力するように学習させます。これにより、トリガー付きの画像（分布外データ OOD であっても）が攻撃者が指定したクラスに分類されます。
• 既存手法の限界:
  • トリガーのスパース性仮定: 既存のトリガー逆転手法（Neural Cleanse など）は、トリガーが局所的なパッチや限られたピクセルに限定されると仮定しており、画像全体に分散した不可視なトリガーを検出できません。
  • エンコーダー汚染の仮定: 多くの手法はエンコーダー自体が汚染されていることを前提としていますが、プロンプト調整ではエンコーダーは凍結されているため、これらの手法は機能しません。
  • テスト時防御: 本論文の目的はデプロイ前の検証であるため、推論時の防御手法は適用できません。

2. 提案手法：CLIP-Inspector (CI)

CI は、ラベル付けされていない分布外（OOD）画像のプールのみを使用し、ホワイトボックスアクセス（モデルの重みと構造へのアクセス）を前提として、モデルがバックドアされているか否かを判定します。

核心的なアプローチ：OOD トリガー逆転

CI は、各候補クラス $c$ に対して、モデルをそのクラスに誤分類させるような「トリガー（$\delta_c$）」を再構成（逆転）しようとします。

1. トリガー逆転最適化:

   • 入力：ラベルなし OOD 画像のセット $D$。
   • 目的関数：ターゲットクラス $c$ のロジットを最大化し、最も競合する非ターゲットクラス $c'$ のロジットを抑制するマージンベースの損失関数を最小化します。
     $$\min_{\delta} \mathcal{L}_{margin} = - \frac{1}{|D|} \sum_{x \in D} \left[ l_c(x+\delta) - \max_{c' \neq c} l_{c'}(x+\delta) \right]$$
   • 制約：$\ell_\infty$ ノルム（$\|\delta\|_\infty \leq \epsilon$）により、トリガーの不可視性を保証します（$\epsilon = 4/255$）。
   • 最適化：1 エポック（約 32 ステップ）の勾配降下法で $\delta_c$ を学習します。

2. 異常スコアの計算:
   各クラス $c$ に対して、以下の 2 つの指標を統合して異常スコア $S(c)$ を算出します。

   • 攻撃成功率 (ASR): 再構成されたトリガー $\delta_c$ を OOD テストデータに適用した際、ターゲットクラスに分類される割合。
   • 最適化損失: トリガー再構成時の損失値（バックドアがある場合、損失は急激に低下し、収束しやすい）。
   • スコア化: 各指標の Z スコアを計算し、$S(c) = z_{ASR} - z_{loss}$ として統合します。バックドアクラスは「高い ASR」と「低い損失」を示すため、異常スコアが突出します。

3. 判定:

   • 全クラス中の最大異常スコアが閾値 $k$（デフォルト 2）を超えた場合、モデルはバックドアありと判定されます。
   • 同時に、最もスコアの高いクラスをターゲットクラスとして特定します。

3. 主要な貢献

1. 問題の定式化: 半誠実な MLaaS 環境下における、プロンプト調整済み CLIP モデルのモデルレベルバックドア検出問題を初めて体系的に研究しました。
2. CLIP-Inspector の提案: 分布内データ（ID）を一切必要とせず、ラベルなし OOD 画像のみを用いて、クラスごとのトリガーを再構成し、モデルのクリーン/バックドア判定とターゲット特定を行う手法を開発しました。
3. 包括的な評価: 10 データセット、4 種類の攻撃（BadCLIP および 3 つの適応攻撃）に対して評価を行い、既存手法（Neural Cleanse, Pixel Backdoor）を大幅に上回る性能を示しました。
4. 修復（リペア）の可能性: 再構成されたトリガーを用いて、正解ラベル付きのトリガー付きデータでモデルを微調整（ファインチューニング）することで、バックドアの成功率（ASR）を 10% 未満に低下させながら、クリーンな精度を維持できることを実証しました。

4. 実験結果

検出性能

• データセット: ImageNet, Caltech101, Flowers102 など 10 種類。
• 攻撃: BadCLIP, Blended, SIBA, WaNet の 4 種類。
• 結果:
  • 検出精度: 50 モデル中 47 モデル（94%）を正しく検出。
  • AUROC: 0.973（既存手法は 0.495〜0.687）。
  • F1 スコア: クラスレベルでの平均 F1 スコアは 0.92（既存手法は 0.06〜0.42）。
  • 効率性: 1000 枚の OOD 画像を用い、1 エポック（約 1 時間以内）で 50 クラスの検出を完了。既存手法は 6〜8 時間必要とし、性能も劣ります。

トリガーの質と修復

• トリガーの可視性: 再構成されたトリガーは、元の攻撃トリガーと非常に類似しており、構造的類似性（SSIM）は 0.93（BadCLIP 元は 0.96）を記録しました。既存手法（NC, PixB）は 0.63〜0.76 と劣ります。
• 修復効果: 再構成トリガーを用いた微調整により、BadCLIP の ASR を 98.48% から 7.61% へ、Blended を 99.73% から 7.64% へ劇的に低下させました。

適応攻撃への頑健性

攻撃者が「特定のトリガーパターンにのみ反応し、その近傍の摂動には反応しない」ように学習させた「BadCLIP Adaptive」攻撃に対しても、CI は 8/10 のモデルでバックドアを検出しました。

5. 意義と結論

CLIP-Inspector は、プロンプト調整という新しいパラダイムにおけるセキュリティリスクを特定し、実用的な防御策を提供する画期的な手法です。

• 実用性: 組織が MLaaS からモデルを受け取った後、デプロイ前に独立したセキュリティ監査サービスで迅速に検証し、必要に応じて修復を行うという現実的なワークフローを実現します。
• 一般化: メタネットワークの有無を仮定しないため、エンコーダーレベルのバックドア（プロンプト調整を行わない場合）に対しても同様に機能します。
• 限界と将来: 非常に微細なクラス間区別が難しいデータセット（Fine-grained datasets）では性能が低下する傾向がありますが、今後の研究課題として残されています。

本論文は、VLM のサプライチェーンセキュリティにおいて、モデルレベルでの検証が不可欠であることを示し、そのための具体的な技術的基盤を築いた点で極めて重要です。