技術要約: ReACT-CLIP

問題提起

CLIPのような視覚と言語のモデル（VLM）は、多様なダウンストリーム・タスクに対して凍結された視覚エンコーダに依存しており、これが敵対的攻撃に対する集中した失敗点（single point of failure）を生み出している。敵対的学習やプロンプト・チューニングは堅牢性を提供するが、これらは再学習を必要とし、特定の攻撃分布への過学習のリスクがあり、クリーンな精度を犠牲にして堅牢性を得る。その結果、トレーニングを必要としないテスト時防御（training-free test-time defenses）が実用的な代替案として浮上している。

しかし、既存のテスト時防御には根本的な限界がある。それらは**固定された介入戦略（fixed-intervention strategies）**を採用している。固定されたプロンプト更新、固定されたカウンターアタック・バジェット、あるいは（アンカー構築のためのグローバルなガウスノイズスケールのような）固定された特徴補正スケールを通じて、これらの手法は推論時の攻撃の深刻度の変化に適応することができない。展開時には攻撃バジェット（$\epsilon$）は未知であり、同じ公称バジェット内であっても、必要な補正強度はサンプル間で大きく異なる。本論文で示されているように、弱い攻撃に対して機能する固定構成は強い攻撃に対しては「届かず（undershoot）」、強い攻撃に対して調整されたものはクリーンまたは弱く摂動された入力に対して「やりすぎて（overshoot）」性能を低下させる。このミスマッチにより、既存の防御策は攻撃強度が増すにつれて急激に性能を劣化させる。

手法: ReACT-CLIP

ReACT-CLIP（Response-Aware Correction at Test-Time for CLIP）は、テスト時防御をサンプル固有の決定プロセスへと再定義することで、この問題に対処する。グローバルに固定された補正を適用する代わりに、ReACT-CLIPは各入力に対して2つの異なる特性を決定する。

1. 防御的介入が必要であるか否か。
2. 入力をどの程度強く補正すべきか。

この手法は、事前学習済みモデルを修正したりプロンプト学習を必要としたりすることなく動作する。以下の2つのコアメカニズムに依拠している。

1. レスポンス条件付きアンカー構築（補正強度の決定）

必要な補正強度を推定するために、ReACT-CLIPは入力を2つのレベルのガウスノイズ（$\sigma_{low}$ および $\sigma_{high}$）でプローブし、結果として生じる視覚特徴空間におけるドリフトを測定する。

• 観察: 単一のノイズレベルにおける絶対的なドリフトは曖昧であるが（敵対的な特徴は弱いノイズ下では見かけ上安定しているように見える）、相対的なクロスノイズ・ドリフト（$r(x)$）は明確で段階的な信号を提供する。これは、低ノイズから高ノイズへのドリフトの相対的な増加として定義される：
  $$r(x) = \frac{d_{high}(x) - d_{low}(x)}{d_{low}(x)}$$
• メカニズム: この相対的ドリフトは、補正要求のサンプル固有のプロキシ（代理指標）として機能する。ReACT-CLIPは、単一のデータセット（Caltech256）で一度だけキャリブレーションされた線形マッピングを用いて、$r(x)$ をサンプル固有の補正スケール $\sigma_{corr}(x)$ にマッピングする。
• 適用: このスケールは、ガウスノイズを加えたビューからノイズ平均特徴アンカー（$f_{anc}$）を構築するために使用される。元の視覚特徴は、このアンカーに向かって、あるいはそれを超えて外挿される。小さな $r(x)$ は小さなノイズスケールと緩やかな補正をもたらし、大きな $r(x)$ は大きなスケールとより強力な補正範囲をもたらす。

2. 選択的防御介入（必要性の決定）

無条件に補正を適用することは、すでに正しく分類されているクリーンな入力に悪影響を与える可能性がある。介入を行うかどうかを決定するために、ReACT-CLIPは相対的ドリフトと予測不安定性スコアを組み合わせる。

• 観察: クリーンな入力は、弱い空間的増強の下でも安定したクラス確率分布を維持するが、敵対的な入力はより大きな変動を示す。
• メカニズム: 予測不安定性スコア $J(x)$ は、元の予測と、弱い確率的増強 $T(x)$ の下での予測との間のイェンセン・シャノン・ダイバージェンスを用いて計算される。
• 決定: 最終的な防御介入スコアは $s_{int}(x) = r(x) + J(x)$ である。もし $s_{int}(x)$ が閾値 $\tau$ を超える場合、補正が適用され、そうでなければ元の特徴が保持される。これにより、システムはクリーンな入力と、相対的ドリフトだけではしばしば曖昧になる弱い攻撃を受けた入力を区別することができる。

主な貢献

1. レスポンス条件付きアンカー構築: 本論文は、グローバルに固定された補正強度は最適ではないことを指摘している。相対的なクロスノイズ・ドリフトをサンプル固有の補正スケールに変換する手法を導入し、再学習なしに、攻撃バジェットと個々のサンプルの特性の両方に適応する防御範囲を実現した。
2. 選択的防御介入: ドリフトと予測不安定性を融合させた介入スコアを提案している。これにより、弱い攻撃レジームにおける敵対的入力の検出能力が向上し、同時にクリーンな精度を維持できる。これは、ドリフトのみの検出器が抱える曖昧さを解決するものである。
3. 広範な堅牢性評価: 本手法は、12のダウンストリーム・データセット、ImageNet、およびその分布シフト・バリアントに対し、PGD-10、PGD-100、C&W-10、およびAutoAttackの下で評価されている。

結果

• 堅牢性の向上: 12のダウンストリーム・データセットにおけるPGD-10攻撃下において、ReACT-CLIPは攻撃バジェット $\epsilon=1/255$ から $\epsilon=16/255$ にわたって、約60%の堅牢精度を維持している。
• ベースラインとの比較: $\epsilon=16/255$ において、最も強力な既存のベースラインであるDefend-CLIPを最大46.50パーセントポイント上回っている。既存の防御策が攻撃の強化に伴い急激に性能を低下させる一方で、ReACT-CLIPは安定した性能を維持する。
• クリーン精度: 本手法はクリーンな精度を保持しており、クリーンな入力に対する最強の防御策の範囲内0.76%以内に収まっている。
• 汎化性能: 補正強度のための線形マッピングは、単一のデータセットでキャリブレーションされているにもかかわらず、ImageNetおよびその分布外（Out-of-Distribution）バリアント（ImageNet-A, V2, R, Sketch）へ効果的に汎化し、さらにキャリブレーション範囲を超えた攻撃バジェット（$\epsilon=24, 32$）に対しても、他の防御策が崩壊する中で外挿が可能である。
• アブレーション: 実験結果は、レスポンス条件付きアンカー構築が中程度から強力な攻撃バジェットにおける堅牢性を駆動し、選択的介入スコアが主にクリーンな精度を保護し、弱い攻撃レジームにおける性能を向上させることを裏付けている。

意義と主張

本論文は、ReACT-CLIPが、グローバルで固定された介入から入力ごとのレスポンス条件付きの決定へと移行することで、トレーニングを必要としないテスト時防御の新しいパラダイムを確立したと主張している。ノイズ誘発による特徴ドリフトの相対的なダイナミクスと予測の安定性を活用することで、本手法は推論時に攻撃パラメータを知ることなく、未知の攻撃バジェットと変動するサンプルの深刻度に適応する。

著者らは、このアプローチにより、単一の固定された構成が、非常に弱い攻撃から非常に強い攻撃までの幅広いスペクトラムの摂動バジェットに対して有効であり続け、かつ、事前学習されたCLIPモデルのゼロショット能力をほぼ維持できることを強調している。本研究は、「固定された防御構成」と「変動する攻撃強度」の間の「ミスマッチ」が、現在のテスト時防御における失敗の主要な原因であり、レスポンスに応じた条件付け（response-aware conditioning）が堅牢で展開可能なVLMに向けた不可欠なステップであることを明らかにしている。