Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting

技術要約：信頼度を考慮した重み付けによるゼロショットCLIPの敵対的堅牢性の向上

問題提起
Vision-Language Models (VLMs)、特にCLIPは、多様なタスクにおいて優れたゼロショット汎化性能を示します。しかし、これらは敵対的攻撃に対して非常に脆弱であり、知覚不可能な摂動によって予測の大幅な変化を引き起こします。敵対的学習は堅牢性を向上させるための標準的な手法ですが、大規模なVLMに適用される既存の手法には、主に以下の2つの制限があります。

1. 最適化の非効率性： 現在のアプローチは、敵対的な例の難易度や安定性に関わらず、すべての敵対的例を一律に扱います。これは、低レベルの堅牢な信頼度（不安定な予測）を持つサンプルが、高信頼度のサンプルよりも脆弱性に寄与しているという事実を無視しています。
2. リソースと性能のトレードオフ： PMG-AFTやTGA-ZSRといった最先端の手法は、高いメモリ使用量を必要とするか、あるいはクリーンな精度や汎化性能を損なうことなく、強力な攻撃（AutoAttackなど）下での堅牢な精度を維持することに苦慮します。

手法：信頼度を考慮した重み付け (Confidence-Aware Weighting: CAW)
著者らは、事前学習済みCLIPモデルのゼロショット堅牢性を高めつつ、その汎化能力を維持するように設計された敵対的ファインチューニング・フレームワークであるConfidence-Aware Weighting (CAW) を提案しています。この手法は、以下の3つの項からなる複合損失関数 ($L_{total}$) を導入しています。

1. 標準的な対照学習損失 ($L_{CE}$): 画像とテキストの埋め込みを整列させるために使用される、ベースラインとなるクロスエントロピー損失です。
2. 信頼度考慮型損失 ($L_{CA}$): このコンポーネントは、すべてのサンプルを等しく扱うことによる非効率性を解決します。これは、敵対的入力に対するファインチューニング済みモデルの予測分布 ($P_{adv}$) と、クリーンな入力に対する凍結された事前学習済みモデルの予測分布 ($P_{clean}$) の間のカルバック・ライブラー（KL）ダイバージェンスをスケーリングするものです。
   • メカニズム: KLダイバージェンスは $(1 - P_{adv, i, y_i})$ によって重み付けされます。ここで、$P_{adv, i, y_i}$ は敵対的サンプルにおける正解クラスの予測確率です。
   • 効果: この重み付けにより、モデルが不確実性を示す「難しい」敵対的サンプル（低信頼度のサンプル）に高い重要性を割り当て、モデルがこれらの脆弱なケースを安定させることに集中するように強制します。著者らは、敵対的分布における誤った高確率な予測をより適切に罰することができるとして、$KL(P_{adv} \parallel P_{clean})$ を逆方向ではなく使用しています。
3. 特徴量整列正則化 ($L_{Reg}$): 過学習や事前学習された知識の忘却を防ぐための項であり、ファインチューニングされたエンコーダによって処理された敵対的入力の画像特徴量と、同じ入力を処理した凍結された事前学習済みエンコーダの間の $\ell_2$ 距離を最小化します。
   • 相違点: クリーンな凍結表現と敵対的なファインチューニング済み表現を整列させるFAREとは異なり、CAWはファインチューニング中の特徴表現を安定させるために、両方のエンコーダからの「敵対的な」表現を整列させます。

総目的関数は次のように定式化されます：
$$L_{total} = L_{CE} + \alpha \cdot L_{CA} + \beta \cdot L_{Reg}$$

主な貢献

• 新しい重み付けメカニズム： ゼロショットVLM向けにカスタマイズされた信頼度考慮型重み付け戦略を導入し、クリーンな精度を犠牲にすることなく、不安定で低信頼度の敵対的サンプルに焦点を当てることで堅牢性を向上させました。
• デュアルロス・アーキテクチャ： 信頼度でスケールされたKLダイバージェンスと特徴レベルの正則化項の組み合わせにより、堅牢な特徴の学習と事前学習からの意味的知識の保持とのバランスを実現しています。
• 効率性： 提案手法は、競合するベースライン（PMG-AFTおよびTGA-ZSR）よりも少ないメモリを使用しながら、最先端の性能を達成しています。

実験結果
著者らはTinyImageNetデータセットを用いてCAWのファインチューニングを評価し、一般的な物体認識、細粒度分類、シーン認識、ドメイン固有のタスク、および医療画像を含む15の追加データセットに対してゼロショット性能をテストしました。

• AutoAttack ($\epsilon = 1/255$): CAWは15のデータセット全体で最高の平均堅牢精度（33.51%）を達成し、PMG-AFT（31.55%）およびTGA-ZSR（31.63%）を上回りました。特にCIFAR-10やCaltech-101などのデータセットで強みを示しました。
• PGD-100 および CW 攻撃: これらの攻撃下において、CAWは堅牢精度とクリーン精度の両方でPMG-AFTを上回りました。例えば、PGD-100の下では、CAWは平均堅牢精度34.91%を達成し（PMG-AFTの33.20%に対し）、同時にクリーン精度も向上させました（47.28%に対し53.75%）。
• メモリ効率: CAWは約15,986 MBのメモリを必要とし、これはPMG-AFT（18,449 MB）よりも低く、TGA-ZSR（21,227 MB）よりも大幅に低い数値です。
• 分析：
  • 信頼度分析： 散布図の結果、ファインチューニング後、クリーンな信頼度と堅牢な信頼度の相関が高まり、対角線方向へシフトしたことが示されました。これは安定性が向上したことを意味します。本手法は、「クリーンのみ（クリーンでは正解だが、敵対的では不正解）」のサンプルを効果的に減少させましたが、過剰に自信満々な誤分類を生むことはありませんでした。
  • アテンションマップ： 可視化により、CAWはクリーンな例と敵対的な例の両方に対して、オブジェクトに関連する領域への一貫した意味のあるアテンションを維持するのに役立つことが示されました。一方、ファインチューニング前のモデルは、攻撃下では無関係な背景ノイズに注目してしまう傾向がありました。

意義と主張
論文は、CAWがゼロショットVLMを敵対的脅威から保護するための重要な一歩であると主張しています。モデルの不確実性を明示的にターゲットにすることで、より転移可能で堅牢な特徴を学習します。著者らは、本手法が強力な攻撃（AutoAttack, PGD, CW）下での堅牢性を向上させつつ、より低いメモリフットプリントを維持しており、大規模モデルにとって実用的なソリューションであることを強調しています。

限界
著者らはいくつかの限界を認めています。

• 本手法は現在CLIPアーキテクチャに特化しており、他のVLMでのテストは行われていません。
• 画像エンコーダにおける摂動のみを扱っており、VLMにおいて重要なテキストエンコーダについては対処していません。
• 評価は標準的なホワイトボックス攻撃に限定されており、ブラックボックス攻撃、適応型攻撃、およびより大きな摂動半径については調査されていません。