Towards Fine-Grained Robustness: Attention-Guided Test-Time Prompt Tuning for Vision-Language Models

技術的概要：ビジョン・ランゲージモデルのための注意誘導テスト時プロンプトチューニング

問題定義

CLIP などのビジョン・ランゲージモデル（VLM）は、さまざまな下流タスクにおいて顕著なゼロショット性能を示しています。しかし、これらは敵対的摂動に対して大きな脆弱性を示し、わずかな攻撃であっても推論能力を劇的に低下させ、真のラベルをトップ-$K$予測から排除してしまいます。トレーニング時適応手法（VPT、FAP など）は防御策を提供しますが、高い計算コストと大量のラベル付き敵対的データが必要であり、実用性が制限されています。

既存のテスト時適応（TTA）手法は、通常マルチビュー拡張とエントロピー最小化に依存しており、微細なシナリオでは困難に直面します。これらの手法は、しばしばランダムな領域編集や特徴空間拡張を採用しますが、これは微細な認識に不可欠な弁別的意味領域を誤って破壊する可能性があります。さらに、意味を保持する拡張技術は、しばしば特徴空間学習や自己教師あり信号（元のログオッズなど）に依存しますが、敵対的攻撃下では特徴空間自体が元の決定境界を超えて歪むため、ラベル保持能力を失います。

対処される中心的な課題は以下の通りです：敵対的攻撃下でも、特徴空間での学習なしに、弁別的意味情報を特定し保持するテスト時適応手法を設計することは可能でしょうか？

手法：A-TPT

著者は、堅牢な視覚的注意を意味的アンカーとして用いてテスト時適応を誘導するフレームワークである**注意誘導テスト時プロンプトチューニング（A-TPT）**を提案します。この手法は追加のトレーニング事前知識やモデルを必要とせず、以下の 3 つの中核コンポーネントで構成されます。

1. 勾配注意精化（GAR）:
   標準的な勾配注意ロールアウト（GAR）は敵対的摂動に敏感であり、散漫で信頼性の低い注意マップを生成することが示されています。A-TPT は、注意マップの勾配に基づく重み付けに代わってトークンベースの勾配信号を用いることで、このメカニズムを精化します。

   • 注意マップの勾配で注意行列を直接重み付ける代わりに、A-TPT はターゲットログオッズに対するトークン埋め込みとその勾配の内積に基づいて重み付けベクトルを計算します。
   • このアプローチは、重み付けを注意勾配の 2 次感度から切り離し、攻撃下でも弁別的領域を強調する、より滑らかで信頼性の高い注意マップをもたらします。
   • ノイズをさらに抑制するため、この手法は最後の 2 つのトランスフォーマーブロックの遷移行列を平均化します。

2. 注意誘導マルチビュー拡張:
   精化された注意マップを意味的アンカーとして用い、A-TPT は重要な意味的部分を保持しながら多様なビューを生成します。

   • 空間注意マップを用いて、画像を高注意領域と低注意領域に分割します。
   • 高注意領域（弁別的部分を含む）は、破損を防ぐために低い拡張強度で保護されます。
   • 低注意領域（背景や無関係な詳細であることが多い）は、多様性を生成するために高い拡張強度（例：AugMix を通じて）にさらされます。
   • この空間的に変化する拡張により、生成されたビューが分類に必要とされる意味的部分の完全性を維持することが保証されます。

3. TV ベースのアンサンブル:
   最終的な推論のために最も信頼性の高いビューを選択するため、A-TPT は全変動（Total Variation: TV）に基づく重み付け戦略を採用します。

   • この手法は、各拡張ビューの注意マップの異方性全変動を計算します。高い TV は、破損した特徴や無関係な背景と関連することが多い、断片的または鋭い注意分布を示します。
   • 低い TV（より滑らかで連続的な注意）を持つビューには高い重みが割り当てられ、高い TV を持つものは重みが低下されます。
   • 最終的な予測は、意味的に信頼性の高い注意分布を持つものを優先する、低エントロピーのビューの重み付きアンサンブルです。

主な貢献

1. 堅牢な勾配信号: 本論文は、トークンベースの勾配信号を導入することで勾配注意ロールアウト機構を精化します。この単純な修正により、敵対的攻撃下で擾乱されていない意味情報を効果的に特定し、標準的な注意マップの感度問題を克服します。
2. 微細堅牢性のための初の意味誘導 TTA: A-TPT は、適応プロセスを誘導するために明示的に弁別的意味領域を利用する最初のテスト時適応手法として提案されます。これは、小さく重要な詳細を保持することが不可欠な微細認識の課題を特にターゲットとしています。
3. 包括的な性能: 広範な実験により、A-TPT が弁別的領域を保持するだけでなく、クリーンデータと敵対的データの両方の分布において、最先端（SOTA）のテスト時適応手法を大幅に上回ることを実証しました。

実験結果

著者は、標準的な ImageNet および 8 つの微細ベンチマーク（OxfordPets、FGVC-Aircraft、StanfordCars など）を含む 9 つのデータセットで A-TPT を評価しました。

• 敵対的堅牢性: ViT-B/16 を使用した微細タスクにおいて、A-TPT は平均敵対的精度**45.7%**を達成し、R-TPT（40.7%）や MTA（39.9%）などの SOTA 手法を大幅に上回りました。ImageNet においては、攻撃下で CLIP がほぼゼロの性能を示すのに対し、48.2% の敵対的精度に達しました。
• クリーン精度: A-TPT はクリーン精度も向上させ、ViT-B/16 を使用した微細タスクで**63.0%**を達成し、R-TPT（61.1%）や MTA（62.4%）を超えました。
• 一般化: この手法は、敵対的条件下での分布外（OOD）データセット（ImageNet-A、V2、R、S）においても強力な性能を維持し、ベースラインの CLIP の 0.3% に対して平均敵対的堅牢性 35.8% を達成しました。
• アブレーション研究: 実験により、3 つのコンポーネントすべて（精化、拡張、TV-アンサンブル）が必要であることが確認されました。精化ステップを除去すると、拡張およびアンサンブルモジュールが弁別的領域を保護する機能を果たせなくなりました。
• 効率性: この手法はサンプルごとの注意抽出を必要としますが、著者は拡張ビューの数を減らす（例：64 から 16 へ）ことで、精度の低下を最小限に抑えつつ推論時間を大幅に削減できると指摘しています。

意義と主張

本論文は、A-TPT が VLM における微細堅牢性に向けた重要な一歩であると主張しています。意味の特定をトレーニング段階から切り離し、堅牢な注意メカニズムを活用することで、この手法はラベル付き敵対的データを必要としない効果的な防御パラダイムを提供します。

著者は、微細シナリオにおける堅牢性の鍵は、単に特徴表現を最適化するのではなく、弁別的意味部分を特定し保持することにあると強調しています。提案された手法は、適応プロセスが信頼性が高く意味を保持する注意によって誘導される限り、テスト時適応は敵対的攻撃に対して堅牢でありながら、クリーンデータにおいても効果的であることを実証しています。

限界: 著者は、A-TPT がマルチビュー拡張とビュー選択に依存しているため、敵対的攻撃に対して完全に免疫ではないことを認めています。今後の課題として、潜在空間内で直接弁別的意味情報を探索することが提案されています。