技術要約: T-VSS (Test-Time Visual Subspace Steering)

1. 問題提起

CLIPのような視覚言語モデル（VLM）は、ゼロショットの視覚認識において優れた能力を発揮するが、敵対的摂動に対して非常に脆弱である。知覚できない程度の入力の変化であっても、重大な予測失敗を引き起こす可能性があり、医療AIや自動運転のような安全性が極めて重要な領域においてリスクとなる。

既存の防御戦略には、主に2つの制限がある：

1. 学習時手法: 敵対的学習、ロバストなファインチューニング、拡散ベースの浄化などは、ラベル付きデータ、高価な再学習、あるいは補助モデルを必要とするため、大規模で凍結されたVLMに対しては実用的ではない。
2. テスト時適応（TTA）手法: 近年のTTAアプローチは、再学習なしに推論時の堅牢性を向上させようと試みているが、多くの場合、間接的な最適化経路に依存している：
   • プロンプトベース（例: R-TPT）: 学習可能なテキストプロンプトを最適化する。
   • 入力空間ベース（例: TTP, TTC）: ピクセルレベルのパディングやカウンターアタックによる摂動を最適化する。
     これらの手法は計算コストが高く、敵対的攻撃の主要な標的である「視覚表現そのものの崩壊」を直接的に解決するものではない。

2. 手法: Test-Time Visual Subspace Steering (T-VSS)

T-VSSは、テスト時に視覚特徴空間を適応させる、軽量で直接的な防御策を提案する。プロンプトやピクセルを調整するのではなく、攻撃を受けた画像のマルチビュー特徴量から導出された、コンパクトでサンプル固有の低ランク部分空間内で、共有された補正を学習する。

本手法は、主に以下の3つのステージで動作する。

A. ローカル視覚部分空間の推定

敵対的なテスト画像 $x_0$ と、その $N$ 個の拡張ビュー $\{x_1, \dots, x_N\}$ が与えられる。モデルは、凍結されたCLIP画像エンコーダを使用して、凍結された視覚特徴 $\{f_i\}$ を抽出する。

• 残差の構築: アンカーベースの残差行列 $R$ は、元の攻撃を受けたビューの機能 ($f_0$) から、すべての拡張ビューの機能を差し引くことで構築される：
  $$R = [(f_1 - f_0)^\top, \dots, (f_N - f_0)^\top]^\top$$
• 部分空間の抽出: $R$ に対して特異値分解（SVD）を適用する。本手法は、上位 $m$ 個の右特異ベクトルによって定義される低ランク部分空間 $V_m$ を選択する。ランク $m$ は、累積特異値エネルギーが閾値 $\rho$（例: 0.9）を超えるように適応的に選択される。
• 直感: すべてのビューは同じ攻撃を受けた画像に由来するため、それらの攻撃による特徴量のシフトは共通の成分を共有している。残差構造は低ランクの幾何学構造へと収束し、これにより、手法は攻撃によって引き起こされたローカルな変動を分離しつつ、ビュー間で共有されるオフセットを抑制することができる。

B. 共有低ランク特徴ステアリング

T-VSSは、抽出された部分空間 $V_m$ 内の単一の共有補正ベクトル $\Delta$ を学習する：

• 学習可能な係数ベクトル $\alpha \in \mathbb{R}^m$ はゼロで初期化される。
• 補正は $\Delta = V_m \alpha$ として計算される。
• このシフトは、すべてのビューに対して同時に適用される：$\tilde{f}_i = \text{norm}(f_i + \Delta)$。
• この設計は、各ビューに対して独立した不安定な更新を許すのではなく、低ランクの幾何学的制約に基づいた、ビュー間のコンセンサス（合意）のある補正を強制する。

C. 信頼性を考慮した最適化と集約

すべての拡張ビューが攻撃下で等しく信頼できるわけではない。T-VSSは信頼性重み付けメカニズムを組み込んでいる：

• 信頼度スコア: 各ビュー $i$ について、特徴空間における上位 $K$ 個の近傍との平均的な類似性に基づいてスコア $r_i$ を算出する。
• 重み付け: これらのスコアは、温度スケールされたソフトマックス関数を介して重み $w_i$ に変換される。特徴的な一致度が高いビューには高い重みが与えられ、不安定な外れ値は抑制される。
• 損失関数: 係数ベクトル $\alpha$ は、予測されるクラス確率の信頼性重み付きポイントワイズ・エントロピーを最小化することによって最適化される：
  $$\mathcal{L}_{\text{T-VSS}} = \sum_{i=0}^{N} w_i \mathcal{H}(p(\tilde{f}_i))$$
• 最終予測: 最終的な予測は、適応されたすべてのビューからの確率の、信頼性重み付き平均である。

3. 主な貢献

1. 直接的な特徴空間適応: T-VसSは、学習された低ランク部分空間内で破損した視覚表現を直接適応させる、VLMのための初のテスト時防御であり、テキストプロンプトや入力ピクセルの間接的かつ高コストな最適化を回避する。
2. サンプル固有の低ランク幾何学: マルチビュー特徴のアンカーベースの残差から部分空間を構築することで、本手法は攻撃のローカルなクロスビュー幾何学を捉え、更新を幾何学的に妥当な方向に制約する。
3. 信頼性考慮メカニズム: ビューの信頼性重みの統合により、適応プロセスと最終的な集約が、敵対的設定で一般的な問題である不安定な拡張ビューに対して堅牢であることを保証する。
4. 効率性: 本手法は、凍結されたエンコーダのフォワードパスを1回行うだけで済む。最適化は、高次元のプロンプトベクトルやピクセルグリッドではなく、小さな係数の集合（ランク $m$）に対して行われるため、推論レイテンシを大幅に削減できる。

4. 実験結果

著者らは、3つのCLIPバックボーン（ResNet-50, ViT-B/16, ViT-L/14）を用い、8つの細粒度データセット、ImageNet、および4つのImageNet Out-of-Distribution (OOD) ベンチマークでT-VSSを評価した。

• 敵対的堅牢性: T-VSSは、すべてのバックボーンとデータセットにおいて、一貫して最高の平均敵対的精度を達成した。
  • CLIP-ResNet-50を用いた細粒度データセットにおいて、平均ロバスト精度を**48.5%**まで向上させ、従来の最高精度（R-TPT）を3.3ポイント上回った。
  • ImageNetにおいて、**50.1%**のロバスト精度を達成し、R-TPT（47.7%）および他のベースラインを凌駕した。
  • 困難な細粒度カテゴリ（Cars, Flower102, Aircraftなど）において優れた性能を示し、OODベンチマーク（ImageNet-A, V2, R, S）においても改善を維持した。
• クリーン精度: T-VSSは競争力のあるクリーン精度を維持し、積極的なテスト時補正に伴いがちな大幅な精度低下を回避した。
• 効率性: T-VSSは最も高速な適応型防御であった。UCF101において、0.383秒/画像で52.5%のロバスト精度を達成し、これはR-TPT（0.533s）やTTP（0.408s）よりも高速である。減少させたビュー予算（例: 16ビュー）においても強い性能を維持した。
• 汎用性: 本手法は様々な攻撃タイプ（PGD, CW, DeepFool, FGSM）に対して堅牢性を示し、特定の攻撃メカニズムに過学習していないことを示した。

5. 意義と主張

本論文は、T-VSSが、堅牢なゼロショットVLM推論のための、プロンプトベースまたはピクセル空間適応に代わる、シンプルで実用的かつ効率的な代替案を提供すると主張している。

• 直接性: 視覚特徴空間を直接ステアリングすることで、T-VSSは間接的な手法よりも、脆弱性の根本原因（破損した視覚表現）をより効果的に対処する。
• 堅牢性と効率性のトレードオフ: 制約された低ランク適応により、優れたトレードオフが得られ、従来のテスト時防御と比較して、より低い計算オーバーヘッドで高い堅牢性を提供する。
• 限界: 著者らは、他の拡張駆動型防御と同様に、T-VSSが確率的なマルチビュー拡張に依存していることを認めている。これは、敵対者が変換に対する同じ期待値を明示的に最適化する場合（防御を意識した攻撃）、潜在的な攻撃表面を生み出すことになり、現在のTTAパラダイムが共有する限界である。

結論として、T-VSSは、テスト時の適応をコンパクトでサンプル固有の視覚部分空間に制約することが、凍結された視覚言語モデルの敵対的堅牢性を高めるための、実行可能かつ効果的な戦略であることを示している。