SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning

技術的概要：テスト時プロンプトチューニングのための意味直交較正（SoC）

問題定義
CLIP などの視覚言語モデル（VLM）は、強力なゼロショット能力を示していますが、分布外データや新規カテゴリを含む実世界のシナリオで展開される際、重大な課題に直面します。エントロピー最小化を通じてテキストプロンプトを最適化することで、ラベルなしで VLM を新しいタスクに適応させる手法としてテスト時プロンプトチューニング（TPT）が登場しましたが、このアプローチはしばしば過剰な自信を持つ予測を誘発し、不確実性の較正を悪化させます。

最近の最先端手法、特に O-TPT（Orthogonal Test-Time Prompt Tuning）は、テキストプロンプト埋め込みのペア間で完全な直交性を強制することで、この過信を軽減しようとしています。その直観は、直交するプロトタイプがクラス分離性を高めるというものです。しかし、本論文は、意味的に関連するクラスに対して厳密な直交性を強制することは、理論的および実証的に欠陥があると主張します。「年次作物」と「恒久作物」のように概念的な重複があるにもかかわらず、これらを直交させるなど、すべてのクラスプロトタイプを積極的に引き離すことで、O-TPT は埋め込み空間の内在的な意味構造を破壊します。この人工的な分離は、モデルの予測が誤っている場合であっても予測の自信を体系的に過大評価させ、較正を改善するどころか劣化させます。

手法
著者は、プロトタイプの分離を強制しつつ意味的近接性を維持するように設計された新しい正則化項である**意味直交較正（SoC）**を提案します。

1. Huber に基づく正則化: O-TPT で使用される二次ペナルティ（類似度の二乗に比例する強い反発力を適用するもの）の代わりに、SoC は Huber 損失関数を利用します。この損失は、小さな残差（低類似度のペア）に対しては二次的ですが、大きな残差（高類似度のペア）に対しては線形ペナルティに遷移します。
2. 意味の維持: Huber 定式化は、高類似度のクラスペアに対する反発力を上限設定します。これにより、埋め込み空間において自然に高いコサイン類似度を持つ意味的に相関するクラスが、O-TPT のように過度に引き離されないことを保証します。正則化項は以下のように定義されます：
   $$L_{SoC} = L_{TPT} + \lambda \cdot \frac{2}{K(K-1)} \sum_{i<j} L_{Huber}(s_{ij}, \delta)$$
   ここで、$s_{ij}$ はクラスプロトタイプ $i$ と $j$ 間のコサイン類似度、$\delta$ はマージン閾値です。
3. 理論的解析: 本論文は、最悪ケースのクラス類似度（$\mu$）に基づいたソフトマックス自信度の下限を導出します。この解析は、完全な直交性（O-TPT）が単一の勾配ステップで $\mu$ を積極的に減少させ、厳密に高い自信度の下限をもたらすことを示しています。対照的に、提案された Huber に基づく正則化項は、高類似度のペアに対して穏やかな反発を適用し、過度な自信度の増加を防ぎ、より良好な較正を維持します。

主な貢献

• SoC 正則化項: 完全な直交性制約よりも滑らかな勾配をもたらす、TPT 用の Huber に基づく正則化項の導入。これは、関連するクラス間の意味構造を効果的に維持しつつ、厳密な直交性の過剰分離効果を軽減します。
• 理論的洞察: 最悪ケースのクラス類似度を予測不確実性と結びつける自信度の下限の導出。この解析は、完全な直交性が意味的に相関するカテゴリであっても類似度を積極的に減少させることで自信度を体系的に過大評価することを明らかにし、提案手法は反発を上限設定することでこれを回避することを示しています。
• 実証的検証: 微細分類、自然なドメインシフト、衛星画像などを含む 11 の多様なデータセットにわたる包括的な実験により、SoC が最先端のベースライン（TPT、C-TPT、O-TPT）と比較して較正指標（期待較正誤差 - ECE）を一貫して改善し、同時に競争力のある識別性能を維持することが示されました。

結果

• 較正性能: 11 のデータセット全体において、SoC は O-TPT に対して 1 つのデータセットを除き、すべてのデータセットで最良の ECE スコアを達成しました。O-TPT に対する平均 ECE の改善は 2.3 であり、微細なタスクで顕著な改善が観察されました（例：EuroSAT における ECE の 14.5 ポイントの減少）。
• 信頼性: 信頼性ダイアグラムは、O-TPT が顕著な過信（予測確率が観測精度を常に上回る）を示すのに対し、SoC は対角線に近い平坦な曲線を生み出し、自信度と精度の間のより良い整合性を示していることを示しています。
• ロバスト性:
  • 多ステップ更新: 2 回の勾配更新を適用した場合（O-TPT の較正が 39% 劣化するシナリオ）、SoC は 23% と著しく劣化が少なく、O-TPT の急激な類似度減少が不安定であるという理論的発見と一致しました。
  • バックボーン変異: 異なる ViT バックボーン（ViT-B/16 および ViT-L/14）において、SoC は精度と ECE の両方で O-TPT を上回りました。
  • プロンプト感度: O-TPT と比較して、18 の異なる初期テキストプロンプト全体で SoC は低い ECE を示し、プロンプト初期化に対する感度の低さを示しました。
• 計算効率: SoC の計算複雑度は $O(n^2)$ であるのに対し、O-TPT は $O(n^3)$ の複雑さを持つ Householder 変換を含むため、SoC は多数のクラスを持つデータセットに対してより効率的です。

意義と主張
本論文は、現在の直交性に基づく較正手法の主な限界は、幾何学的分離と意味的近接性の区別ができない点にあると主張しています。O-TPT の硬直的な反発を、より滑らかで意味を考慮したメカニズムに置き換えることで、SoC は VLM が不確実性推定の信頼性を犠牲にすることなく新しいタスクに適応することを可能にします。著者は、この研究を VLM のより意味を考慮した較正手法への一歩として位置づけており、過信した誤った予測が許容されない医療や自動運転などの安全クリティカルなアプリケーションにおいて特に重要です。本研究は、単に幾何学的分離を最大化するのではなく、意味的に類似したクラスの多様体構造を維持することが、真の較正を達成するために不可欠であることを示唆しています。