技術要約: PRiSM - 少ショットVLMのためのプロトタイプ正則化

問題提起

本論文は、現在の学習不要な（training-free）少ショット適応手法における2つの決定的な限界を特定している：

1. 非現実的な評価プロトコル: 標準的なベンチマークは、クラスバランスの取れたサポートセットとクエリセットに依存している。この仮定は、データ分布が自然に歪んでいる（クラス不均衡）場合や、観察されたクラスの集合が不完全である場合（クラスの欠落）に発生する深刻なプロトタイプ・バイアスを隠蔽してしまう。
2. データ増加に伴う性能劣化: 標準的な少ショットの仮定とは対照的に、著者らは、現実的なクラス不均衡条件下では、ショット数（ラベル付きサンプル数）を増やすと、既存の最先端の学習不要な手法の性能がしばしば低下することを観察している。追加のサンプルは決定境界を洗練させる代わりに、不均衡な分布によるバイアスを増幅させ、多数派クラスへの偏りを強め、結果としてプロトタイプの歪みやクラス間の混同を増加させる。

既存の手法（Tip-Adapter, APE, GDA, ProKeRなど）は、検証セットを介したタスク固有のハイパーパラメータ・チューニングを必要とすることが多いが、これは検証セットが利用できない、あるいはアノテーションコストが高いという少ショットの仮定に反する行為である。さらに、これらの手法は、歪んだサポート分布によって生じるプロトタイプ推定固有のバイアスを修正するメカニメントを欠いている。

手法: PRiSM

著者らは、検証セットを必要とせずに、バイアスのかかったクラス・プロトタイプを補正するために設計された、プラグアンドプレイのフレームワークであるPRiSM（Prototype Regularization for Few-Shot VLMs）を提案する。

1. 目的関数

PRiSMは、ベースライン分類器のプロトタイプ $a$ から、正則化されたプロトタイプ $w$ を学習するための新しいマルチターム損失関数を最適化する。目的関数 $L(w, \phi)$ は以下の3つの項を組み合わせたものである：
$$L(w, \phi) = \beta \sum_{c} \|w_c - \mu_c(\phi)\|_2^2 + \gamma \sum_{c} \|w_c - a_c\|_2^2 - \frac{\lambda}{2(C-1)} \sum_{c \neq c'} \|w_c - w_{c'}\|_2^2$$
ここで：

• サポート・特徴量アライメント ($\beta$): 補正されたプロトタイプ $w_c$ を、サポートセットの平均視覚特徴 $\mu_c(\phi)$ に整合させることで、観察されたデータ分布との一貫性を確保する。
• ベースライン忠実度 ($\beta$): 補正されたプロトタイプを元のベースライン・プロトタイプ $a_c$ に固定し、事前学習されたゼロショット知識からの大幅な逸脱を防ぐ。
• クラス間分離 ($\lambda$): 異なるクラス間のプロトタイプ間の距離を最大化するペアワイズ正則化であり、干渉を減少させ、不均衡条件下での分離性を向上させる。

最適化には、補正されたプロトタイプ $w$ とビジョンエンコーダのパラメータ $\phi$ という2つの変数ブロックが含まれる。

2. 最適化戦略: ブロック Majorize-Minimize (MM)

非凸な目的関数を効率的に解くために、著者らは以下のプロセスを交互に行うブロック Majorize-Minimize (MM) オプティマイザを導入している：

• プロトタイプ補正: $\phi$ を固定した状態で $w$ を更新する。目的関数は $w$ に関して二次形式であるため、著者らは有効なブロックワイズ・リプシッツ定数 $\rho$（ヘッセ行列のスペクトルノルムの上界）を導出している。これにより、$1/\rho$ という暗黙的なステップサイズが可能となり、計算コストの高い学習率のグリッドサーチを排除できる。この上界は、ゲルショルギン円定理を用いて効率的に計算される。
• 特徴量適応: $w$ を固定した状態で $\phi$ を更新する。これは、パラメータ効率を確保するために LoRA (Low-Rank Adaptation) を用いた標準的なバックプロパゲーションによって行われ、ビジョンエンコーダの層のごく一部のみを更新する。

主な貢献

1. 現実的なベンチマーク: 著者らは、ディリクレ・サンプリングを用いてクラス不均衡と有効クラス数を変化させるベンチマークを導入することで、標準的な少ショット・プロトコルの限界を露呈させた。彼らは、深刻な不均衡下ではショット数が増えるにつれて標準的な手法が劣化することを実証している。
2. PRiSM フレームワーク: 既存のあらゆる学習不要なベースラインの上にデプロイ可能な、検証不要でプラグアンドプレイのプロトタイプ正則化モジュールである。これは、多数派クラスによる支配を効果的に緩和しつつ、VLM埋め込み空間の識別構造を維持する。
3. 効率的な最適化: プロトタイプ更新のためのブロックワイズ・リプシッツ定数の導出により、理論的に裏付けられた、検証不要なステップサイズの選択を可能にし、計算効率の高い手法を実現した。
4. 実証的検証: 10種類の多様な画像分類データセット（Oxford-Pets, EuroSAT, Food-101など）を用い、CLIP (ViT-B/16 バックボーン) を使用して広範な実験を行った。

実験結果

実験は、CLIP (ViT-B/16 バックボーン) を用いて10種類の多様な画像分類データセット（例：Oxford-Pets, EuroSAT, Food-101）に対して行われた。

• 深刻な不均衡（高い有効クラス数）: 深刻な不均衡下では、ベースライン手法はショット数が増えるにつれて性能が低下することが多い（例：Tip-Adapterは2-shotから16-shotに移動すると精度が約63%から約33%に低下した）。PRiSMはこの傾向を逆転させ、16-shot設定においてTip-Adapterの平均精度を +35.05%、4-shot設定において +23.22% 向上させた。
• 準バランス設定: 準バランス条件下においても、PRiSMは一貫した利点を提供し、16-shot設定においてTip-Adapterを +29.79% 向上させた。
• 低い有効クラス数: 有効クラス数が少ないレジームにおいても、PRiSMは特に弱いベースラインに対して顕著な改善を示し、ラベル空間が減少してもプロトタイプ・バイアスが存続することを裏付けた。
• 比較: プロトタイプが正則化されることで、PRiSMはより単純な手法（Tip-Adapterなど）を、より複雑な最先端手法（ProKeRなど）と同等、あるいはそれを上回る性能レベルに到達させた。
• 学習率分析: 提案されたリプシッツ定数に基づくステップサイズは、網羅的なハイパーパラメータ・チューニングを必要とせずに、データセット全体で最適な性能領域に一致することが示され、理論的導出の妥当性が検証された。

意義と主張

本論文は、少ショットVLM適応における主要なボトルネックは、必ずしも適応メカニズムそのものではなく、予測に使用されるクラス・プロトタイプの質であり、それが不均衡なデータによって歪められていることが多いと主張している。

著者らは以下の通り論じている：

1. プロトタイプ・バイアスは共通の失敗モードである: 不均衡に起因するバイアスは、多様な適応手法における系統的な失敗モードとして作用する。このバイアスを補正することで、多様なアプローチの性能を系統的に高めることができる。
2. 検証不要の適応は可能である: 理論的に裏付けられたステップサイズを導出し、アライメント、忠実度、および分離のバランスを取るマルチターム損失を使用することで、PRiSMはラベル付き検証セットへのアクセスという非現実的な仮定なしに、競争力のある性能を達成している。
3. 評価におけるリアリズム: 提案されたベンチマークは、現在の最先端の主張が、非現実的なクラスバランスの仮定によって膨らまされている可能性があることを浮き彫りにしている。著者らは、より堅牢な適応技術の開発を促進するために、現実世界の歪んだ分布を反映した評価プロトコルを推奨している。

結論として、PRiSMは、プロトタイプの幾何学的構造を正則化し、意味的な忠実度を維持しながら、支配的なクラスへの崩壊を防ぐ、シンプルかつ効果的な補正手段を提供し、困難な少ショット・レジームにおける堅牢性を高めるものである。