技術要約：現実的なテスト時転移のための動的収縮を伴うフォン・ミーゼス・フィッシャー混合モデル

1. 問題定義

CLIPなどの視覚言語モデル（VLM）は、共有潜在空間において視覚的概念とテキスト概念を整合させることにより、驚異的なゼロショット能力を示してきました。しかし、ラベルなしデータのみを用いてテスト時の性能を向上させることは、特に現実的なデプロイメント・シナリオにおいては依然として困難です。

既存のテスト時適応（TTA）および転移的手法は、クラスバランスの取れた分布や一様なクラス周辺分布を想定していることが多いです。しかし、現実には、テストデータのストリームはしばしば高度に不均衡なクラス分布（例：疎なバッチ、ロングテール分布、または非i.i.d.な時間的相関）を示します。このような条件下では、標準的な転移的手法（通常、ソフトな確率的クラスタリングに依存するもの）は、性能の低下や、さらには破滅的な崩壊を招きます。この失敗は、主に以下の2つの問題に起因します：

1. 局所統計への過学習: 事前知識に推定値を固定するメカニクスがないため、手法はバッチ内の多数派クラスの偏った統計量に過学習し、少数派または存在しないクラスにおけるエラーを増幅させます。
2. 静的な収縮モデリング: KLダイバージェンスによるアンカーを用いた正則化を組み込んでいる既存のアプローチであっても、多くの場合、収縮強度に対して静的なハイパーパラメータを使用しています。これは、すべてのクラスやインスタンスに対して等しい信頼性を仮定しており、与えられたバッチ内の特定のクラスの変動する確信度や存在感に動的に適応することができません。

2. 手法：MOON

著者らは、現実的なテスト時転移のための、トレーニングフリーかつモデルに依存しない手法であるMOON（Mixture of von Mises-Fisher Models with Dynamic Shrinkage）を提案します。この手法は、**罰則付き尤度推定（Penalized Likelihood Estimation: PLE）**に基づいており、正規化されたVLM埋め込みが存在する単位超球面上で動作します。

2.1 理論的基礎：PLEと適応的収縮

著者らは、PLEの観点から転移を再検討し、目的関数を負の対数尤度（NLL）と正則化項の最小化として定式化しています。彼らは、KLダイバージェンス・アンカー項（ゼロショット事前分布に基づく）を組み込むことが、自然に適応的な収縮挙動をもたらすことを理論的に証明しています。

• メカニズム: クラス統計量の更新は、経験的推定値（$\hat{\mu}_k$）と事前アンカー（$\mu'_k$）の凸結合となります：
  $$\mu_k = \beta_k \hat{\mu}_k + (1 - \beta_k) \mu'_k$$
  ここで、収縮強度 $\beta_k$ は、有効サンプル数（$n_k$）とアンカーの重み（$\alpha$）の比率によって決定されます。
• 含意: サポートが豊富なクラスは標準的な最大尤度推定（MLE）に近づきますが、稀なクラスや存在しないクラスは事前分布に対して強く正則化され、ネガティブ・トランスファーを防ぎます。

2.2 MOONのコアコンポーネント

MOONは、正規化された埋め込みのトポロジー的に自然な構造であるフォン・ミーゼス・フィッシャー（vMF）混合分布を用いて、この理論を実装します。

1. インスタンスレベルの動的収縮 ($\gamma$):

   • バッチ内のノイズの多い予測を処理するために、MOONは各サンプルに対してエントロピーベースの重み $\gamma_i$ を導入します。
   • 予測エントロピーが高いサンプル（不確実な予測）は、尤度計算において重みが低く設定され、パラメータ推定中の信頼性の低い割り当てを抑制します。

2. クラスレベルの動的収縮 ($\alpha_k$):

   • 静的なスカラー $\alpha$ の代わりに、MOONはゼロショット事前分布から導出されたクラス固有の重み $\alpha_k$ を採用します。
   • $\alpha_k$ は、平均的なゼロショット確信度と最大ゼロショット確信度の幾何平均として定義される、クラスの確信度（$\lambda_k$）に反比例します。
   • 効果: 確信度が高いクラス（存在する可能性が高いクラス）は、モデルが経験的データからより多く学習することを許容しますが（$\beta_k \to 1$）、確信度が低い、あるいは外れ値となるクラス（存在しない可能性が高いクラス）は、アンカーに向かって強く収縮するように強制されます（$\beta_k \to 0$）。これにより、存在しないクラスからのネガティブ・トランスファーを軽減します。

3. 最適化:

   • 手法は、ソフトなラベル割り当て（$z$）と混合パラメータ（$\mu, \kappa$）の更新を交互に行う**ブロック逐次最小化（Block Successive Minimization: BSUM）**アルゴリズムを使用します。
   • 更新は閉形式（closed-form）で導出されるため、計算効率が保証されています。アルゴリズムは極めて迅速に収束し、多くの場合、数回のイテレーションで完了します。

3. 主な貢献

1. 新しい理論的視点: 本論文は、クラス不均衡下における既存の転移的手法の脆弱性を体系的に分析しています。KLアンカー付きのPLEが本質的に適応的収縮を提供することを証明し、アンカリングの欠如と静的な収縮モデリングが、現実的な設定における失敗の根本原因であることを特定しました。
2. 新しい手法（MOON）: vMF混合分布と、インスタンスおよびクラスの両レベルでの動的かつデータ駆動型の収縮を組み合わせた新しいフレームワーク。この設計は、タスク固有のハイパーパラメータ調整を必要とせずに、信頼性の低い割り当てを効果的に抑制し、外れ値クラスからの有害な更新を防ぎます。
3. 実証的検証: 11のデータセットと2つの現実的な設定（限定的な有効クラスを持つバッチ適応、および非i.i.d.ストリームを持つオンライン適応）にわたる広範な実験により、本アプローチを検証しています。

4. 実験結果

MOONは、CLIP ViT-B/16およびその他のバックボーンを用い、最先端のベースライン（TransCLIP、StatA、ADAPT、および各種オンラインTTA手法を含む）と比較して評価されました。

• 性能: MOONは一貫してベースラインを上回っています。深刻なクラス不均衡（非常に低い $K_{eff}$）を伴うバッチ適応下のImageNetにおいて、MOONはゼロショットCLIPの性能を**16.2%向上させ（82.8%に到達）、最強のベースラインであるStatAを8.8%**大幅に上回りました。また、様々な不均衡シナリオにおける10のデータセットで最先端の結果を達成しています。
• 効率性: MOONはトレーニングフリーであり、非常に効率的です。数千のサンプルを数十ミリ秒で処理し、標準的なCLIPの推論レイテンシのわずか**3.3%**しか必要としません。高価な勾配逆伝播や、一部のガウスベースの手法で必要とされる内部ループの最適化を回避しています。
• 堅牢性: 本手法は、異なるバッチサイズ、モデルアーキテクチャ（ResNet、ViT）、およびVLMスケール（最大1.1Bパラメータ）にわたって堅牢性を示しています。クラスの疎性が予測不能に変動する「Random」シナリオにおいても、性能を維持します。
• 収束: 分析によれば、MOONは迅速に収束（多くの場合3イテレーション以内）しますが、アンカリングメカニズムを持たない手法は、イテレーションが進むにつれて発散または崩壊する傾向があります。

5. 意義と主張

本論文は、クラス分布が未知で不均衡な現実世界のシナリオにおいて、MOONが実用的、効果的、かつ効率的なソリューションを提供すると主張しています。

• 実用性: ブラックボックスの仮定の下で動作し、タスク固有のチューニングを必要としないため、MOONはシームレスなデプロイメントに適しています。
• 信頼性: クラス不均衡設定におけるクリティカルな問題であるネガティブ・トランスファーに対処し、VLMが疎な、あるいは偏ったデータストリームに遭遇しても性能が低下しないことを保証します。
• 汎用性: vMF分布の使用とPLEによる理論的裏付けにより、本アプローチは特定の基礎となる視覚エンコーダーに依存しない、VLMを強化するための汎用的なソリューションであることを示唆しています。

著者らは、動的な収縮を伴う罰則付き尤度推定を通じて転移を体系的に再検討することにより、MOONが理論的な堅牢性と実用的な効率性の間の溝を埋めることに成功したと結論付けています。