技術要約: USE – テスト時プロンプトチューニングのための統一自己アンサンブル・フレームワーク

1. 問題提起

CLIPなどの視覚言語モデル（VLM）は、ゼロショット設定において強力な汎化性能を示しているが、ダウンストリームタスクにおける分布シフトに対して脆弱である。テスト時適応（TTA）は、ラベルのないテストサンプルを活用することで解決策を提供するが、既存の手法は多くの場合、最適化段階と推論段階の間で不一致が生じるという課題を抱えている。

具体的には、先駆的なテスト時プロンプトチューニング（TPT）手法は、拡張されたビューの平均予測に対する周辺エントロピーを最小化することで、テキストプロンプトを最適化する。しかし、TPTおよびその派生手法は、通常、最終的な推論には「弱い」拡張（元の画像）を使用する一方で、最適化段階では「強い」拡張の平均を利用する。この乖離は、擬似ラベルとして使用されるものと最終的な予測戦略との間のミスマッチを生み出す。さらに、既存のアプローチは、ゼロショット分類において元の画像が特定の拡張ビューよりも信頼性が高いという証拠があるにもかかわらず、擬似ラベルの構築において元のテスト画像を過小評価、あるいは除外してしまうことが多い。

2. 手法

本論文では、一貫した自己アンサンブル戦略を通じて最適化段階と推論段階を統一するフレームワークであるUSE (Unified Self-Ensembling) を提案する。

2.1 TPTを自己学習として再解釈する

著者らはまず、TPTの目的関数を再解釈する。補助分布 $q$（平均予測のストップグラディエント版）を導入することにより、周辺エントロピー最小化の目的関数は、逆クロスエントロピー（RCE）項とKLダイバージェンス項に分解される。$q$ が固定されているとき、KL項は最適化されないため、目的関数は実質的にRCEを最小化することに帰着する。これにより、TPTは、選択された低エントロピーの拡張ビューからの予測を平均化することで構築された、自己生成の擬似ラベルから暗黙的に学習していることが明らかになる。

2.2 自己アンサンブル (SE) 戦略

これらの擬似ラベルの品質を向上させるために、著者らは自己アンサンブル (SE) 戦略を導入する。実証的な分析によれば、強い拡張は有用であるが、弱い拡張（元のテスト画像）も独特の価値を持っており、破棄すべきではないことが示されている。

SE戦略は、弱い拡張 ($p_w$) と強い拡張 ($p_s$) の両方からの予測を動的に集約する。エントロピーに基づく重み係数 $\beta$ を用いて、テスト画像の寄与度を適応的に調整する：

1. ランキング: 弱い拡張の相対的な自己エントロピー・ランク $\delta$ が、強い拡張の集合に対して計算される。
2. 重み付け: 線形関数を用いて $\delta$ を重み $\beta$ （0.3から0.7の間に制約）へと再スケールする。もし弱い拡張がほとんどの強い拡張よりも低いエントロピー（高い確信度）を持つ場合、より高い重みが割り当てられる。
3. 擬似ラベルの構築: 最終的な擬似ラベル $q(x)$ は次のように計算される：
   $$q(x) = \beta \cdot p_w(x) + (1 - \beta) \cdot p_s(x)$$

2.3 統一フレームワーク (USE)

USEは、TTAの2つの段階間の一貫性を確保する：

• 最適化段階: テキストプロンプトは、SE戦略によって生成されたターゲット擬似ラベル $q(x)$ を用いたRCE損失を用いて最適化される。
• 推論段階: TPTが弱い拡張のみに基づいて予測を行うのに対し、USEは同じSE戦略を適用して最終的な予測 $\hat{p}(x)$ を生成する。これにより、擬似ラベル推定の目的と最終的な推論が統一される。

さらに、著者らは計算コストを削減するためにスキップ技術を導入している。弱い拡張からの予測が選択された強い拡張と同一である場合、その予測は信頼できるとみなされ、最適化ステップがスキップされる。

注目すべきは、SE戦略は最適化を必要としない最適化フリーのTTA手法としても独立して機能できる点である。

3. 主な貢献

• TPTの再解釈: 本論文は、TPTがストップグラディエント・ターゲットに対する逆クロスエントロピー損失として周辺エントロピー目的関数を枠組み化することで、暗黙的に自己生成の擬似ラベルから学習していることを明らかにしている。
• 自己アンサンブル (SE): 弱い拡張と強い拡張を適応的に重み付けして、より信頼性の高い擬似ラベルを生成する、シンプルかつ効果的な戦略。これは、最適化を必要としないスタンドアロンのTTA手法としても機能する。
• 統一フレームワーク (USE): SE戦略を両方の段階に適用することで、最適化目的と推論目的を一致させ、一貫性を確保するTTAフレームワーク。
• プラグアンドプレイ能力: SEは軽量なモジュールであり、大きな計算オーバーヘッドなしに性能を一貫して向上させるために、既存のTTA手法に統合できることが示されている。

4. 実験結果

著者らは、ViT-B/16およびResNet-50バックボーンを用い、ImageNet、その分布外（OOD）バリアント（ImageNet-A, V2, R, Sketch）、および10個の微細分類（fine-grained）データセット（例：DTD, Flowers102, EuroSAT）において、USEおよびSEを評価した。

• 性能:
  • 最適化フリー: SEは、最適化フリーの手法の中で最高または2番目に優れた結果を達成し、CLIP、MTA、ZEROを上回った。ResNet-50バックボーンにおいて、SEはOODデータセットで平均47.80%の精度を達成し、多くの最適化ベースの手法を凌駕した。
  • 最適化ベース: USEは、TPT、C-TPT、R-TPT、STSといったベースラインを一貫して上回った。ViT-B/16を用いた微細分類データセットにおいて、USEは平均精度を64.84% (TPT) から65.35%へと向上させた。
  • 堅牢性: より強力なプロンプト初期化であるCoOpで初期化した場合でも、SEとUSEはトップクラスの性能を維持し、異なる事前学習構成に対する堅牢性を示した。
• 統合: SEを既存の手法（TPT, C-TPT, R-TPT, STS）にプラグインモジュールとして統合することで、一貫して精度の向上が得られた。例えば、SEをC-TPTに加えることで、IN&O精度は61.09%から64.27%に上昇した。
• 効率性:
  • SEは非常に効率的であり、サンプルあたり0.059秒、メモリ1.06 GBを必要とし、これはCLIPの64回のフォワードパスに匹敵するが、より高い精度を実現している。
  • スキップ技術を利用するUSEは、画像1枚あたりの平均テスト時間を0.144秒に短縮した。60%以上のテストサンプルが、精度を低下させることなくスキップされた。

5. 意義と主張

本論文の主な意義は、USEが最適化目的と推論目的を統一している点にある。擬似ラベルの構築に最終的な推論と同じ戦略を用いることで、USEはTTA手法によく見られる性能のギャップを解消している。

著者らは以下を強調している：

1. 一貫性が鍵: 性能向上は、主に両方の段階でSE戦略によって提供される一貫性に起因している。
2. 単純さと有効性: SE戦略は、複雑な学習目的や追加のパラメータを必要としない、シンプルでエントロピーベースの重み付けメカニズムであるが、実質的な性能向上をもたらす。
3. 汎用性: 本フレームワークは多用途であり、最適化を必要としないスタンドアロンの手法としても、最適化ベースの手法の整合性のある強化策としても効果的に機能する。

結論として、本手法は複数の拡張を生成するため、ある程度の計算オーバーヘッドを伴うものの（エピソディックなTTAに共通する特性）、スキップ技術の使用と高い精度向上により、VLMの分布シフトに対する堅牢性を向上させるための実用的かつ効果的なアプローチとなっている。