CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection

CRoFT の技術的概要：OOD 汎化とオープンセット OOD 検出のための並列最適化によるロバストなファインチューニング

問題定義
最近のビジョン・言語事前学習モデル（VL-PTM）、例えば CLIP は、オープンボキャブラリータスクにおいて顕著な成功を収めています。しかし、これらのモデルを実世界のシナリオで展開するには、下流タスク向けにファインチューニングを行うことがしばしば必要となります。このプロセスは重大な課題をもたらします。すなわち、標準的なファインチューニングはモデルの一般知識を歪め、分布シフトへの対応能力を損なう可能性があるという点です。実世界の環境は、2 種類の明確な分布シフトを呈します：

1. 共変量シフト（クローズドセット OOD）： 画像のスタイルや環境の変化であり、クラスラベルは訓練データと同じであるもの（例：スケッチスタイルの犬）。
2. 意味的シフト（オープンセット OOD）： 訓練中には見られなかったテスト時のクラスの存在（例：犬で訓練されたモデルがパンダを扱う場合）。

既存のファインチューニング手法は、通常、共変量シフトへのロバスト性向上（OOD 汎化）または未見クラスの検出（オープンセット OOD 検出）のいずれかに焦点を当てており、両者を同時に扱うことには失敗しがちです。さらに、エネルギーベースの検出手法は、クローズドセット ID データとオープンセット OOD データのエネルギー分布が著しく重なり、識別が困難であるため、しばしば苦労します。本論文は以下の問いに答えます：VL-PTM をどのようにファインチューニングすれば、クローズドセット OOD データへの汎化を向上させつつ、同時にオープンセットの未見クラスを効果的に検出できるか？

手法
著者は、OOD 汎化とオープンセット OOD 検出の並列最適化を可能にする統合ファインチューニングフレームワーク CRoFT を提案します。この手法は以下の 3 つの中核コンポーネントに基づいています：

1. エネルギー分布再構成（EDR）損失：
   分布内（ID）データ上のエネルギースコアを直接最小化する代わりに、著者はエネルギースコアの勾配の大きさの最小化を提案します。理論的には、エネルギースコアの勾配の大きさの最小化（$\nabla_\theta E_\theta(x) \to 0$）は、分類損失のドメイン一貫性を持つヘッシアンをもたらします。この EDR 損失は、エネルギー項の log-sum-exp の勾配ベクトルのノルム二乗の最小化として定式化されます。このアプローチは、分類精度を犠牲にすることなく、既知のクラスと未知のクラスをよりよく区別できるようにエネルギー分布を再構成します。

2. ヘッシャーンに基づく OOD 汎化 bound：
   理論的分析を通じて、著者は EDR 損失と OOD 汎化の間の関連性を確立します。彼らは、EDR 損失がドメイン一貫性を持つヘッシアンを誘発し、これが最悪のシナリオにおけるクローズドセット OOD テストデータでの汎化性能を bound することを示しています。具体的には、ソースドメインとターゲットドメイン間の性能ギャップは、最悪の共変量シフトデータ上の経験的リスクと、リスク関数の曲率（ヘッシアン）に関連していることを示す汎化 bound を導出しています。

3. 並列最適化フレームワーク：
   導出された汎化 bound を最小化するために、CRoFT は敵対的学習戦略を採用します。これは、ID 特徴とは異なるが意味情報を保持する「最悪のケース」の共変量シフト画像特徴を生成します。フレームワークは、以下の統一目的関数の最適化を行います：

   • ID 特徴に対する標準的な分類損失。
   • 生成された最悪のケース OOD 特徴上で最適化され、ロバスト性を高める損失（$L_c$）。
   • 両方の ID 特徴と生成された OOD 特徴に適用され、エネルギー分布を再構成する EDR 損失（$L_e$）。

   このフレームワークは、計算効率を確保するために、凍結された CLIP エンコーダに 1 層の線形投影/アダプタを注入する軽量ファインチューニングを利用します。

主な貢献

• 統合フレームワーク： CRoFT は、VL-PTM のファインチューニング中に、クローズドセット OOD 汎化とオープンセット OOD 検出を同時に最適化する最初のフレームワークです。
• 理論的洞察： 本論文は、エネルギースコアの勾配の大きさの最小化（EDR 損失）がドメイン一貫性を持つヘッシアンをもたらし、それによって OOD 汎化誤差を理論的に bound することを証明しています。これは、OOD 検出と OOD 汎化の間の隠れた関連性を明らかにします。
• 新規損失関数： エネルギー値だけでなく、勾配の大きさを最小化することでエネルギー分布を再構成する EDR 損失の導入は、ID データと OOD データの分離を改善します。
• 敵対的生成： 分布シフトに対してモデルを明示的に訓練するために最悪のケースの共変量シフト特徴を生成し、ロバスト性を向上させます。

実験結果
2 つの設定で広範な実験が行われました：

• 設定-I： 40% のクローズドセットクラスと 60% のオープンセットクラスからなる大規模な ImageNet 変種。これには共変量シフトデータセット（ImageNet-A, R, Sketch, V2）が含まれます。
• 設定-II： ドメイン汎化データセット（PACS, VLCS）をクローズドセットとして、他のデータセット（Caltech101, DTD, Food101）をオープンセットとして使用するクロスデータセット評価。

主要な発見：

• オープンセット検出： CRoFT は、CoOp、CoCoOp、CLIP-Adapter、Tip-Adapter-F などの最先端ファインチューニング手法を大幅に上回ります。設定-I では、ゼロショット CLIP と比較して FPR95（95% 再現率における偽陽性率）が最大 25.3% 削減 され、他のファインチューニング手法と比較してオープンセットの未見クラス検出が最大 20% 改善 されました。
• OOD 汎化： CRoFT は、ImageNet-Sketch や ImageNet-A などのクローズドセット OOD テストセットにおいて、既存の手法と同等かそれ以上の汎化性能を示します。
• アブレーション研究： EDR 損失（$L_e$）または敵対的損失（$L_c$）のいずれかを除去すると、両タスクの性能が低下し、並列最適化の必要性が検証されました。
• 特徴可視化： t-SNE 可視化とエネルギー分布プロットは、CRoFT が ID と OOD のエネルギー分布間の重なりを成功裡に減少させ、オープン対クローズドの識別のためにより明確な特徴表現を学習していることを示しています。

意義と主張
本論文は、CRoFT が既知の分布シフトと未知のクラスの両方を同時に処理できるようにすることで、VL-PTM の展開における重要なギャップを埋めると主張しています。著者は、EDR 損失によるオープンセット検出の最適化が本質的に OOD 汎化を改善するという理論的発見が、ロバストなファインチューニングのための新たな方向性を提供することを強調しています。この手法は、環境変化下で既知のクラスにおける精度を維持することと同様に、未見クラスの検出が極めて重要な高リスクアプリケーション（例：自動運転、医療画像診断）に対する実用的な解決策として提示されています。さらなる研究を促進するため、コードは公開されています。