LoFT: 開かれた世界におけるパラメータ効率型ファインチューニングによる長尾半教師あり学習の技術的サマリー

本論文は、長尾分布（Long-Tailed Distribution）と半教師あり学習（Semi-Supervised Learning, SSL）が組み合わさった「長尾半教師あり学習（LTSSL）」の課題を、基盤モデル（Foundation Models）のファインチューニングを用いて解決する新たなフレームワークLoFT（Long-Tailed semi-supervised learning via parameter-efficient Fine-Tuning）を提案するものです。さらに、現実世界の複雑な条件（分布外データを含む）を想定した「開かれた世界（Open-World）」シナリオに対応するLoFT-OWも提案しています。

以下に、問題定義、手法、理論的根拠、実験結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

1.1 長尾半教師あり学習（LTSSL）の課題

現実世界のデータは、少数の「ヘッドクラス（多数派）」が大部分を占め、多くの「テールクラス（少数派）」が限られたサンプルしか持たない長尾分布に従うことが多いです。LTSSL は、ラベル付きデータ（長尾分布）と大量のラベルなしデータを組み合わせてモデルを学習させる手法ですが、既存のアプローチには以下の重大な課題があります。

• ゼロから学習する（Training from Scratch）限界: 従来の CNN ベースの手法はゼロから学習させることが多く、テールクラスのサンプル不足により一般化誤差が大きくなります。
• 過信（Overconfidence）と偽ラベルの質: 不均衡な分布下ではモデルが誤った予測に対しても高い確信度を示す傾向（過信）があり、これにより低品質な偽ラベル（Pseudo-labels）が生成されます。これが自己学習（Self-training）プロセスを誤った方向へ導く悪循環を引き起こします。
• 分布の均一性への非現実的な仮定: 既存の多くの手法は、ラベル付きデータとラベルなしデータが同じクラス空間（分布）を持つと仮定しています。しかし、現実（例：野生生物の分類など）では、ラベルなしデータに学習対象に含まれない「分布外（OOD: Out-of-Distribution）」サンプルが含まれることが多く、これを無視するとモデルの性能が劣化します。

2. 提案手法：LoFT と LoFT-OW

著者らは、大規模データで事前学習された**基盤モデル（Foundation Models, FMs）**を、パラメータ効率型ファインチューニング（PEFT）を用いて LTSSL に適用する枠組みを提案しました。

2.1 理論的動機付け

提案手法の背景には、以下の理論的な洞察があります。

1. 仮説複雑性の低減: PEFT（アダプターやヘッド部分のみを学習）により探索空間を制限することで、テールクラスのサンプル不足を補い、一般化誤差の上限を厳密に抑えることができます。
2. バランス型事後誤差（BPE）の最小化: 一般化誤差の低減は、特にテールクラスにおける Worst-case リスク（BPE）を低下させ、より信頼性の高い偽ラベル生成を可能にします。
3. 特徴量の緊密性（Feature Compactness）: 事前学習済みモデルは特徴空間においてクラス内クラスタリングが密（コンパクト）であるため、OOD サンプルを受け入れる領域（Acceptance Region）が幾何学的に狭くなります。これにより、OOD ノイズを自然にフィルタリングする能力が備わります。

2.2 LoFT の仕組み（標準 LTSSL 設定）

• ベースモデル: CLIP や OpenCLIP などの視覚言語モデルを使用し、パラメータの一部のみをファインチューニングします。
• 損失関数:
  • ラベル付きデータ: ロジット調整（Logit Adjustment）を用いた教師あり損失。
  • ラベルなしデータ: 弱拡張ビューで生成された偽ラベルと、強拡張ビューでの予測を一致させる正則化損失。
• 確信度に基づく戦略: モデルの最大ソフトマックス確率（MSP）に基づき、高確信度サンプルには「ハード偽ラベル（クラス名）」を、低確信度サンプルには「ソフト偽ラベル（確率分布）」を割り当てます。これにより、不確実性を考慮しつつ過学習を防ぎます。

2.3 LoFT-OW の仕組み（開かれた世界設定）

ラベルなしデータに OOD サンプルが含まれる現実的なシナリオに対応するため、2段階のフィルタリング機構を導入します。

1. ゼロショットフィルタリング: 事前学習済みモデルのゼロショット能力を用い、高い確信度を持つサンプルのみを初期候補として抽出します。
2. ファインチューニング後の OOD 検出: 学習中のモデルの MSP を閾値と比較し、OOD と思われるサンプルを除外します。
   • これにより、分布外ノイズが特徴学習に悪影響を与える「ネガティブ転移」を防ぎ、表現学習の純度を維持します。

3. 主要な貢献

1. 理論的貢献: 基盤モデルのファインチューニングが、仮説複雑性を低減し、BPE を最小化することで、テールクラスにおける偽ラベルの信頼性を理論的に保証することを示しました。
2. 実用的な拡張（LoFT-OW）: 分布外データを含む開かれた世界シナリオを LTSSL に導入し、組み込み型の OOD 検出メカニズムにより、現実世界のノイズに強いモデルを構築しました。
3. 高性能な実証: 複数のベンチマーク（CIFAR-LT, ImageNet-LT）において、従来のゼロから学習する手法や既存の LTSSL 手法を凌駕する性能を達成しました。特に、ラベルなしデータの 10% しか使用しない条件下でも優れた性能を発揮しています。

4. 実験結果

4.1 実験設定

• データセット: CIFAR-100-LT, ImageNet-127（長尾分布）。
• OOD データ: COCO データセットをラベルなしデータに混合し、開かれた世界シナリオをシミュレート。
• ベースライン: FixMatch, ACR, BEM, TCBC, CPE, CCL などの既存手法と比較。
• 基盤モデル: CLIP, OpenCLIP。

4.2 結果の要点

• 精度の向上: CIFAR-100-LT および ImageNet-127 において、LoFT は既存の最良手法（SOTA）を上回る精度を達成しました。例えば、ImageNet-127 において、LoFT-OW は 74.2% の精度を記録し、FixMatch+CCL (67.8%) や ACR (63.6%) を大きく上回りました。
• データ効率: 従来の手法が大量のラベルなしデータを必要とするのに対し、LoFT-OW はラベルなしデータの 10% 程度でも同等以上の性能を発揮し、計算コストとデータ収集コストの削減に寄与します。
• OOD 検出能力: 事前学習済みモデルの持つ特徴量の緊密性により、OOD サンプルを高い精度で検出・排除できることが確認されました（Table 1 の OOD 検出タスク結果）。
• 較正性（Calibration）: 図 2 に示されるように、ゼロから学習するモデルに比べて、LoFT は特にテールクラスにおいて過信が抑えられ、確信度と精度の一致（較正）が大幅に改善されています。

5. 意義と結論

本論文は、LTSSL の分野において「ゼロから学習するパラダイム」から「基盤モデルのファインチューニング」への転換を提案し、その有効性を理論的・実験的に証明しました。

• 理論的意義: 仮説複雑性の制御が、長尾分布における一般化誤差と偽ラベルの質を決定づけることを示しました。
• 実用的意義: 現実世界では避けられない「分布外データ」の問題を、追加の複雑なモジュールなしに、基盤モデルの持つ幾何学的特性（特徴量の緊密性）によって自然に解決する LoFT-OW を提案しました。

LoFT と LoFT-OW は、不均衡データと不完全なラベル環境下での学習において、よりロバストでスケーラブルな新しい基準（Standard）を確立する可能性を秘めています。