技術要約：ガウス特徴ブリッジを用いた長尾分布における半教師あり学習のための幾何学的正則化

1. 問題設定

現実世界の半教師あり学習（SSL）は、長尾型のラベル分布およびノイズの多い擬似ラベルを扱う際に重大な障壁に直面します。このようなシナリオにおいて、標準的なSSL手法は、支配的な（ヘッド）クラスが学習信号を独占し、マイノリティ（テイル）クラスの学習不足や意味的ドリフトを引き起こす確証バイアス（confirmation bias）に陥ることがよくあります。既存のアプローチは、再重み付けやキャリブレーションなどの出力レベルまたはロジットレベルでの対処を行っていますが、不確実な無ラベルサンプルの中間的な特徴レベルの意味構造を信頼できるクラス表現と整合させるメカニズムが欠けています。核心となる課題は、多数派クラスへのバイアスを悪化させることなく、疎でノイズの多い無ラベル特徴を信頼できる監督信号へと変換することです。

2. 手法：ガウス・フィーチャー・ブリッジング（GBC）

著者らは、学習プロセスを2つの分布間の確率的な補間として扱うシュレディンガー・ブリッジ理論に着想を得た、**ガウス・フィーチャ・ブリッジング（GBC）**というフレームワークを提案しています。GBCは、潜在的な特徴空間内に滑らかな意味的経路を構築することで、学生モデルを不確実な予測から信頼できるクラス・プロトタイプへと導きます。

2.1 コア構成要素

• 動的プロトタイプ・アトラス (PA):

  • クラスごとにインデックス化された、多様なラベル付きおよび高信頼度の擬似ラベル付き例（アンカー）を格納するメモリバンク。
  • PAは、古いアンカーを破棄するための時間的減衰メカニズムを用いて動的に更新され、多様性を確保するためにコサイン距離の閾値を使用します。
  • これは、意味的ブリッジの信頼できる「終点」のソースとして機能します。

• ガウス特徴ブリッジング (Gaussian Feature Bridging):

  • 予測分布 $\hat{q}_u$ と、PA内の対応するクラスアンカー $f_{kp}$ を持つ無ラベルサンプル $x_u$ に対して、GBCは潜在空間内にガウス特徴ブリッジを構築します。
  • ブリッジは以下の確率的経路として定義されます：
    $$f_t = (1 - g(t)) f_u + g(t) f_{kp} + \sigma(t) \varepsilon$$
    ここで、$g(t)=t$ は単調な軌道を保証し、$\sigma(t)$ はノイズ・スケジュール、$\varepsilon \sim \mathcal{N}(0, I)$ です。
  • 融合 (Fusion): ブリッジされた特徴 $f_t$ は、重み係数 $\omega(t) = 4t(1-t)$ を用いた残差スタイル的な更新によって、学生の隠れ表現へとソフトにマージされます。この係数は、意味的な不確実性が最も高い中間状態を強調します。

• ブリッジ一貫性損失 (Bridge Consistency Loss):

  • サンプルとアンカーの対数確率の幾何学的補間を通じて、ソフトターゲット分布 $q_t$ が生成されます：
    $$q_t = \text{softmax}((1-t)\log \hat{q}_u + t \log \hat{q}_{kp})$$
  • 損失は、ブリッジされた特徴に対する学生の予測と、この補間されたターゲットとの一貫性を強制します：
    $$\mathcal{L}_{bridge} = \mathbb{E}_{x_u, t} [w_c \cdot \omega(t) \cdot \text{KL}(q_t \| p_\theta)]$$
  • テイルカテゴリを強調するために、クラス認識の重み $w_c$ が適用され、モデルがマイノリティクラスを無視することを防ぎます。

2.2 BridgeMix: 信頼度を考慮した特徴混合

さらなる監督と多様性を高めるために、著者らはGBCに特化したMixUpの変種であるBridgeMixを導入しています。

• メカニズム: 特徴だけでなく、対応するアンカーも補間します。
• 信頼度によるガイダンス: 混合係数 $\lambda_i$ は、ペアとなるサンプルの擬似ラベル信頼度（$o_i / (o_i + o_j)$）から導出されます。これにより、高信頼度のサンプルとアンカーが、低信頼度のサンプルの表現学習をガイドすることを保証します。
• 統合: BridgeMixは、元の損失定式化の中に平滑化されたブリッジパスを構築し、顕著な計算複雑性の増加を伴いません。

3. 理論的分析

本論文は、GBCを固有の幾何学的正則化器として位置づけ、理論的基礎を提供しています。

• 経路一貫性 (Pathwise Convergence): ブリッジ損失を最小化することで、モデルの予測が不確実な状態から信頼できるアンカー状態へと、連続的で滑らかな意味的経路に従うことが保証されます。
• 局所リプシッツ連続性 (Local Lipschitz Continuity): このフレームワークは決定境界に局所的なリプシッツ連続性を強制し、モデルを小さな特徴摂動に対して頑健にします。
• 決定境界の安定性: 理論的な証明により、GBCが決定境界の曲率を平坦化し、特徴ノイズに対する感度を低減することが示されています。
• 汎化誤差界 (Generalization Bound): BridgeMixについて、著者らは、信頼度に基づいた補間が仮説の複雑さと分布の不一致を減少させ、真のリスクの上界をタイトにすることを示す汎化誤差界を導出しています。

4. 実験結果

現実的な長尾型SSLプロトコル（ReaLTSSL）の下で、CIFAR10-LT、CIFAR100-LT、STL10-LT、ImageNet-127、および ImageNet-1K に関して広範な実験が行われました。

• パフォーマンス: GBCは、様々な不均衡比および無ラベル分布（一様、逆、ヘッド・テイル）において、最先端の手法（SimPro、Meta-Expert、DyTrimなど）を一貫して上回りました。
  • CIFAR10-LTにおいて、GBCは**92.30%**のTop-1精度を達成し、設定に応じてSimProを約0.6〜1.5%上回りました。
  • ImageNet-127 (64x64)において、GBCは**68.6%**という新たなSOTAを樹立し、Meta-Expertに対して1.2%、SimProに対して1.6%向上しました。
  • ImageNet-1Kにおいて、GBCは**27.5%**を達成し、Meta-Expertに対して2.1%の大幅な改善を見せました。
• アブレーション研究:
  • ブリッジ損失を除去すると、パフォーマンスが大幅に低下します（例：CIFAR10-LTにおいて92.3%から86.1%へ）。
  • ガウスノイズ ($\nu$) は極めて重要であり、適度なノイズ ($\nu=0.10$) が探索と意味保持の最適なトレードオフをもたらします。
  • プロトタイプ・アトラスの容量は、最適な範囲（データセットの2%〜8%）を示しています。アンカーが少なすぎると多様性が制限され、多すぎると冗長性が導入されます。
• 効率性: GBCは、FixMatchと比較して無視できる程度の計算オーバーヘッド（実行時間の**+1.7%**）と、わずかなパラメータの増加（約0.5M）しか導入せず、スケーラビリティを維持しています。
• 可視化: t-SNEによる可視化は、GBCがベースラインと比較して、特にテイルクラスにおいて、よりコンパクトで分離されたクラスターを生成することを示しています。

5. 意義と主張

本論文は、GBCが深刻な長尾条件下での半教師あり学習に対する、堅牢でスケーラブル、かつ数学的根拠に基づいた解決策を提供すると主張しています。その主な意義は以下の通りです：

1. パラダイムの転換: ロジットレベルの補正から、不確実な特徴と信頼できるプロトタイプ間の遷移ダイナミクスを明示的にモデル化する、幾何学的な特徴空間の正則化へと移行しています。
2. 確証バイアスの軽減: クラス条件付きの補間パスを構築することにより、GBCはノイズの多い拡張された特徴を信頼できるアンカーへと効果的に引き寄せ、データが乏しいテイルカテゴリの学習を安定させます。
3. 理論的厳密性: 手法が幾何学的な滑らかさを強制し、汎化誤差界を改善することを形式的な証明によって示しており、これはヒューリスティックに基づいたアプローチと一線を画しています。
4. 実用性: 複雑な幾何学的輸送の概念を最小限の計算コストで実装できることを示し、大規模な実世界のアプリケーションへの適用可能性を証明しています。

著者らは、GBCがSSLを確率的幾何学の観点から捉え、最適輸送と一貫性学習を橋渡しすることで、幾何学を考慮した半教師あり表現学習の統一理論への道を開くものであると結論付けています。