技術的概要：対照的表現学習の統計的一貫性と一般化

問題定義

対照的表現学習（CRL）は、正のペアを近づけ負のペアを遠ざける対照的目的関数の最小化を通じて汎用的な表現を学習することを可能にする、現代の基盤モデルの多くのための基礎的パラダイムである。その経験的成功にもかかわらず、既存の理論的解析は以下の 3 つの決定的な限界に苦しんでいる：

1. 統計的一貫性の欠如： サンプルサイズが増大するにつれて、対照的損失の最小化が最適な下流性能（具体的には、最適なランキング/検索）への収束を保証するかどうかは、依然として十分に理解されていない。
2. 矛盾する一般化 bound： 既存の一般化 bound は、通常、負のサンプル数（$m$）が増加するにつれて劣化する（例：$O(m/\sqrt{n})$ や $O(\log m/\sqrt{n})$ としてスケーリング）。これは、大規模な負の集合（SimCLR や CLIP におけるものなど）が性能を著しく向上させるという経験的観察と矛盾する。
3. 限定的な検索焦点： 理論的関心は、主に分類指標や代理ギャップに集中しており、CRL の下流での有用性の中心である検索性能が軽視されてきた。

本論文は、統計的一貫性を確立し、較正風の不等式を導出し、負のサンプルの役割を正しく捉える一般化 bound を提供することにより、これらのギャップに対処する CRL の統一的な統計的学習理論の開発を目指す。

手法

1. 枠組みと定義

著者は、2 つのモダリティ $X$ と $Y$ に対する CRL を形式化する。目的は、正のペア $(x, y)$ に負のペア $(x, y')$ よりも高いスコアを割り当てるスコアリング関数 $s_w: X \times Y \to \mathbb{R}$ を学習することである。集団リスクは以下のように定義される：
$$L(s_w) = \mathbb{E}_{x, y \sim p^+_x} \left[ \tau \log \mathbb{E}_{y' \sim p^-_x} \exp\left( \frac{\Delta_w(x, y, y')}{\tau} \right) \right]$$
ここで、$\Delta_w(x, y, y') = s_w(x, y') - s_w(x, y)$ である。

本論文は、2 つの学習レジームを区別する：

• 教師あり CRL（SCRL）： 負のサンプルは、各アンカーポイントに対して独立してサンプリングされる。
• 自己教師あり CRL（SSCRL）： 負のサンプルは、すべてのアンカーポイント間で共有される（CLIP などのモデルにおける一般的な設定）。

2. 統計的一貫性と較正

下流性能を評価するために、著者は、関連するアイテムが非関連なアイテムよりも上位にランクされる確率を表す、AUC 型の集団基準 $E(s)$ を採用する。

• フィッシャー一貫性： 本論文は、対照的損失 $L(s)$ の任意の最小化器が、検索指標 $E(s)$ の最大化器でもあることを証明する。具体的には、最適なスコアリング関数は $s^*(x, y) = \tau \log \frac{p^+_x(y)}{p^-_x(y)} + g(x)$ の形をとる。
• 較正不等式： 過剰な対照的リスクと過剰な検索の非最適性の間に、定量的な関係が確立される：
  $$E^* - E(s) \lesssim \sqrt{L(s) - L^*}$$
  この不等式は、上流の対照的目的関数の最小化が、直接的に最適な下流検索性能への収束を保証することを示している。

3. 誤差分解による一般化解析

核心的な手法上の革新は、対照的損失の構成的構造を分析するために、一般化ギャップを内側誤差と外側誤差に分解することにある：

• 外側誤差： $n$ 個のアンカーポイント（正のペア）をサンプリングすることから生じる。これはラデマハー複雑性を用いて解析され、$O(1/\sqrt{n})$ としてスケーリングする。
• 内側誤差： 有限の $m$ 個の負のサンプルの集合を用いて、負のサンプルの完全な集団にわたる期待値を近似することから生じる。
  • SCRL の場合、内側誤差は確率的最小化問題として再定式化される。経験的リスク最小化（ERM）に対するアルゴリズム的安定性理論を活用することで、著者は $O(1/m)$ の bound を導出する。
  • SSCRL の場合、負のサンプルが共有されるため、内側誤差は $n$ と $m$ の両方に依存する経験的量として扱われる。一様収束理論を用いて、bound は $O(1/\sqrt{m})$ として導出される。

4. 一般損失への拡張

この枠組みは、**最適化された確実性等価（OCE）**および一般的なペアワイズ損失関数に基づく、より広範なクラスの損失に拡張される。この一般化により、不快度関数が特定の凸性とリプシッツ条件を満たす限り、標準的な log-sum-exp 損失を超えて理論的洞察が妥当であることが確認される。

主要な結果

1. 統計的一貫性

本論文は、CRL が最適なランキング目的関数と統計的一貫性があることを厳密に証明する。対照的リスクがその下限に収束するにつれて、検索性能はその上限に収束する。これは、対照的事前学習が可能な限り最良の下流予測子をもたらすかどうかという根本的な問いを解決する。

2. 精緻化された一般化 Bound

導出された bound は、負のサンプル数 $m$ に関する先行研究の誤解を正す：

• 教師あり CRL： 一般化 bound は $O(1/m + 1/\sqrt{n})$ である。
• 自己教師あり CRL： 一般化 bound は $O(1/\sqrt{m} + 1/\sqrt{n})$ である。

これらの結果は、負のサンプル数 $m$ を増加させることが一般化性能を向上させることを示しており、経験的実践と一致する。さらに、bound は $m$ と $n$ の間の明示的なトレードオフを明らかにする：一般化誤差は、2 つの項のうち大きい方によってボトルネックとなる。

3. 経験的検証

大規模な視覚言語モデル（CLIP）を用いた実験は、理論的予測を裏付けている。結果は、$m$ が増加するにつれて性能が向上することを示すが、$m$ が $n$ に対する臨界閾値を超えると、最終的に飽和することが示された。この臨界サイズ $m^*(n)$ の経験的スケーリングは、$\sqrt{n}$ と $n$ の間に存在することが観察され、導出された理論的トレードオフと一致する。

意義と主張

本論文は、現代の基盤モデルの文脈において、統計的一貫性、較正、一般化を同時に扱う、CRL に対する最初の統一的な統計的学習理論を提供すると主張する。

• 理論的解決： 既存の理論（大規模な負の集合が一般化を害すると示唆していたもの）と、それらが役立つという経験的現実との間の矛盾を、アンカーのサンプリングと負のサンプリングを分離する精緻化された誤差分解を導入することで解決する。
• 下流保証： 較正風の不等式を確立することにより、対照的損失の最小化が最適な検索性能につながる理由に対する原理的な理論的根拠を提供する。これは、以前は厳密な証明が欠けていた性質である。
• 実践的洞察： 導出された $m$ と $n$ の間のトレードオフは、大規模モデルのトレーニングに対する実行可能な指針を提供する。負のサンプルとアンカーサンプルの特定の比率に達した後、さらなる利益を得るためには、単に負のサンプルを追加するのではなく、アンカーデータセットのサイズを増やす必要があることを示唆している。

著者は、この作業を、代理ギャップ解析を超えて、下流の検索最適性の直接的な特徴付けへと移行する、対照的事前学習の統計的挙動を理解するための基礎的な一歩として位置づけている。