技術的サマリー：マルティンゲール整合性を持つ自己教師あり学習

問題定義

自己教師あり学習（SSL）は、情報の利用可能性が動的である状況、例えばより短い履歴、欠落した特徴量、または部分的に観測された画像を扱う場合に広く展開されています。これらの設定において、モデルはしばしば複数の「情報集合」（例：粗い視点と洗練された視点）に対して照会されます。そのようなモデルに対する基本的な要件は整合性です：粗い情報集合下での予測は、洗練後の予測の期待値と一致すべきです。

数学的に、$F_1 \subseteq F_2$ がネストされた情報集合（$F_2$ は $F_1$ より多くの情報を含む）を表し、$g_\phi(x_F)$ が予測器である場合、マルティンゲール性質は以下を規定します：
$$E[g_\phi(x_{F_2}) \mid x_{F_1}] = g_\phi(x_{F_1})$$
これは、追加情報を観測する前に、モデルが将来の予測が系統的に上方または下方にシフトすることを期待してはならないことを意味します。標準的な SSL 目的関数（対比学習、マスク付き再構成など）は、通常、個々の視点に対して独立に予測器を訓練するか、不変性（視点を類似させること）を強制します。それらはこの方向的な整合性を強制せず、特定の視点では良好に機能するが、ネストされた情報集合全体にわたるグローバルな整合性を欠くモデルにつながる可能性があります。

手法

著者らは、マルティンゲール性質を訓練目的として強制するマルティンゲール整合性 SSL フレームワークを提案します。

1. 目的関数

総損失関数は、標準的な予測損失とマルティンゲール整合性ペナルティを組み合わせます：
$$\mathcal{L}_{total} = \mathcal{L}_{pred} + \lambda_{imp}\mathcal{L}_{imp} + \lambda_{mart}\mathcal{L}_{mart}$$

• 予測項（$\mathcal{L}_{pred}$）： 洗練された（完全な）視点に適用される標準的な SSL 損失（例：分類クロスエントロピーまたは再構成 MSE）。
• マルティンゲール項（$\mathcal{L}_{mart}$）： この項はマルティンゲール恒等式からの逸脱にペナルティを課します。ネストされた情報集合 $F_1 \subseteq F_2$ のサンプリングを必要とします。損失は以下のように定義されます：
  $$\mathcal{L}_{mart} = \mathbb{E}_{F_1 \subseteq F_2} \left[ \| g_\phi(x_{F_1}) - \mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}] \|^2 \right]$$
• 補完損失（$\mathcal{L}_{imp}$）： 部分的な視点から完全な入力への条件付き分布を近似する補完器ネットワーク $q_\psi$ を訓練するために使用される補助損失。

2. 不偏な 2 標本モンテカルロ推定量

条件付き期待値 $\mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}]$ を直接計算することは困難です。単純なモンテカルロ平均は、分散によりバイアスを導入します。著者らは不偏な 2 標本推定量を提案します：

1. 粗い視点 $x_{F_1}$ が与えられたとき、学習済みの補完器 $q_\psi$ を用いて、条件付き独立な 2 つの洗練 $x^{(a)}_{F_2}$ および $x^{(b)}_{F_2}$ をサンプリングします。
2. 粗い予測 $u = g_\phi(x_{F_1})$ と、洗練された予測 $v_a = g_\phi(x^{(a)}_{F_2})$、$v_b = g_\phi(x^{(b)}_{F_2})$ を計算します。
3. 推定量は以下のようになります：
   $$\hat{\mathcal{L}}^{2MC}_{mart} = (u - v_a)^\top (u - v_b)$$
   理論的解析（付録 B.1）は、この推定量がマルティンゲール恒等式の二乗誤差に対して不偏であることを証明しています。

3. 実装バリエーション

このフレームワークは、主に 2 つの空間で具体化されます：

• 予測空間： マルティンゲールペナルティはモデルの出力予測に直接適用されます。
• 潜在空間： ペナルティはエンコーダの潜在表現（$z_{F_1}$ 対 $z_{F_2}$）に適用されます。これは、観測空間で整合性を強制することが非現実的な高次元データ（画像、長い系列）に特に有用です。
• EMA ターゲット： 訓練を安定させるため、洗練されたターゲット（$v_a, v_b$ または $z_a, z_b$）は、ネットワークの指数移動平均（EMA）コピーを使用して計算でき、移動ターゲットの不安定性を防ぎます。

主要な貢献

1. 構造的ギャップの特定： 本論文は、標準的な SSL が情報集合でインデックス付けされた条件付き期待値の族として予測器を扱うが、それらの間に必要な整合性関係（マルティンゲール性質）を強制することに失敗していることを特定しています。
2. 実用的な訓練レシピ： 著者らは、モダリティ固有の再設計なしにマルティンゲール整合性を強制する方法を導入します。これには、予測空間および潜在空間のペナルティと、確率的洗練に基づく不偏な 2 標本モンテカルロ推定量が含まれます。
3. 実証的検証： このフレームワークは、半自己教師あり（ラベルあり）および完全自己教師あり（ラベルなし）の設定の両方で、時系列、表形式、および画像のベンチマークにおいて評価されました。

実験結果

このフレームワークは、時系列（UCI HAR、Traffic、Stock）、表形式データ（Adult、Bank Marketing）、および画像（CIFAR-10、STL-10）を含む合成および実世界のデータセットでテストされました。

• 部分的観測下でのロバスト性： マルティンゲール整合性を強制することは、観測される情報の量が減少した場合（低完全性レベル $c \in \{0.05, 0.2, \dots, 0.8\}$）、ダウンストリームのプローブ精度を一貫して向上させました。
  • 時系列： 半自己教師あり設定において、マルティンゲール変種はすべての 7 つのデータセットで平均精度が最も高く、顕著な相対的改善（例：Character Trajectories で +155.6%、T-SIM-RC で +30.9%）を達成しました。
  • 表形式： マルティンゲール変種は、すべての 5 つの静的表形式データセットでベースラインを上回り、合成データでは最大 +34.1% の改善が見られました。
  • 画像： CIFAR-10 において、潜在マルティンゲール変種はベースモデルに対する平均精度を 0.311 から 0.383 へ（+23.2%）向上させました。
• 較正： マルティンゲール整合性で訓練されたモデルは、標準的な SSL に比べて、部分的観測下で著しく優れた較正（より低い期待較正誤差および任意時間後悔）を示しました。
• 違反の削減： 訓練目的関数は、特に低完全性領域において、マルティンゲール違反（粗い予測と期待される洗練された予測との間の不一致）を効果的に削減しました。
• 不変性との比較： 視点を同一に強制する標準的な整合性目的関数とは異なり、マルティンゲール整合性は、情報が明らかにされるにつれて予測が更新されることを許容しつつ、系統的なドリフトを防ぎます。

意義と主張

本論文は、マルティンゲール整合性が、さまざまなマスキングパターンまたはコンテキスト長さの下で展開される SSL モデルに対する確率的視点を提供すると主張しています。情報洗練下での期待値における一致を強制することにより、この手法は新しいデータが到着するにつれて予測が自然に更新されることを可能にしつつ、系統的なドリフトを防ぎます。

著者らは、これを SimCLR や BYOL などの標準的な目的関数では制約されていない情報を捉える構造的な帰納的バイアスとして位置づけています。これは、変化するコンテキスト長さおよび不完全な観測下で定期的に照会される基盤モデルにとって特に重要であると示唆されています。既存の目的関数は、そのような動的な展開に必要な整合性を明示的に強制していません。この研究は、このギャップを埋めることが、ロバスト性、較正、および表現の安定性を向上させることを実証し、自己教師あり学習における部分的な情報領域を扱うための原理的な方法を提供しています。