技術要約：言語におけるJEPAのパラドックス

1. 問題提起

Joint-Embedding Predictive Architectures (JEPA) は、マスクされたコンテキストから潜在空間内のターゲット表現を予測することを学習することで、画像、ビデオ、音声といった連続的なモダリティにおいて顕著な成功を収めてきた。しかし、この決定論的な潜在表現予測パラダイムは、テキストエンコーダーにおいては標準的な目的関数にはなっておらず、分布的な目的（例：Masked Language Modeling）が依然として支配的である。

本論文は、このギャップが、二乗誤差による潜在表現予測と言語の条件付き構造との間の根本的な統計的ミスマッチに起因すると主張している。

• 条件付き集中性 (Conditional Concentration): JEPAは、コンテキストとターゲットの位置が与えられたとき、ターゲット表現が単一かつ幾何学的に意味のある点の近くに存在するという仮定に依存している。これは、空間的な連続性と局所的な相関を持つ画像においては成立する。
• テキストにおけるミスマッチ: 言語においては、単一のコンテキストが複数の有効な語彙的または意味的な補完を許容することが多い。その結果、マスクされたトークンの条件付き分布はマルチモーダル（多峰性）となる。二乗誤差予測器は、単一のベクトルを出力しなければならないため、これら異質な選択肢の重心 (centroid) に回帰せざるを得なくなる。これにより、モデルは意味のある区別を平均化して消し去ってしまう（不適切な表現につながる）、あるいは損失を最小化するために表現空間を崩壊（collapse）させるかのいずれかを強いられる。

2. 手法

著者らは、有用なJEPA学習に不可なる3つの条件を定式化し、画像ベースのI-JEPA (Assran et al., 2023) のテキスト版であるT-JEPAを構築することで、これらを検証した。

理論的枠組み

本論文は、決定論的な潜在表現予測が機能するために満たされるべき3つの条件を提示している：

1. 予測可能性 (Predictability): ターゲットは、コンテキストに対して低い条件付きエントロピーを持つ必要がある。（画像では空間的な滑らかさによって満たされるが、テキストでは語彙的な曖昧さによって制限される）。
2. 非崩壊性 (Non-Collapse): 目的関数は、異なる入力が表現空間内の異なる領域を占めるように強制しなければならない。（視覚的な多様性がこの圧力を提供するが、テキストは幾何学的なペナルティなしに低ランクの崩壊を許容する）。
3. 低条件分散 (Low Conditional Variance): 低減可能な損失成分が、不可減な成分よりも支配的である必要がある。（画像において、残留する不確実性は局所的なテクスチャであるが、テキストにおいては複数の有効な補完が損失の主因となる）。

実験設定

• I-JEPA (ベースライン): ViT-H/16バックボーンを用い、ImageNet-1Kの100K枚の画像で学習。
• T-JEPA (提案手法): BERT-Largeバックボーンを用い、英語C4センテンスの100K件で学習された直接的なテキスト版の対照モデル。
  • アーキテクチャ: コンテキストエンコーダー (BERT-Large)、ターゲットエンコーダー (EMA更新されたBERT-Large)、およびTransformer予測器。
  • 目的関数: マスクされたスパンのコンテキスト埋め込みとターゲット埋め込みの間の二乗誤差を最小化する。
  • プロトコル: 比較可能性を確保するため、一致した学習スケジュール（15エポック、AdamW、特定のウォームアップ/減衰）を使用。サンプリングによるアーティファクトを排除するため、5つの独立したデータシードにわたって実験を繰り返した。

診断指標

研究では、失敗モードを診断するために5つの特定の指標を追跡している：

1. 自己情報量 (MI) プロキシ (InfoNCE)。
2. 表現共分散の実効ランク (Effective rank)。
3. ペアワイズ・コサイン類似度（およびその分散）。
4. 学習・検証損失の乖離。
5. 不可減な条件付きターゲット分散（K=16個の候補補完を用いて推定）。

3. 主な結果

経験的な証拠は、I-JEPAには現れない、T-JEPA特有の「時間的失敗シグネチャ」を明らかにしている：

1. 予測可能性の飽和が崩壊に先行する: T-JEPAのMIプロキシは早期に飽和し（0.35 nats以下に留まる）、マスクされたターゲットがコンテキストから弱く予測可能であることを示している。これは、実効ランクがまだ非自明なレベルにある間に発生する。対照的に、I-JEPAは着実に増加するMIを示す。
2. 損失の乖離と不安定性: T-JEPAの学習および検証損失は、当初は共に減少するが、ステップ9,340付近で破滅的に乖離する。検証損失が急増する一方で学習損失は不安定になり、オプティマイザが一般的な構造ではなく、バッチ固有のノイズを記憶していることを示唆している。
3. 実効ランクの退化: 不安定化ポイントの後、T-JEPAの検証実効ランクは崩壊し（約1.57まで低下）、一方で学習ランクは人工的に膨張する。これは、モデルが損失を最小化するために、妥当なターゲット間の区別を統合してしまっていることを裏付けている。
4. 不可減な分散: T-JEPAは安定フェーズを通じて高い不可減分散を維持している（語彙的な曖昧さを反映）。この分散は、曖昧さが解消されたからではなく、エンコーダーがすべての埋め込みを狭い領域に圧縮した結果として、崩壊後に急激に低下する。
5. ダウンストリームでの失敗: T-JEPAの表現は、分類ベンチマーク（IMDB, SNLI）においてチャンスレベル（偶然と同等）の性能しか示さず、検索タスク（FEVER, MSMARCO）ではゼロの性能を達成した。これは、有用な構造を保持しているBERT (MLM) や他の自己教師あり学習ベースライン（Barlow Twins, VICReg, BYOL）とは対照的である。

4. 主な貢献

1. 条件付き集中性: 本論文は、決定論的な潜在表現予測が有用な表現を生み出すための必要条件として「条件付き集中性」を導入した。言語は、その固有のマルチモーダル性ゆえに、この条件を満たさないことが多いと論じている。
2. 重心の退化 (Centroid Degeneracy): 二乗誤差による予測が、互いに相容れない選択肢の重心への回帰を強いることで、表現の崩壊を招くという、具体的な失敗モードとしての「重心の退化」を特定した。
3. 経験的診断: 本研究は、情報量の飽和が表現の崩壊に先行することを示す包括的な診断フレームワーク（MI、ランク、コサイン類似度、分散）を提供した。これにより、条件付き集中性の欠如が予測信号を弱め、崩壊への圧力を生み出すという因果鎖を確立した。

5. 意義と主張

本論文は、その結果が言語における予測的表現学習を完全に否定するものではないと主張している。むしろ、欠落している誘導バイアスを特定している：言語の予測目的関数は、単一の潜在的な重心に圧縮するのではなく、有効な補完のマルチモーダルな構造を保持しなければならない。

著者らは、成功するテキストベースの予測学習には、標準的なJEPAで使用される決定論的な二乗誤差回帰ではなく、複数の妥当な継続を扱えることができる、分布的、対照的、混合型、あるいは意味レベルの代替案が必要である可能性を示唆している。本研究は、視覚の幾何学的制約と、言語の組合せ論的な性質を対比させることで、なぜJEPAがテキストエンコーダーの標準的なレシピとなっていないのかに対する理論的および経験的な説明を提供するものである。