技術要約: UR–JEPA: 結合埋め込み予測アーキテクチャのための一様可積性正則化

1. 問題設定

結合埋め込み予測アーキテクチャ（JEPA）は、潜在空間においてある拡張されたビューの埋め込みを別のビューから予測することで表現を学習する。JEPAを訓練する際の中心的な困難は、エンコーダがすべての入力を定数または自明な解へと写像してしまう**表現崩壊（representation collapse）**を防ぐことである。

歴史的な解決策は、主にヒューリスティックなもの（例：ストップグラディエント、対照的なネガティブ、共分散ペナルティ）であった。LeJEPA [1] は、これらをヒューリスティックから単一の明示的なターゲット分布正則化器である**スケッチされた等方的ガウス正則化（SIGReg）**へと置き換えることで進歩した。SIGRegは、埋め込み分布が全周囲次元 $D$ にわたって等方的ガウス分布 $N(0, I_D)$ となるよう強制する。

しかし、このターゲットは多様体仮説（manifold hypothesis）と矛盾する。多様体仮説は、現実世界のデータの埋め込みが、固有次元 $n \ll D$ の低次元部分集合に集中することを提唱している。埋め込みを $D$ 次元の空間全体に等方的に満たすよう強制することは、表現学習を動機付ける事前分布と矛盾する。本論文は、SIGRegを一様 $n$-可積な測度（uniformly $n$-rectifiable measure）に置き換えるUR–JEPAを提案する。このターゲットは、埋め込みが小スケールにおいて定量的に $n$ 次元であることを強制し、正則化を実データの幾何学的構造に適合させる。

2. 手法

UR–JEPAは、LeJEPAの予測損失 $L_{pred}$ を保持しつつ、SIGRegを幾何学的測度論的目標（**一様 $n$-可積性（UR）**から導出）に置き換える。二つの補完的な特徴付けを用いて、SGDに適した微分可能な損失を構築する。

2.1 理論的基礎

• 一様 $n$-可積性 (Uniform $n$-Rectifiability): 測度 $\mu$ が一様 $n$-可積であるとは、それが $n$-Ahlfors–David 正則（密度が $r^n$ でスケールする）であり、「リプシッツ像の大きな断片（Big Pieces of Lipschitz Images）」を持つことを意味する。
• 特徴付け:
  1. CGLT 二乗関数: Chousionis–Garnett–Le–Tolsa (CGLT) 定理に基づく。これは、スケール正規化された球体密度を含むCarleson型の二乗関数の有界性によってURを特徴付ける。
  2. Jones $\beta$-数: 局所的なデータが、最適な適合アフィン $n$-平面からどの程度逸脱しているかを測定する。

2.2 UR–JEPA 損失ファミリー

A. ガウスカーネル平滑化Carleson損失 ($L_{CGLT}$)

このファミリーは、生の球体カウントによるノイズの問題を避けるため、ガウスカーネルを使用して経験的密度を平滑化することで、CGLT 二乗関数を近似する。

• 密度推定: バンド幅 $r$ を持つガウスカーネルを用いて、スケール正規化された密度 $\theta_r(x)$ を計算する。
• 対数増分型 (デフォルト): 損失を絶対的な密度レベル（未知である）に結合させないため、損失は対数密度増分 $\Delta_r \log \theta(x) = \log \theta_{2r}(x) - \log \theta_r(x)$ 上で作用する。
  • 損失: $L_{CGLT}^{UR} = \sum_{x \in A} \sum_k (\Delta_{r_k} \log \theta(x))^2$。
  • AD-正則性アンカー: 別の項 $L_{AD}$ は、アンカー間の $\log \theta_r$ の分散にペナルティを課し、$n$-Ahlfors–David 正則性条件（一定の密度レベル）を強制する。
• スケール微分型バリアント: スケール微分 $t \partial_t \log \theta_t$ または生のカーネル微分を用いた代替形式。本論文では、対数微分のバリアントが安定性のために不可欠であることを発見した。生の形式は、局所的な密度レベルへの寄生的結合に苦しむためである。

B. Jones $\beta$-数損失 ($L_\beta$)

このファミリーは、局所的な近傍が $n$ 次元のアフィン平面に近いことを強制する。

• 局所PCA: 各アンカー $x$ とスケール $r$ に対して、重み付き散布行列が形成される。損失は、上位 $n$ 個の固有ベクトルに対応する固有値（残差分散）の総和である。
• アンチ・コラプス機構: 生の $\beta$-損失は、自明な点質量最小化（一点への崩壊はゼロの残差をもたらす）を許容してしまう。本論文では二つの救済策を導入している：
  1. 固有対数トレース・ペナルティ: 局所的な近傍体積の崩壊を抑制するために $-\gamma \log \text{tr}(S_r(x))$ を加える。
  2. 適応的固有値閾値処理: 接平面の次元を $n$ に固定する代わりに、分散シェアが閾値 $\tau$ を超える固有ベクトルを選択する。これにより、アンカーごとに局所的な固有次元を変化させつつ、グローバルな幾何学的ターゲットを維持できる。

2.3 アンチ・コラプス特性

$\beta$-損失とは異なり、CGLTベースの損失は**構造的にアンチ・コラプス（崩壊防止）**である。点質量構成において、平滑化された密度は $r^{-n}$ としてスケールするため、対数増分 $\Delta_r \log \theta$ は非ゼロの定数 ($n \log 2$) となる。したがって、補助的なペナルティなしでも、損失はゼロから離れた値に留まり、最適化が進む過程で崩壊状態に陥るのを防ぐ。

3. 主な貢献

1. JEPAのための幾何学的正則化: 本論文は、一様 $n$-可積性を訓練損失として定式化し、LeJEPAの等方的ガウスターゲットに代わる原理的な選択肢を提供する。これは正則化を多様体仮説に適合させるものである。
2. 新しい損失ファミリー: 二つの具体的な、SGDに適した損失ファミリーを導入する：
   • $L_{CGLT}$: CGLT定理に基づき、ガウスカーネル平滑化密度と対数増分を利用する。
   • $L_\beta$: ローカルPCAによるJones $\beta$-数に基づき、崩壊を防ぐための対数トレース・ペナルティで拡張されている。
3. 理論と実践の架け橋: 深層学習がいかにして、微分可能な近似を通じて複雑な幾何学的測度論的概念（Carleson測度、Jones $\beta$-数）を実装できるかを示す。
4. 方法論的洞察: 密度の（あるいはスケール微分の）対数変換が、方法論的に不可欠であることを確立した。生のスケール微分形式は、局所的な密度レベルとの結合により著しく性能が低下するが、対数形式はこれを排除する。

4. 実験結果

実験は ImageNet-10 (Inet10)、Galaxy10 SDSS、ImageNet-100 (Inet100)、および EuroSAT で行われた。

4.1 LeJEPAとの比較

• Inet10: UR–JEPA($L_{CGLT}$) はトップ1精度 0.9141 ± 0.0014 を達成し、対応するレシピの LeJEPA($L_{SIGReg}$) (0.9058 ± 0.019) を +0.83 パーセントポイント (pp) 上回った。極めて重要なことに、UR–JEPA は 約30% 低いシード標準偏差 を示した。
• Galaxy10 SDSS: 対応するレシピにおいて、UR–JEPA($L_{CGLT}$) (0.8142) と LeJEPA (0.8105) は統計的に同等であるが、UR–JEPA の方が分散が低い。両者は公開されている LeJEPA ベースライン（レシピの改善によるもの）を大幅に上回っている。
• Inet100 & EuroSAT: UR–JEPA と LeJEPA は同じピーク精度帯に収束する。EuroSAT では、UR–JEPA は LeJEPA と比較して 約2倍のタイトなシード分散 という特徴を維持している。
• スケーリング: プロジェクター次元 $D$ を16から32に増加させると性能が低下する LeJEPA とは異なり、UR–JEPA は向上する。これは、その局所的な幾何学的統計量が、周囲空間の疎性に左右されにくいことを示唆している。

4.2 幾何学的区別

精度は似ているものの、両手法は構造的に異なる表現を生成する：

• LeJEPA: 等方的ガウスターゲットと一致して、ほぼ等方的なスペクトル（平坦な固有値分布）を生成する。
• UR–JEPA: 鋭い異方性スペクトルを生成する。共分散の固有値は、インデックス $\sim 20\text{--}25$ （$D=32$ の中）で 4〜5桁減少 する。これは、自然画像の固有次元と一致する、実質的に低ランクな投影であることを示しているが、各次元の周辺分布は近いくガウス分布に近い（Diaconis–Freedman現象の結果）。
• 堅牢性: UR–JEPA の「崖」のようなシグネチャは、シードやデータセットを問わず再現可能であるが、LeJEPA は等方的なままである。

4.3 アブレーション研究

• 固有次元 ($n$): パフォーマンスは広いプラトー（$n \in [6, 10]$）において頑健であるが、$n=4$ で壊滅的に崩壊する。
• 対数変換: CGLT 損失の対数微分バリアントは、生の形式よりも大幅に優れた性能を示し（約1.5 pp）、安定性のための対数変換の必要性を裏付けている。
• $\beta$-損失: 生の $\beta$-損失は Inet10 で崩壊する。しかし、対数トレース・ペナルティ（$L_{\beta, \gamma}$）を加えると Galaxy10 で競争力を持つようになるが、CGLT バリアントには及ばない。

5. 重要性と主張

本論文は、UR–JEPA が自己教師あり学習における分布マッチングに対する原理的な幾何学的代替案を提供すると主張している。

• 構造的回復: UR–JEPA は、局所接平面次元を調整可能なパラメータとして回復し、LeJEPA ができないスケールフリーの形状制約（Carleson型条件）を強制する。これは、局所的な $n$-可積性を維持しつつ、グローバルには実質的に低ランクな表現を生み出す。
• 安定性: UR–JEPA は、LeJEPA と比較して低いシード分散と、プロジェクター次元に対する優れたスケーリングを示しており、より安定した最適化ランドスケープを示唆している。
• 謙虚な姿勢: 著者らは、UR–JEPA が精度において LeJEPA と同等か、わずかに上回るものの、主な利点は構造的（低ランクで幾何学的に一貫した表現）および統計的（分散の減少）なものであることを認めている。すべてのタスクにおいて普遍的な精度の優位性を主張しているわけではなく、Galaxy10 や EuroSAT では、収束時に両手法が統計的に同等であることを指摘している。
• 理論的ギャップ: 本論文は、Carleson 損失を UR ターゲットに向かって最小化することに対する有限サンプル収束の保証を提供していないことを認め、これを未解決の理論的課題としている。

要約すると、UR–JEPA は、一様 $n$-可積性の概念を、自己教師あり学習に適合する実用的で微分可能な正則化器へと見事に翻訳し、等方的ガウスターゲットよりも幾何学的に区別され、統計的に安定した表現を実現している。