The Wristband Gaussian Loss: Deterministic, Composable Latents via a Sphere-Interval Decomposition

技術的サマリー：リストバンド・ガウス損失

問題定義
表現学習における中心的な目標は、その出力が固定されたガウス事前分布（通常は $\mathcal{N}(0, I_d)$）と一致する、決定論的エンコーダ $E: \mathbb{R}^{d_{in}} \to \mathbb{R}^d$ を構築することである。そのようなガウス潜在空間は、座標の独立性を保証し、周辺化による反事実的サンプリングやサブモジュールの交換を可能にし、また固定された二次モーメントにおいて最大エントロピー分布を表すため、望ましいものである。

既存のアプローチは重大なトレードオフに直面している：

• 確率的エンコーダ（VAE）： 各フォワードパスでサンプリングノイズを注入し、事後分布の崩壊（posterior collapse）に悩まされる。
• 球面一様性損失： ノルムを通じて座標を結合し、連結されたブロックの独立性を損なう。
• 拡散モデル/フローマッチング： 反復的な推論を必要とし、単一パスで決定論的な潜在コードを生成しない。
• モーメントマッチング（例：VICReg）： 最初の 2 つのモーメントのみを制約し、高次依存関係や重い尾部を捉えられない。
• 最適輸送： 計算コストが高く（$O(N^3)$）、トレーニングよりも評価に適している。

核心的な技術的課題は、有限の $N$ 個の点埋め込み集合が $\mathcal{N}(0, I_d)$ からの $N$ 個の i.i.d. 引き抜きに似ているかどうかを判定する、決定論的なバッチ損失を定義することであり、これは次元を超えて安定し、GPU 友好（$O(N^2)$ またはそれ以下）でなければならない。

手法：リストバンド分解
本論文は、サンプリング、KL 項、または反復的な輸送を必要としない、決定論的なバッチ損失であるリストバンド・ガウス損失を導入する。この手法は、ガウス分布の特定の幾何学的分解に依存している。

1. 球面–区間分解：
   点 $x \in \mathbb{R}^d \setminus \{0\}$ に対して、リストバンド写像 $\Phi$ は $x$ を積空間 $S^{d-1} \times [0, 1]$ 上の対 $(u, t)$ に変換する：

   • 方向： $u = x / \|x\| \in S^{d-1}$。
   • 半径： $t = F_{\chi^2_d}(\|x\|^2)$。ここで $F_{\chi^2_d}$ は自由度 $d$ のカイ二乗分布の累積分布関数である。

   定理 1 は、双条件同値を確立する：$d \ge 2$ に対して、分布 $Q$ の $\Phi$ による押し出し（pushforward）が一様積測度 $\sigma_{d-1} \otimes \text{Unif}[0, 1]$ であることと、$Q = \mathcal{N}(0, I_d)$ であることは同値である。この結果は Lean 4 で機械検証されており、半径周辺分布のみを一致させる手法とは異なり、この「リストバンド」空間における一様性を強制することがガウス性に対して必要十分条件であることを証明している。

2. 損失関数：
   目的関数は、リストバンド空間上の反射対称反発エネルギーを最小化する。

   • カーネル： 損失はカーネル $K_W(u, t; u', t') = k_{ang}(u, u') \cdot k_{rad}(t, t')$ を使用する。
     • 角成分 $k_{ang}$ は弦状ガウスである。
     • 半径成分 $k_{rad}$ はNeumann 反射ガウスである。有界領域 $[0, 1]$ を扱うため、カーネルには境界 0 と 1 を跨ぐ点の反射が含まれる。実装では「3 画像」切り捨てが用いられる：実点、0 に対する反射点、1 に対する反射点。
   • 定理 2 は、このエネルギーの唯一の人口最小化点がリストバンド上の一様分布であることを証明する。
   • 有限サンプル加速： 収束を改善するため、損失にはオプションとして 1 次元ワッサーシュタイン半径項（$L_{rad}$）とモーメントペナルティ（$L_{mom}$）が含まれる。これらはどちらも同じ最適解を共有する。
   • 較正： 成分は、モンテカルロ法による Null 較正を通じて単一の統計量（$L_{wb}$）に標準化され、ガウス性の Null 仮説の下で損失の平均が 0、標準偏差が 1 となることを保証する。

3. スペクトル高速経路：
   対計算は $O(N^2 d)$ である。大規模バッチの場合、著者らはカーネルを球面調和関数（角）とコサインモード（半径）に展開することで、スペクトル近似（$O(NdK)$）を導出した。この経路は明示的に対反射カーネルの近似であり、経験的に一致する勾配を持つ。

4. 決定論的ガウスオートエンコーダ（DGAE）：
   この損失は、学習可能なキーを持つユークリッド注意エンコーダと、正確な可逆フロー（RealNVP）と結合されている。フローはエンコーダの中間表現をリストバンド目標に成形し、エンコーダがタスク固有の特徴を学習している間に、フローが最終的なガウス化を処理することを可能にする。

主要な貢献

1. 双条件特徴付け： $d \ge 2$ に対して、球面 - 区間積空間上の一様性が $\mathcal{N}(0, I_d)$ と同値であることの証明（機械検証済み）。
2. 反射境界損失： Neumann 反射を備えた原理的な対反発損失であり、半径座標における境界効果を補正し、一様目標において一意に最小化する。
3. スペクトル近似： 対参照との勾配の同等性を維持しつつ、複雑さを $O(N^2 d)$ から $O(NdK)$ に削減する高速経路。
4. 実証的検証： 合成ベンチマークおよび MNIST に対する依存因子のコンテキスト/残差構築において、モーメントベースおよび半径のみの手法に対する優位性を示した。

実験結果
本論文は 4 つの側面で手法を評価している：

• X-分布ベンチマーク： 共分散は単位行列だが非楕円対称性（交差する線分）を持つ合成分布。モーメントベースの手法（VCReg）および半径のみの手法（Radial-VCReg）は結合分布の完全なガウス化に失敗するが、リストバンドは 2 次元および 10 次元において最良のスコア（最低の重心 $W_2$ z スコア）を達成する。
• 半径 - 角コピュラ偽物： より困難なベンチマークで、半径および角周辺分布は正しいが、それらの依存関係（コピュラ）が誤っている。リストバンドは 10 次元および 128 次元で最良のスコアを達成し、依存構造を検出できない MMD やスライスド・ワッサーシュタインを上回る。
• 15 次元非ガウス混合： 15 次元の異方性混合でトレーニングされた DGAE は、再構成 MSE が 0.241 であり、トレーニング中にリストバンド損失が著しく低下し、潜在空間の成功したガウス化を示している。
• MNIST 条件サンプリング： このフレームワークはコンテキスト/残差構築を成功裡に実装する。画像の下半分が与えられたとき、モデルはガウス残差ブロックからサンプリングすることで、複数の妥当な上半分を生成し、依存因子を決定論的に処理する能力を検証する。

意義と主張
本論文は、リストバンド・ガウス損失が、任意の分布（原点を除く）に対して正確なガウス性を強制する決定論的、単一パス、GPU 友好なメカニズムを提供すると主張している。その主な意義は、必要条件（モーメントまたは半径周辺分布の一致）から、球面 - 区間分解を介した必要十分条件への移行にある。

著者は、これが以下を可能にすることを強調している：

• 反事実的サンプリング： 再トレーニングなしに独立因子を交換または再サンプリングできる。
• コンテキスト/残差構築： 依存設定において、決定論的コンテキストを確率的残差から分離する原理的な方法。
• 効率性： スペクトル経路により、最適輸送の立方コストなしに大規模バッチへスケーリング可能。

本論文は限界に関して控えめである：スペクトル経路は近似であり、写像は $x=0$ で未定義であり、正確なブロック独立性には独立した基礎情報が必要である（依存因子についてはコンテキスト/残差構築で処理される）。この研究は、高忠実度画像合成のための最先端生成モデルというよりも、表現学習のための方法論的進展として提示されている。