技術的概要：幾何学的潜在部分空間を用いた離散データの生成モデリング

問題定義

離散（カテゴリカル）データの生成モデリングは、連続データと比較して、特に統計的依存関係の表現と確率空間の幾何学的構造に関して、独自の課題を呈する。既存のアプローチは、しばしば離散データを環境ユークリッド空間内の点として扱うか、クラス間の独立性仮定を伴う固定サイズの入力に依存している。さらに、主成分分析（PCA）のような標準的な次元削減手法は、離散同時分布の内在的 manifold 構造を尊重せず、離散データ空間に属さない再構成（例えば、非整数値）をもたらすことが多い。本論文は、離散データを正確に符号化し、高次元の離散分布を圧縮し、統計的 manifold の幾何学的性質を尊重しながら効率的な生成モデリングを可能にする枠組みの必要性に対処する。

手法

1. 幾何学的潜在部分空間（GPCA）

著者は、カテゴリカル分布の積 manifold の指数パラメータ空間に古典的 PCA を拡張する**幾何学的 PCA（GPCA）**を提案する。

• パラメータ化: 離散データ点 $x \in \mathcal{X}^n$ は、完全に因数分解された積分布 $s \in \mathcal{S}_c^n$（ここで $\mathcal{S}_c$ は確率単体）としてモデル化される。これらの分布は、指数族における自然パラメータ $\theta$ によってパラメータ化され、$s = \partial \psi(\theta)$ かつ $\psi$ は対数分配関数である。
• 潜在部分空間: 低次元の潜在部分空間 $\mathcal{U} \subset T_0^n$ は、基底ベクトル $V$ の張る空間として定義される。自然パラメータはこの部分空間に制約される：$\theta = V \odot z$。ここで $z \in \mathbb{R}^d$ は潜在座標であり、$d \ll nc$ である。
• 誘導された manifold: 写像 $\partial \psi$ はデコーダとして機能し、線形な潜在部分空間 $\mathcal{U}$ を非線形なデータ manifold $\mathcal{M} = \partial \psi(\mathcal{U}) \subset \mathcal{S}_c^n$ に写す。
• 最適化: GPCA パラメータ（$V, Z$）は、対数分配関数の凸共役によって生成される Bregman 発散 $D_{\psi^*}$ に基づく経験的目的関数を最小化することで得られる。これは負の対数尤度（NLL）の最小化、あるいはデータが単体に平滑化されている場合は交差エントロピーの最小化に相当する。

2. リーマン幾何と等長写像

一貫したフローマッチングを可能にするために、データ空間に特定の幾何学的構造を課すことが核心的な貢献である。

• e-計量: フィッシャー・ラオ計量の代わりに、著者は単体 $\mathcal{S}_c^n$ にe-計量（指数接続によって誘導される）を備え付ける。$\theta$-座標系において、この計量は標準的なユークリッド内積に対応する。
• 等長埋め込み: 写像 $\partial \psi: \mathcal{U} \to \mathcal{M}$ は、$\mathcal{M}$ が誘導された e-計量を備える場合、等長埋め込みであることが示される。決定的なことに、これは潜在空間 $\mathcal{U}$ における測地線（直線）が、manifold $\mathcal{M}$ 上の e-測地線に正確に写像されることを意味する。
• 幾何的正則化: データと再構成との間のリーマン距離が小さく保たれること（フローマッチングに関する理論的保証の要件）を確保するために、著者は正則化された損失関数を導入する。この損失は、標準的な交差エントロピー（KL 発散）と、パラメータ $\lambda$ によって制御される、二乗リーマン距離（$d_e^2$）に対する明示的なペナルティを組み合わせる。これにより、幾何学が特異になる単体の境界への再構成の接近を防ぐ。

3. 潜在部分空間におけるフローマッチング

生成モデルは、GPCA 潜在部分空間に制限された**フローマッチング（FM）**を用いて訓練される。

• ベクトル場学習: 目標は、基底分布 $p_0$ をデータ分布 $p$ に輸送する時間依存ベクトル場 $u_t$ を学習することである。
• プルバックによる効率性: 等長性により、条件付きフローマッチングの目的関数は、低次元の自然パラメータ空間 $\mathcal{U}$ 内で完全に定式化できる。目的関数は、学習されたベクトル場と自然パラメータの直線補間（$\theta_1 - \theta_0$）との間の二乗ユークリッド距離を最小化することに簡略化される。
• 計算上の利点: この定式化により、訓練を高次元の環境空間ではなく低次元の潜在空間 $Z$ 内で実行することが可能となり、幾何学的整合性を維持しながら計算コストとメモリ使用量を大幅に削減する。

主要な貢献

1. 幾何学的 PCA（GPCA）: 指数パラメータ空間で動作し、カテゴリカル分布の統計的構造を尊重する非線形 manifold を誘導する、離散データのための新しい次元削減手法。
2. 等長フローマッチング: e-計量を使用することで、潜在部分空間とデータ manifold の間に等長関係が成立することを示した。これにより、フローマッチングを潜在空間内の直線補間を通じて実行可能となり、離散データに対する生成モデルの訓練を計算的に効率的にする。
3. 正則化された目的関数: 再構成精度（ハミング距離）と幾何学的整合性（リーマン距離）のバランスを取る幾何学意識型の損失の定式化により、フローマッチング近似の有効性を保証する。
4. 実証的検証: 低次元の潜在表現が高次元の離散データ（画像、DNA 配列など）を正確にモデル化するのに十分であり、本手法が競争力のある生成品質を達成することを示す広範な実験。

実験結果

著者は、合成データ、MNIST、FashionMNIST、Cityscapes、および DNA 配列データセット（PROMOTER、ENHANCER）に対して GPCA を評価した。

• 再構成: GPCA は、比較的小さな潜在次元（MNIST では $d=44$、Cityscapes では $d=133$ など）で、画像データセット（MNIST、Cityscapes）においてハミング距離（誤ラベル付けノード）がほぼゼロを達成する。
• トレードオフ: 実験は、交差エントロピー（NLL）の最小化とリーマン距離の最小化との間のトレードオフを浮き彫りにする。NLL の最小化は低いハミング距離をもたらすが、小さなリーマン距離を保証するものではない。提案された正則化（$\lambda > 0$）はこのトレードオフを効果的に制御し、低いハミング誤差を維持しながらリーマン再構成誤差を低減する。
• 生成品質: MNIST および FashionMNIST の生成サンプルは視覚的に一貫性があり、新規性がある（訓練データの単なるコピーではない）。DNA データセットでは、Fisher-Flow などのベースラインと比較してフレシェ生物学的距離（FBD）において競争力のある性能を示すが、著者は圧縮性能はデータセットによって変動することを指摘している。
• 効率性: 潜在空間 $Z$（例：$d=64$）での訓練は、完全なデータ空間での訓練よりも著しく高速であり、メモリを少なく必要とする。これは、潜在空間内でより大きなネットワークアーキテクチャを使用する場合であっても同様である。

意義と主張

本論文の主な意義は、連続的な幾何学的モデリングと離散データ生成を架橋することにあると主張されている。指数族の情報幾何（特に e-接続）を活用することで、著者は以下の枠組みを提供する：

• 離散データを、統計的依存関係を保存する manifold 上で圧縮・表現できる。
• 潜在空間における測地線の「直線」特性により、フローマッチングが効果的かつ計算的に効率的となり、高次元環境空間におけるリーマンフローマッチングの複雑さを回避できる。
• 幾何学的潜在部分空間が学習されれば、データセットに依存しない統一的な生成モデリング枠組みを提供する。

著者は、データの圧縮性が前提条件であること（特定の DNA データセットでは圧縮性が弱いことが観察された）および正則化パラメータ $\lambda$ の選択が現在、経験的チューニングに依存していることという限界を謙虚に認めている。今後の課題として、GPCA 部分空間内での整合性モデルの探求と、潜在ドメインとデータドメイン間の等長性のさらなる分析が含まれると示唆されている。