技術要約：確率的補間と十分な表現を用いた半教師あり条件付き生成学習

1. 問題設定

条件付き生成モデリングは、高次元データ $X \in \mathbb{R}^d$ と、与えられた条件 $Y \in \mathbb{R}^q$ との間の潜在的な条件付き分布 $P_{X|Y}$ を学習することを目的としている。標準的な回帰分析は点推定を提供するが、不確実性の定量化や多峰性のような複雑な構造を捉えるためには、完全な分布を学習することが不可欠である。しかし、半教師ありの設定においては、ラベル付きのペア $(X, Y)$ は乏しい一方で、$X$ のラベルなしサンプルは豊富に存在する。

$Y$ を高次元の生成プロセスに直接注入するアプローチは、サンプル効率が悪くなる傾向がある。それらは、複雑な周囲の条件付き分布を学習するために膨大なラベル付きデータを必要とし、豊富なラベルなしデータを活用することができない。既存の表現ベースの手法（VAEや潜在拡散モデルなど）は、オートエンコーダ構造に依存していることが多いが、不完全な表現における情報の損失が生成誤差にどのように伝播するかという、特に「条件付き」生成に関する理論的保証については、未だ十分に探求されていない。

2. 手法：RepG フレームワーク

著者らは、**十分な表現（sufficient representations）と条件付き確率的補間（conditional stochastic interpolation）**を用いて、条件付き生成プロセスを分解する2段階のフレームワークである RepG を提案している。

2.1 十分な表現による構造的分解

RepGは、$X$ と $Y$ を結びつけるすべての情報を捉えるように設計された低次元の潜在表現 $R(X) \in \mathbb{R}^k$ （ここで $k \ll d$）を導入する。この手法は、条件付き独立性の仮定 $X \perp\!\!\!\perp Y \mid R$ に基づいており、マルコフ連鎖 $Y \to R \to X$ を確立する。これにより、生成プロセスを以下のように分解できる：

1. 潜在サンプリング（ラベル依存）： 条件 $y$ から十分な表現 $r$ を生成する（$P_{R|Y}$）。これは、希少なラベル付きデータを用いて推定される低次元のタスクである。
2. 再構成（ラベルフリー）： 表現 $r$ から高次元のターゲット $x$ を生成する（$P_{X|R}$）。$P_{X|R}$ は $Y$ に依存しないため、この段階はラベル付きデータと豊富なラベルなしデータの両方を合わせたデータセットを用いて推定できる。

2.2 条件付き確率的補間の実装

これら2つの段階を実装するために、RepGは条件付き確率的補間（Albergo et al., 2025; Huang et al., 2023）を利用する。

• 補間パス： パス $Z_t = a_t Z_0 + b_t Z_1$ は、$t \in [0, 1]$ において参照ガウス分布（$Z_0$）からターゲット分布（$Z_1$）へと接続する。
• ドリフト推定： 生成タスクは、速度場（velocity field）とスコア関数に分解される、確率微分方程式（SDE）のドリフト場 $v^*_F$ を推定することに帰着する。
• ニューラル推定器： 速度場は、深層ReLUフィードフォワードニューラルネットワーク（FNN）によってパラメータ化される。
  • 第1段階： 速度場 $u$ は、補間パスの経験的リスクを最小化するように、ラベル付きペア $(R_i, Y_i)$ で訓練される。
  • 第2段階： 速度場 $v$ は、再構成写像を学習するために、拡張データセット $(X_m, R_m)$ （ラベル付きデータとラベルなしデータを結合したもの）で訓練される。
• 生成： 条件 $y$ が与えられると、モデルはまずSDEをシミュレートして潜在表現 $\hat{r}$ を生成し、次に $\hat{r}$ に条件付けられた第2のSDEをシミュレートして、最終的なサンプル $\hat{x}$ を生成する。

2.3 表現学習

$R(\cdot)$ という十分な表現を構築するために、著者らは**深層次元削減（Deep Dimension Reduction: DDR）**フレームワーク（Huang et al., 2024）を採用している。これには、$R(X)$ と $Y$ の間の距離共分散を最大化しつつ、$R(X)$ が標準ガウス分布に従うように正則化を行い、$X \perp\!\!\!\perp Y \mid R(X)$ が近似的に満たされるようにする写像の学習が含まれる。

3. 主な貢献

3.1 理論的誤差分解

本論文は、真の条件付き分布とRepG推定器との間の期待カルバック・ライブラー（KL）ダイバージェンスの厳密な分解を確立している。総誤差は以下の3つの成分で構成される：

1. 構造的バイアス： 条件付き相互情報量（CMI）$I(X; Y \mid R)$ によって定量化される。これは、表現が完全に十分でない場合の情報の損失を測定する。
2. 低次元推定誤差： ラベル付きデータを用いて $P_{R|Y}$ を学習する際の誤差。
3. 高次元推定誤差： プールされたデータセットを用いて $P_{X|R}$ を学習する際の誤差。

この分解は、厳密な条件付き独立性は必須ではなく、小さなCMIと制御された推定誤差の組み合わせがあれば、十分低い総生成誤差が得られることを証明している。

3.2 非漸近的収束率

滑らかさの仮定（局所Hölderクラス）および劣指数モーメント境界の下で、著者らはFNN推定器の収束率を導出している：

• 第1段階の誤差は、サンプルサイズ $n$ および次元 $k+q$ に比例する。
• 第2段階の誤差は、プールされたサンプルサイズ $n+N$ および次元 $d+k$ に比例する。
• 重要な結果： ラベルなしデータが豊富な（$N \gg n$）領域において、全体の収束率は低次元の教師ありコンポーネント（$n^{-2\alpha/(2\alpha+q+k+1)}$）によって支配される。これは、RepGがラベル付きデータの統計的負担を低次元の空間 $k$ に限定することで、次元の呪いを効果的に回避していることを示している。

3.3 ミニマックス下界

本論文は、直接的な条件付き生成（潜在因子化を行わない場合）に対するミニマックス下界を提供し、その誤差がフル次元 $d+q+1$ に比例することを示している。これと比較することで、RepGの（上界としての）性能を示すことで、表現ベースの因子化が $k \ll d$ の場合にサンプル複雑性を大幅に改善することを確認している。

4. 実験結果

4.1 シミュレーション研究

• 離散条件付き： RepGは合成データセット（Two Moons, Concentric Circles, 2D/3D Gaussian Mixtures）でテストされた。この手法は、クラスの分離性を保持し、モード崩壊を起こすことなく複雑な幾何学的構造を再構成する十分な表現を学習することに成功した。
• 連続条件付き： 異分散性、歪度、および分布の交差を含むシナリオにおいて、RepGはエネルギー・スコアにおいて、ガウス過程回帰（GPR）、混合密度ネットワーク（MDN）、および分位点ランダムフォレスト（QRF）よりも優れた共同分布精度を示した。周辺区間幅は同程度であったが、RepGは多変量依存構造をより良く捉えていた。

4.2 実世界への適用（MNIST）

RepGは、固定されたラベル付きセット（$n_\ell \in \{1000, 3000\}$）と変化するラベルなしセット（$n_u$）を用いて、MNIST数字生成に適用された。

• 性能： RepGは、ベースラインとなる直接的な条件付きモデルを一貫して上回った。
• スケーラビリティ： ラベルなしサンプルが増加するにつれて、RepGはダウンストリームの分類タスクにおいて単調な精度の向上を示し、87-90%付近で安定した。対照的に、ベースラインの性能は、ラベルなしデータを活用できなかったため、横ばいのままとなった。
• 視覚的品質： 生成された画像は、ラベルなしサンプル数が増えるにつれて、断片的なアーティファクトから一貫した構造へと移行した。

5. 意義と主張

本論文は、RepGが以下の理由により、半教師あり条件付き生成問題に対する原理的な解決策を提供すると主張している：

1. 複雑性の分離： 困難な高次元生成を、低次元の教師ありタスクとラベルフリーの再構成タスクに分離すること。
2. 理論的保証： 表現ベースの条件付き生成に関する初の厳密な誤差分解と収束率を提供し、構造的バイアス（CMI）と統計的リスクを明示的に結びつけたこと。
3. サンプル効率： 教師あり学習の負担を潜在空間の固有次元に限定することで、直接的な周囲空間モデリングに内在する次元の呪いを回避できることを示したこと。
4. 実用的な有用性： 概算的な十分性であっても、本フレームワークが合成データおよび実世界のデータの両方において効果的であることを実証したこと。

著者らは、このアプローチが、半教師あり設定において限られたラベル付きデータを割り当てるための強力な理論的根拠を提供し、豊富なラベルなしデータを活用して高次元のデータ構造を学習するための有効な手段となることで結論づけている。