論文「Latent Stochastic Interpolants (LSI)」の技術的サマリー

本論文は、ICLR 2026 にて発表された「Latent Stochastic Interpolants (LSI)」に関する研究です。生成モデルの分野において、確率的補間（Stochastic Interpolants: SI）の枠組みを潜在変数空間に拡張し、エンコーダ、デコーダ、および潜在空間における生成モデルをエンドツーエンドで共同学習する新しいフレームワークを提案しています。

以下に、問題設定、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題設定と背景

背景

拡散モデル（Diffusion Models）は複雑な高次元データ分布のモデル化において卓越した成果を上げています。近年、Stochastic Interpolants (SI) は、任意の確率分布間を柔軟に変換できる強力な枠組みとして提案されました。SI は、事前分布 $p_0$ と目標分布 $p_1$ のサンプルが直接観測可能であることを前提としています。

課題

従来の SI は、事前分布と目標分布のサンプルが直接観測できる「観測空間」でのみ機能します。しかし、潜在変数モデル（VAE など）では、エンコーダとデコーダ、そして潜在空間での生成モデルを共同最適化する必要があります。

1. 直接アクセスの欠如: 潜在空間では、真の事後分布 $p(z_1|x_1)$ に直接アクセスできず、近似事後分布のみが利用可能です。そのため、SI が要求する両端点（事前分布と事後分布）からの直接サンプリングが不可能です。
2. 計算コスト: 高次元の観測空間（ピクセル空間）に SI を直接適用すると、計算コストが膨大になります。
3. 単純な事前分布の限界: 従来の拡散モデルや潜在拡散モデル（LDM）は、単純なガウス分布などの事前分布に依存しており、表現力に限界があります。

これらの課題を解決するため、SI の柔軟性を保ちつつ、潜在空間での共同学習を可能にする新しい手法が必要です。

2. 手法：Latent Stochastic Interpolants (LSI)

LSI は、連続時間ダイナミクスに基づく証拠下限（ELBO: Evidence Lower Bound）を導出することで、エンコーダ、デコーダ、潜在 SI モデルを同時に学習するフレームワークです。

主要な技術的要素

1. 連続時間 ELBO の導出:

   • 潜在変数 $z_t$ が $t \in [0, 1]$ で連続的に進化すると仮定し、モデルの経路測度 $P_\theta$ と変分事後分布の近似 $Q$ の間の KL 発散を最小化します。
   • 従来の離散時間アプローチではなく、連続時間の SDE（確率微分方程式）に基づいた ELBO を導出することで、柔軟な事前分布の選択と確率的サンプリングを可能にしています。

2. シミュレーションフリーな変分事後分布:

   • 通常、変分事後分布からのサンプリングには SDE のシミュレーションが必要で計算コストが高いですが、LSI は**拡散ブリッジ（Diffusion Bridge）**の理論を活用しています。
   • 事前分布 $p_0(z_0)$ とエンコーダによる近似事後分布 $p_\theta(z_1|x_1)$ の間を結ぶ確率的マッピングを構築し、SDE をシミュレーションすることなく、任意の時刻 $t$ における潜在変数 $z_t$ を直接サンプリング可能にしています（再パラメータ化トリックの適用）。
   • 具体的には、$z_t = \eta_t \epsilon + \kappa_t z_1 + \nu_t z_0$ のような線形結合で表現され、$\epsilon$ は標準ガウスノイズです。

3. 学習目的関数（Loss Function）:

   • 以下の ELBO に基づく損失関数を最適化します：
     $$\mathcal{L} = \mathbb{E} \left[ -\ln p_\theta(x_1|z_1) + \beta_t \frac{1}{2} \| u(z_t, t) \|^2 \right]$$
   • 再構成項 ($-\ln p_\theta(x_1|z_1)$): デコーダによる観測データの再構成精度を確保します。
   • ドリフト一致項: 学習されたドリフト $h_\theta$ が、変分事後分布の理論的なドリフトと一致することを強制します。
   • InterpFlow パラメータ化: 勾配の分散を減らし、安定した学習を実現するために、特定の重み付けと変数変換（$t$ のスケジューリング）を用いた「InterpFlow」と呼ばれるパラメータ化を採用しています。

4. 柔軟な事前分布とサンプリング:

   • SI の特性を活かし、ガウス分布だけでなく、一様分布、ラプラス分布、ガウス混合モデルなど、多様な事前分布 $p_0$ を使用できます。
   • 分類器フリーガイダンス（CFG）や、DDIM 逆変換に似た「インバージョン（Inversion）」による編集機能もサポートしています。

3. 主要な貢献

1. LSI フレームワークの提案:
   • 連続時間ダイナミクスを持つ潜在変数生成モデルを、エンコーダ・デコーダ・生成モデルを共同学習する新しい枠組み「Latent Stochastic Interpolants」を提案しました。
2. 統合的な視点:
   • 連続時間確率過程の知見を活用し、SI の柔軟な連続時間定式化を潜在変数モデルに統合する新しい視点を提示しました。
3. 原理的な ELBO 目的関数:
   • SI の強み（シミュレーションフリーな学習、柔軟な事前分布の選択）を維持しつつ、潜在空間での共同学習を可能にする、新しい ELBO 目的関数を導出しました。これにより、単なるアジャストメントではなく、理論的に裏付けられた学習が可能になります。

4. 実験結果

ImageNet (2012) データセットを用いた大規模な実験により、LSI の有効性を検証しました。

• 性能（FID）:
  • 観測空間（ピクセル空間）で学習された同等サイズの SI モデルと同等かそれ以上の FID（Fréchet Inception Distance）を達成しました（例：128x128 解像度で FID 3.12）。
  • 共同学習（$\beta > 0$）を行うことで、エンコーダが生成プロセスに適応し、FID が大幅に改善することを確認しました（$\beta \to 0$ の場合と比較して約 17% の改善）。
• 計算効率:
  • 潜在空間モデルは、サンプリング時にエンコーダを使用せず、デコーダも 1 回のみ使用するため、観測空間モデルに比べてサンプリング時の計算量（FLOPs）が大幅に削減されます。
  • 128x128 画像のサンプリングで約 30%、256x256 では約 65% の FLOPs 削減を実現しました。
• 事前分布の柔軟性:
  • ガウス分布以外の事前分布（一様、ラプラス、ガウス混合）を使用しても競争力のある結果が得られ、SI の「任意の事前分布への対応」という利点が潜在空間でも維持されることを示しました。
• サンプリングの柔軟性:
  • 分類器フリーガイダンス（CFG）による制御や、画像のインバージョン（編集）が円滑に行えることを視覚的に確認しました。

5. 意義と結論

LSI は、従来の拡散モデルが抱える「単純な事前分布への依存」と「高次元空間での計算コスト」という 2 つの課題を解決しつつ、SI が持つ「任意の分布間の変換」という柔軟性を維持する画期的なアプローチです。

• 理論的意義: 連続時間 SDE に基づく ELBO を用いて、潜在空間での生成プロセスと表現学習を統一的に定式化しました。
• 実用的意義: 大規模な画像生成タスクにおいて、高品質な生成と計算効率の両立を可能にします。また、事前分布の自由度が高いことは、ドメイン適応や条件付き生成など、将来的な応用において大きな可能性を秘めています。

本論文は、生成モデルの設計において「潜在空間での共同学習」と「連続時間確率過程」を融合させる新たな方向性を示唆しており、今後の研究発展に重要な基盤を提供するものです。