技術要約：データ・トゥ・エナジー（Data-to-Energy）の確率論的ダイナミクス

問題設定

シュレディンガー・ブリッジ（SB）問題は、2つの周辺分布 $p_0$ と $p_1$ を橋渡しし、かつ参照プロセス（通常は伊藤型確率微分方程式）に対する輸送コストを最小化する確率論的動的システムを見出すことを目的とする。この問題は、最適輸送を確率的な設定へと一般化したものであり、拡散モデルやフロー・マッチングといった現代の生成モデリング技術の基礎となっている。

標準的な反復比例フィッティング（IPF）法に基づく既存のアルゴリズムは、一般に両方の周辺分布からのサンプルへのアクセスを必要とする。この制限により、一方または両方の分布が、正規化定数 $Z$ が未知で直接的なサンプルが得られない未正規化密度 $p(x) = e^{-E(x)}/Z$ （エネルギー関数）によってのみ定義されているシナリオにおいて、SB手法を適用することが困難となっている。このギャップは、生成モデルの潜在空間におけるベイズ事後分布推論（事後分布が報酬や尤度関数を介して正規化定数を除いてのみ既知である場合が多い）などのアプリケーションにおいて極めて重要である。

手法

本論文では、分布が未正規化密度として与えられている場合にシュレディンガー・ブリッジをモデリングするための一般的な手法として、Data-to-Energy（および Energy-to-Energy）IPF を提案する。このアプローチは、オフポリシー強化学習および拡散サンプリングの技術を統合することで、標準的なIPFアルゴリズムを拡張したものである。

1. 一般化されたIPFフレームワーク

標準的なIPFアルゴリズムは、ハーフブリッジ問題を解くことにより、順方向および逆方向の時間プロセス（$\overrightarrow{P}_t$ および $\overleftarrow{P}_t$）を反復的に更新する。

• 逆方向ステップ（Data-to-Data）: $p_0$ からのサンプルが利用可能な場合、逆方向プロセスは最大尤度推定を通じて訓練される（標準的なIPFステップ）。
• 順方向ステップ（Data-to-Energy）: $p_1$ が未正規化密度 $e^{-E_1(x)}$ で与えられている場合、順方向プロセスは標準的な尤度を用いて訓練することはできない。代わりに、著者らは対数分散損失（log-variance loss）（条件付きVarGrad）を導入する。この損失は、逆方向の軌跡の確率で重み付けされた、順方向の軌跡確率とターゲット密度の間の対数比の分散を最小化する：
  $$\text{LLV}(x_0, \theta) = \text{Var} \left( \log \frac{\overrightarrow{p}_\theta(\tau | x_0)}{p_1(x_1) \overleftarrow{p}_\phi(\tau | x_1)} \right)$$
  この目的関数は、サンプルを必要とせずに、SB解に求められる比例関係を強制する。

2. オフポリシー強化学習戦略

複雑で高次元の未正規化密度からサンプリングする際、オンポリシーの訓練ではすべてのモードを探索できないという課題に対処するため、著者らはオフポリシー技術を適応させている：

• リプレイバッファ: バッファには、順方向プロセスからの最終サンプル $x_1$ が格納される。訓練中、$x_1$ からサンプルを抽出し、逆方向の軌跡を実行することで $x_0$ が生成される。これにより、探索がターゲットの高密度領域に集中する。
• ランジュバン更新: バッファーは、不完全な適合を補正するために、ターゲット密度 $p_1$ 上の未調整ランジュバン動力学を用いて定期的に更新される。
• 軌跡の再利用: アルゴリズムは、共通の初期点 $x_0$ を共有する軌跡のバッチを形成するために、逆方向の軌跡を再利用し、分散ベースの損失推定の効率を向上させる。
• ミキシング: 訓練ポリシーは、オンポリシーのサンプルとバッファからのオフポリシーのサンプルを混合し、探索と利用（exploration and exploitation）のバランスをとる。

3. 学習可能な拡散係数

もう一つの手法的な貢献は、IPFアルゴリズムを、ドリフト関数だけでなくダイナミクスの拡散係数（$\sigma_t$）も学習するように一般化することである。離散化されたオイラー・丸山ステップにおける固定分散を学習可能な関数に置き換えることで、著者らは、拡散サンプラーに関する最近の研究に触発された、時間離散化誤差を補正することを目指している。

主な貢献

1. 初の一般化された Data-to-Energy SB 手法: 本論文は、一方または両方の分布がサンプルへのアクセスなしに未正規化密度として提供されている場合に、シュレディンガー・ブリッジを推論できる最初のアルゴリズムを導入する。これは、合成データセットと密度の間で低い輸送コストを持つシュレディンガー・ブリッジの学習に成功しており、グラウンドトゥルースのサンプルを使用する Data-to-Data IPF と同等の性能を示す。
2. 学習可能な拡散係数: 著者らは、ドリフトに加えて拡散係数を学習することで、既存の Data-to-Data IPF アルゴリズムが大幅に改善されることを実証している。これは、学習可能な分散が、特に時間離散化ステップが少ない場合に、より正確なモデリングを可能にすることを、拡散サンプラーに関するこれまでの知見を広範なSBの設定へと一般化して示している。
3. アウトソーシングされた事後分布サンプリング: 本手法は、生成モデル（例：GAN、VAE）の潜在空間における事後分布のサンプリング問題に適用される。事前分布の潜在分布と報酬で重み付けされた事後分布との間のブリッジをモデリングすることで、著者らは**データフリーの画像変換手法（data-free image-to-image translation method）**を構築している。このアプローチは、標準的な拡散サンプラーとは異なり、ターゲットの条件によって制約されない意味的内容（スタイル、背景など）を保持する。

実験結果

提案手法の有効性は、以下のベンチマークを通じて実証されている：

• 合成2Dベンチマーク: ガウス分布からガウス混合モデル（GMM）への変換や「Two Moons」分布のようなタスクにおいて、Data-to-Energy IPF は Data-to-Data IPF に匹敵する性能を達成している。学習可能な分散の導入は、特に離散化ステップ数が少ない場合に、Wasserstein-2 距離と Path KL を大幅に減少させる。
• Energy-to-Energy ブリッジング: 予備的な結果として、アルゴリズムは、どちらの分布もサンプルへのアクセスなしにエネルギー関数のみで定義されている場合でも、正常にブリッジを構築できることを示している。
• 画像変換（MNIST & CIFAR-10）: SN-GAN および StyleGAN の潜在空間を用いた実験において、本手法は事前分布のサンプルをターゲットクラスの事後分布（例：「犬」や「5」）へと変換する。
  • 指標: 本手法は、いくつかのクラスにおいて、棄却サンプリングやランジュバン動力学と比較して、より低い FID スコアを達成している。
  • 定性的評価: 視覚的確認により、本手法がターゲットのクラスへ内容を変換しながら、スタイル特徴（数字の太さ、背景の向きなど）を保持するブリッジを効果的に構築していることが確認され、これは制約のない意味情報の効果的な保持を示唆している。
• アブレーション研究: リプレイバッファ、ランジュバン更新、および軌跡の再利用が Path KL 指標を大幅に改善することを実験で確認している。逆方向の軌跡を再利用することは Path KL を改善するが、平均対数報酬に悪影響を与える可能性があり、モード被覆（mode coverage）と輸送コストの間のトレードオフを示唆している。

意義と主張

本論文は、Data-to-Energy シュレディンガー・ブリッジのための一般的なフレームワークを提供し、SB 手法がこれまで両方の周辺分布へのサンプルアクセスを必要としていた文献の空白を埋めるものであると主張している。

著者らは、本研究を、データフリーの生成モデリングおよび事後分布推論に向けた重要なステップとして位置づけている。オフポリシー強化学習の技術を活用することで、エネルギー関数のみが利用可能な高次元の潜在空間において、最適な輸送ダイナミクスの学習を可能にしている。拡散係数を学習できる能力は、これらのダイナミクスの離散化誤差に対する堅牢性をさらに高める。

著者らは、本手法が高次元の画像生成タスクにもスケールすることに触れつつも、モード崩壊（mode collapse）への対処やモード被覆のさらなる改善のために将来の研究が必要であると謙虚に述べている。また、テキスト条件付きの画像報酬の微調整や、離散シュレディンガー・ブリッジ問題を含む潜在的な将来の方向性についても言及しているが、これらが即座に成功したとは主張していない。