技術的サマリー：無限次元拡散モデルのための教師ありガイダンス学習

問題定義

逆問題、特に偏微分方程式（PDE）に起因するものは、無限次元関数空間に存在する未知パラメータを推論することをしばしば要求する。ベイズ的枠組みにおいて、目的は、ノイズのある観測値に条件付けられた、これらの関数上の事後分布からのサンプリングである。スコアベース拡散モデル（SDM）は、表現力のある事前分布として機能するために最近無限次元関数空間へ拡張されたが、これらのモデルを条件付けして事後分布からサンプリングするための理論は、未解決の問題のままである。

既存の有限次元の条件付け手法、例えばドブの $h$-変換は、密度分解と推移作用素に依存しており、これらは無限次元へ直接翻訳されない。課題としては、ルベーグ測度の非存在、ガウス測度をそのキャメロン - マートン空間の外へシフトさせる際の測度の特異性（フェルドマン - ハイェクの定理）、およびヒルベルト空間における推移作用素の微分可能性を確保することの難しさなどが挙げられる。さらに、有限次元手法を適用するためにデータを直ちに離散化することは、解像度依存の誤差を導入し、枠組みの柔軟性を制限する。

手法

理論的基盤：無限次元 $h$-変換

著者らは、ドブの $h$-変換の拡張を用いた無限次元拡散モデルの条件付けのための原理的な枠組みを提案する。彼らは、以下の 2 つの設定において条件付き拡散過程の存在を確立する：

1. 設定 1：事前分布は、拡散 SDE に使用されるウィーナー過程のキャメロン - マートン空間内の球で支持される。
2. 設定 2：事前分布は、特定のポテンシャル関数とその勾配に対する境界条件のもとで、ガウス測度に対して絶対連続である。

これらの設定の下で、著者らは時間反転された条件付き過程が、ドリフトがガイダンス項によって修正された確率微分方程式（SDE）を満たすことを証明する。具体的には、条件付きスコア関数 $s_y(t, x)$ が、無条件スコア $s(t, x)$ とガイダンス項 $C\nabla \log h_y(t, x)$ に分解されることを示す：
$$s_y(t, x) = s(t, x) + C\nabla \log h_y(t, x)$$
ここで、$h_y$ は尤度ポテンシャルの条件付き期待値を通じて定義される無限次元 $h$-変換である。

教師ありガイダンス学習（SGT）

無限次元過程の完全な推移法則への依存性によりガイダンス項 $C\nabla \log h_y$ が扱いにくいため、著者らは**教師ありガイダンス学習（SGT）**を導入する。これは、ガイダンス項を直接学習するために設計された、シミュレーション不要の学習目的である。

• 目的：本手法は、デノイジング・スコア・マッチング損失を最小化する。サンプリング軌道を必要とし、高い分散を伴うシミュレーションベースの確率的最適制御に依存するのではなく、SGT は既知の無条件スコア $s(t, x)$ とデータおよび観測値の結合分布 $(X_0, Y)$ を活用する。
• 損失関数：損失は、学習されたガイダンス項 $u(t, x, y)$ と真のガイダンス項との差を最小化するように定式化される。目的関数は以下の通りである：
  $$\mathbb{E} \left[ \left\| \frac{X_t - e^{-t/2}X_0}{1 - e^{-t}} + s(t, X_t) + u(t, X_t, Y) \right\|^2_K \right]$$
  ここで、$K$ は選択されたヒルベルト空間（例：キャメロン - マートン空間）である。
• パラメータ化：ガイダンス項はニューラルネットワークを用いてパラメータ化される。著者らは、正則性を強制し SDE のノイズ構造と整合させるために、共分散作用素 $C$ によるネットワーク出力の事前条件付けを、異なる程度（$k \in \{0, 1/2, 1\}$）で検討する。

近似と比較

本論文は、既存のヒューリスティックなアプローチも分析する：

• 確率的最適制御（SOC）：理論的には妥当であるが、SOC は計算コストが高く、学習初期段階で不安定なシミュレーションベースの学習を必要とする。
• トゥーディ近似（FunDPS）：著者らは、クリーンなデータを推定するためにトゥーディの公式を使用する FunDPS 近似を、設定 2（絶対連続性）に拡張し、先行研究の制限的な仮定を緩和する。しかし、このアプローチは、各離散化ステップでスコアモデルを通じた逆伝播を必要とするため、計算オーバーヘッドを依然として伴うと指摘している。

主要な貢献

1. 理論的拡張：本論文は、一般的な設定（キャメロン - マートン支持または絶対連続性）の下で、ドブの $h$-変換を通じて無限次元拡散モデルを条件付けできることを初めて厳密に証明し、条件付きスコアを無条件スコアとガイダンス項に分解することを確立する。
2. 教師ありガイダンス学習（SGT）：著者らは、扱いにくいガイダンス項を学習するための新規かつシミュレーション不要の学習アルゴリズムを提案する。このアプローチは、シミュレーションベース手法の高い分散と、トゥーディベース近似で必要とされる各ステップでのスコアモデルを通じた微分の計算コストを回避する。
3. 解像度不変性：無限次元で問題を扱い、最終ステップでのみ離散化することにより、この枠組みは解像度不変な条件付けアプローチを提供し、有限次元アーキテクチャを高解像度に適用する際にしばしば見られる性能低下を回避する。
4. FunDPS の一般化：この研究は、トゥーディベースの近似（FunDPS）が、より制限の少ない設定 2（絶対連続性）の下で成り立つことを証明し、その適用範囲を拡大する。

実験結果

著者らは、SGT を関数空間における 3 つのベイズ逆問題で評価する：

1. 疎な観測：ノイズのある点観測から 1 次元関数を復元する。
2. 熱方程式：後の時点でのノイズのある観測から、熱方程式の初期温度分布を復元する。
3. 形状インペインティング：部分的なフーリエ係数（楕円フーリエ記述子）から形状（MNIST の数字「3」）を再構成する。

知見：

• 性能：SGT は、二乗平均平方根誤差（RMSE）およびエネルギー・スコア（ES）の点で、ヒューリスティックな FunDPS ベースラインを一貫して上回る。
• 条件付き拡散との比較：SGT は、ゼロから学習された「条件付き拡散」モデル（これは上限として機能する）と同等の精度を達成する。この条件付きモデルは、はるかに大規模で、より多くのステップで学習されているにもかかわらずである。
• 頑健性：不完全な（ランダム初期化または部分的に学習された）無条件ベースモデルを用いた実験において、SGT は FunDPS が完全に失敗する状況でも、現実的なサンプルを復元する優れた頑健性を示す。
• 効率性：SGT は、事前学習された無条件モデルを再利用しつつガイダンスネットワークのみを学習するため、ゼロから完全な条件付きモデルを学習する場合よりも、少ないパラメータと学習ステップを必要とする。

意義と主張

本論文は、事後分布から正確にサンプリングするために学習済み拡散モデルを微調整するための最初の関数空間手法を提供すると主張する。その意義は、無限次元ベイズ推論の理論的要件と、拡散モデルの実践的実装との間のギャップを埋める点にある。

著者らは、自らの枠組みが以下を可能にすることを強調する：

• 解像度不変性：学習データとは異なる解像度でサンプルを生成する能力であり、性能低下を伴わない。
• 安定性：基盤となる無条件モデルが不完全であっても安定した学習レジーム。
• 柔軟性：有限次元の密度仮定に制約されない、離散化、学習、および損失関数のための代替オプション。

この研究は、明示的に無限次元ガイダンス項を学習することが、ヒューリスティックな近似と比較して優れた精度をもたらし、科学および工学における複雑な逆問題への拡散モデルの適用に向けた原理的な道筋を提供すると結論付けている。