Reverse-Time Diffusion Processes for Discrete Time Linear and Nonlinear Systems with non-Gaussian Noise

技術要約：非ガウスノイズを伴う離散時間線形および非線形システムのための逆時間拡散過程

問題提起
生成AI、特に拡散ベースのモデルは、ノイズからデータを生成するために、順方向の確率過程を逆転させることに依存している。連続時間拡散モデルは確率微分方程式（SDE）を通じて十分に理解されているが、実用的な実装に不可欠な離散時間版においては、逆転のための直接的な理論的枠組みが欠如している。現在のアプローチは、通常、連続時間SDEへの極限操作によって離散過程を近似し、そのSDEを逆転させ、その結果を離散化するという手法をとっている。この間接的な「近似の近似」という手法は、誤差、計算負荷、および潜在的な不安定性（例：有界な連続解が非有界な離散解を導くこと）を導入する。

さらに、ガウス型の入力および状態を伴う線形時変（LTV）システムなどの既存の離散時間逆転理論は、非ガウス型の初期状態や非線形ダイナミクスを伴うことが多い現代の生成AIアプリケーションには不十分である。本研究が取り組む核心的な問題は、連続時間近似に頼ることなく、一般的な非線形システムおよび非ガウス型ノイズに対して、直接的な逆時間離散時間拡散過程を見出すための直接的な理論を構築することである。

手法
本論文は、以下の形式で定義される順方向の離散時間拡散過程を直接逆転させるための厳密なフレームワークを確立する：
$$x_{k+1} = f_k(x_k, u_k)$$
ここで、$x_k \in \mathbb{R}^n$ は状態、$u_k \in \mathbb{R}^m$ は白色の非ガウス型プロセスノイズ列であり、$f_k$ は連続微分可能な非線形関数である。目標は、以下の条件を満たす逆時間過程を構築することである：
$$x_k = a_{k+1}(x_{k+1}, v_{k+1})$$
および逆向きノイズ列 $v_k = h_k(x_k, u_{k-1})$。

1. 順方向変数 $(x_k, u_k)$ と逆方向変数 $(x_{k+1}, v_{k+1})$ の間の写像が全単射であること。
2. 逆向きノイズ $v_k$ が白色（時間に対して結合独立）であること。
3. 逆向きノイズ $v_k$ が、すべての $i \geq k$ において状態 $x_i$ と独立であること。

手法は、以下の主要な理論的ステップを通じて進行する：

• 独立条件： 著者らは、逆向きノイズ $v_{k+1}$ と状態 $x_{k+1}$ の独立性に関する必要十分条件を導出した。この条件は、ノイズ変換関数 $h$ の条件付き特性関数を通じて表現される。具体的には、$v_{k+1}$ と $x_{k+1}$ が独立であるための必要十分条件は、条件付き期待値 $E[e^{j\omega^T h(x, u)} | x]$ が $x$ に対して関数的に独立であることである。
• 全単射性と構築： 逆過程が順方向の過程と同じサンプルパスを生成することを保証するため、本論文では、陰関数定理を利用する。著者らは、条件付き累積分布関数（CDF）を用いて、有効なノイズ変換関数の族 $h_k$ を構築する。具体的には、Rosenblatt変換が用いられ、$v_{k+1}$ の各成分は、状態を条件とした順方向ノイズ成分の条件付きCDFとして定義される。これにより、$v_{k+1}$ が $[0, 1]^m$ 上で一様分布となり、$x_{k+1}$ と独立であることが保証される。
• 入力アフィン解析： 本論文では、順方向の過程が線形（$x_{k+1} = F_k x_k + G_k u_k$）であり、ノイズがガウス型である特定のケースを調査する。逆モデルが「入力アフィン」（すなわち、逆向きノイズに対して線形であること）であるための必要十分条件を確立する。これには、ノイズ変換関数が順方向のノイズに対してアフィンである必要がある。

主要な結果

1. 一般的な逆拡散の存在： 本論文は、広範な非線型・非ガウス型システムに対して、直接的な逆時間離散拡散が存在することを証明している。連続時間近似を用いずに、要求される独立性と白色性の特性を確保しながら、逆向きダイナミクスと逆向きノイズ列を構築するための明示的な方法を提供している。
2. 非ガウス状態における入力アフィン逆転の非存在： 重要な理論的知見として、ガウス型ノイズを伴う線形順方向過程において、入力アフィンな逆モデル（逆向き状態が逆向きノイズの関数としてアフィンであるモデル）は、初期状態が非ガウス型である場合、一般に存在しないことが示された。
   • スカラーの場合、本論文は、もし入力アフィンな逆モデルが存在するならば、初期状態はガウス分布でなければならないことを証明している。
   • ベクトル形式の場合、広範な非ガウス型初期状態密度（ガウス混合モデルを含む）に対して、逆モデルは入力アフィンになり得ない。これは、逆モデルがしばしば線形またはアフィンであると想定される連続時間SDE理論とは対照的である。
3. 既知の結果の回収： 初期状態とノイズの両方がガウス型である場合、導出された理論は線形ガウスシステムに関する既知の結果（[13]など）を回収し、新しいフレームワークの妥当性を確認している。
4. ガウス混合密度： 多くの分布を近似するガウス混合として状態密度がモデル化される場合、順方向の過程が線形であり、ノイズがガウス型であっても、逆拡散は本質的に非線形かつ非アフィンになることを本論文は強調している。

意義と主張
本論文は、連続時間近似の限界を回避し、非ガウス型の状態およびノイズを伴う離散時間確率差分方程式を直接逆転させるための、最初の直接的な理論を提供すると主張している。主な貢献は以下の通りである：

• 理論的基盤： 離散時間逆転のための直接的な数学的フレームワークを提供することで、文献における空白を埋め、「間接的なアプローチ」による誤差の蓄積や計算コストの問題に対処している。
• 汎用性： 理論は、非ガウス型の分布が重要となる実用的な生成AIアプリケーションにおいて不可欠な、非線形時変システムおよび非ガウス分布に適用可能である。
• 根本的な限界： 離散時間と連続時間の逆転における根本的な違いを厳密に示している。すなわち、逆モデルが入力アフィンであるという仮定は、広範な非ガウス型初期状態に対しては無効である。これは、連続時間近似に依存する現在の生成AIの実践において、逆モデルが本質的に非線形アーキテクチャを必要とする可能性があることを示唆している。
• 構成的アプローチ： 条件付きCDFを用いて逆向きノイズとダイナミクスを構築するための明示的な公式を提供することで、離散時間において理論的に裏付けられた生成モデルの設計への道筋を示している。

著者らは、逆モデルは一般的なケースにおいて存在するものの、逆過程の具体的な構造（例：入力アフィンであるかどうか）は初期状態の分布によって強く制約されることを結論付けており、これは連続時間近似に依存する現在の生成AIの実践においてしばしば見落とされているニュアンスである。