💬 NLP

A Tutorial on Diffusion Theory: From Differential Equations to Diffusion Models

本チュートリアルは、微分方程式から拡散モデルの順方向および逆方向の動力学を導出することにより、標準的な訓練目的とスコアマッチングの等価性を示し、DDPM、DDIM、およびガイデッド生成などのさまざまなサンプリング手法間の理論的つながりを明確にする、拡散モデルのための統合フレームワークを提供します。

原著者： Jiayi Fu, Yuxia Wang

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiayi Fu, Yuxia Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

美しい高解像度の猫の写真を持っていると想像してください。次に、古いテレビのノイズをゆっくりと上げ、その画像が完全に白いノイズの海に飲み込まれるまで想像してください。これがフォワードプロセスです。

次に、そのノイズを見て、「この特定の場所からわずかなノイズを取り除けば、猫の耳が少し見えてくるはずだ」と言える超賢い探偵を想像してください。もしこの探偵がその手順を繰り返し、一歩一歩進めば、ノイズを再び鮮明な猫の画像に戻すことができます。これがリバースプロセスであり、拡散モデルが画像を生成する方法です。

Jiayi Fu と Yuxia Wang によるこの論文は、本質的に微分方程式（時間とともに物事がどのように変化するかを記述する数学）の言語で書かれた「ユーザーマニュアル」です。これは、科学者たちがこれらのモデルについて考えてきたいくつかの異なるアプローチを、一つの大きな整合性のある物語に統合します。

以下に、彼らの物語を簡単なアナロジーを用いて解説します。

1. 旅を記述する二つの方法（ODE と SDE）

論文は、鮮明な画像をノイズに変える（そして逆に戻す）プロセスが、二つの異なる数学的言語で記述できることから始まります。

確率的な経路（SDE）： これは、霧の深い森を歩くハイカーだと考えてください。彼には地図（行くべき方向）がありますが、風（ランダムなノイズ）が常に彼をわずかに道からそれさせます。一歩一歩は、計画された方向とランダムな突風の混ざり合いです。これが**確率微分方程式（SDE）**です。
決定論的な経路（ODE）： 次に、同じハイカーを想像しますが、今回は風が完全に予測可能か、あるいは彼が正確に必要な場所へランダムさなく移動させる巨大で滑らかなコンベアベルトの上を歩いているとします。これが**常微分方程式（ODE）**です。

大きな洞察： この論文は、これら二つの経路が異なるように見える（一つは揺れ動き、もう一つは滑らか）にもかかわらず、どちらも同じ場所（鮮明な画像）から始まり、同じ場所（純粋なノイズ）で終わることを証明しています。それ以上に重要なのは、どの時点でも両者が全く同じ「密度マップ」に従うことです。揺れる経路と滑らかな経路の間を、最終結果を変えずに切り替えることができます。

2. 「スコア」（探偵の直感）

探偵はどのように進むべきかを知るのでしょうか？彼らはスコアと呼ばれるものを使います。

数学において、「スコア」は単に確率の勾配です。平易な英語で言えば、それは傾斜です。

丘の上に立っていると、その傾斜は「上」（データがある場所）と「下」（ノイズがある場所）のどちらに向かうべきか教えてくれます。
モデルの役割は、この傾斜を学ぶことです。それは、ノイズの多い画像を見て、「『上り坂』の方向（実際の画像に向かう方向）は『こちら』だ」と言うことを学ぶのです。

論文は、これらのモデルを訓練する標準的な方法（追加されたノイズを推測させること）が、数学的にはこの「傾斜」またはスコアを学ぶことを要求することと同一であることを示しています。これは、学生に公式を直接教えるのではなく、答えを見つけることを要求して数学の問題を解かせるようなものです。論文は、この二つの教え方が実際には同じものであることを証明しています。

3. 訓練：ノイズ除去を学ぶ

論文は、私たちがモデルに「傾斜」の複雑な数学を直接教える必要はないと説明しています。代わりに、ノイズの多い画像を見せて、「私たちが追加したノイズは何だったか？」と尋ねるだけで十分です。

モデルがノイズを完璧に予測することを学べば、自動的に傾斜を学ぶことになります。
一度傾斜を知れば、プロセスを逆転させることができます。純粋なノイズから始めて「上り坂」を登り、新しい現実的な画像を作成するのです。

4. 異なる「歩行者」（DDPM、DDIM、DPM-Solver）

論文は、画像生成に人々が使用するいくつかの有名なアルゴリズムを統合します。それらはすべて、その「傾斜」に沿って一歩を踏み出す異なる方法に過ぎないと説明しています。

DDPM（慎重なハイカー）： この方法は、小さく慎重な一歩を踏み出します。各ステップで少しのランダムさを加えます（SDE のように）。正確ですが、遅いです。
DDIM（滑らかなスライダー）： この方法は、ランダムな風を無視し、滑らかなコンベアベルト（ODE）に従うだけです。ランダムな突風に対応する時間を無駄にしないため、はるかに速いですが、非常に良い地図（よく訓練されたモデル）が必要です。
DPM-Solver（エクスプレスエレベーター）： これは、小さなステップではなく、数学的なトリックを使って丘を効率的に大きく飛び越える新しい方法です。頂上（最終画像）に記録的な時間で到達します。

論文は、DDPMが本質的に揺れる経路（SDE）の離散版であり、DDIMが滑らかな経路（ODE）の離散版であることを示しています。これらは同じコインの両面です。

5. プロセスの導き（分類器ガイダンス）

単に猫が欲しいのではなく、黒い猫が欲しいとしましょう。探偵をどのように誘導するのでしょうか？

分類器ガイダンス： 第二の専門家（分類器）を連れてきて、「もっと黒く！白は少なく！」と叫びます。探偵は画像の傾斜と専門家の叫びの両方に耳を傾け、黒い猫を作るように経路を調整します。
分類器フリーガイダンス： 第二の専門家を雇う代わりに、メインの探偵に「何が必要か分からない」（条件なし）と「黒い猫が欲しいと分かっている」（条件あり）と言えるように訓練します。生成中は、この二つの答えを混ぜて結果を誘導します。論文は、この「混合」がなぜこれほど効果的に機能するかの数学的背景を説明しています。

6. 大統一：フローマッチング

最後に、論文は拡散モデルをフローマッチングと呼ばれるより新しい分野と結びつけます。

フローマッチングは、ノイズの雲からデータの雲へ直線を引くようなものです。
拡散は、曲がりくねった川のようなものです。

論文は、これらが異なるように見えるにもかかわらず、同じ方法（ノイズ/スコアの予測）で訓練すれば、全く同じ旅を記述することになることを証明しています。「ノイズ予測」の損失関数は、実は変装した「フローマッチング」の損失関数です。それは、車に乗るか自転車に乗るかに関わらず、同じ GPS 座標に従えば、同じ目的地に到達することに気づくようなものです。

まとめ

この論文は架け橋です。それは、さまざまな拡散アルゴリズム（DDPM、DDIM、フローマッチング）の厄介で複雑な世界を取り上げ、それらがすべて同じ微分方程式を解く異なる方法に過ぎないことを示します。

フォワード： データをノイズに変える（簡単）。
リバース： ノイズをデータに変える（難しい）。
秘密： ノイズを推測することで「傾斜」（スコア）を学ぶ。
結果： 揺れる杖で歩く（SDE）か、滑らかなレールを滑る（ODE）かに関わらず、傾斜に従えば、美しい画像を生成できます。

技術的サマリー：拡散理論に関するチュートリアル：微分方程式から拡散モデルへ

問題提起

拡散モデルは生成モデルにおける支配的なパラダイムとして浮上したが、この分野は離散マルコフ連鎖（DDPM）、連続確率微分方程式（SDE）、確率流常微分方程式（ODE）、スコアマッチング、フローマッチングといった多様な定式化の氾濫によって特徴づけられている。これらのアプローチが互いに関連することは知られているが、トレーニング目的、逆時間ダイナミクス、サンプリング手順に関するそれらの間の厳密な数学的対応関係は、異なる表記法や離散対連続の視点によってしばしば不明瞭になっている。本チュートリアルは、微分方程式の観点から拡散モデルを厳密に導出することによりこれらの視点を統合し、条件付きガウス過程、周辺化された前方ダイナミクス、およびそれらに対応する逆時間定式化の間に厳密な架け橋を築くことを目指す。

手法

本論文は、確率解析と偏微分方程式に根ざした厳密な数学的枠組みを採用し、拡散モデルの理論を再構築する。手法は以下の論理的段階を経て進行する。

条件付き前方過程: 著者は、パラメータ $\alpha_t$ と $\sigma_t$ によって支配される条件付きガウス前方過程 $X_t | X_0 = x_0$ を定義することから始める。この特定の経路が以下の 2 つの同等な表現を許容することを示す。
- 条件付きスコアから導出された速度場によって駆動される条件付き ODE。
- ドリフト項とブラウン運動によって駆動される条件付き SDE。
  本論文は、条件付き密度が ODE に対する連続の方程式と、SDE に対するフォッカー・プランク方程式の両方を満たすことを証明する。
周辺化: データ分布 $p_0$ 全体で条件付き過程を平均化することにより、著者は周辺化された前方過程を導出する。周辺密度 $p_t(x)$ もまた連続の方程式とフォッカー・プランク方程式を満たすことを示す。重要なのは、フィッシャーの恒等式を用いて、周辺スコア $\nabla \log p_t(x)$ を条件付きスコアの期待値に関連付け、周辺速度場が条件付き速度場の期待値であることを確立することである。
逆ダイナミクス: 本論文は逆時間変数 $\tau = 1-t$ を導入し、逆時間ダイナミクスを導出する。
- 逆 SDE: 前方 SDE の時間反転を用いて、著者は周辺スコア $\nabla \log p_t(x)$ によって支配される逆 SDE を導出する。
- 逆 ODE（確率流）: 逆 SDE と同じ周辺密度経路を共有する決定論的 ODE を導出する。この「確率流 ODE」は、スコアの線形変換（アフィン変換）である速度場を持つことが示される。
トレーニング目的: このチュートリアルは、実務で用いられる標準的なノイズ予測目的と、理論的なスコアマッチング目的を結びつける。直交性恒等式を用いて、ニューラルネットワークのノイズ予測と真のノイズとの間の期待二乗誤差を最小化することが（定数までの）スコアマッチング損失を最小化することに等しいことを著者は証明する。これにより、標準的なトレーニング目的が、逆 SDE と逆 ODE の両方に必要な周辺スコアを学習することが確立される。
サンプリングと統合: 本論文は、学習された逆 SDE（オイラー・マルヤマ）と逆 ODE（オイラー、ハイウン、DPM-Solver）の両方に対するサンプリングアルゴリズムの詳細を述べる。最後に、離散的な DDPM と DDIM アルゴリズムをこの連続的枠組みに明示的にマッピングする。
- DDPM は、逆 SDE の離散近似に対応することが示される。ここで、確率的項は離散連鎖の正確な事後分散を利用する。
- DDIM は、逆 ODE（決定論的）の離散近似に対応することが示され、確率性パラメータ $\eta$ によって両者の間で補間が可能である。
ガイダンスとフローマッチング: この枠組みは、分類器ガイダンスと分類器フリーガイダンスを含むように拡張され、これらが逆ドリフトをどのように修正するかを示す。さらに、本論文はスコアマッチングとフローマッチングを統合し、標準的な拡散損失が、誘導された確率流 ODE に対する重み付けされたフローマッチング目的として解釈できることを示す。

主要な貢献

統合された導出: 本論文は、条件付きガウス前方経路が ODE と SDE の両方の表現を許容し、この経路を周辺化することで一貫した周辺 ODE と SDE 定式化が得られることを示す、単一かつ整合性の取れた導出を提供する。
目的の同等性: 標準的なノイズ予測損失がスコアマッチングと同等であることを厳密に証明し、さらにこの同じ損失が決定論的逆 ODE に対してフローマッチング目的を誘導することを示す。
DDPM/DDIM の統合: 離散的な DDPM と DDIM アルゴリズムを、それぞれ連続的な逆 SDE と逆 ODE 枠組みに明示的に関連付ける。DDPM サンプリングは（特定の分散処理を伴う）逆 SDE の一次離散化であり、DDIM は逆 ODE の離散化であることを明確にする。
ノイズ項の明確化: 付録は、前方時間と逆時間で使用される 3 つの異なるノイズ記号（ $W_t$ 、 $W^{rev}_\tau$ 、 $\bar{W}_t$ ）について詳細な明確化を提供し、時間反転設定におけるブラウン運動に関する一般的な表記の混乱を解消する。
ガイダンスの一般化: このチュートリアルは、逆 SDE/ODE 枠組み内で分類器ガイダンスと分類器フリーガイダンスの両方を形式化し、これらが条件付きスコアを介してドリフト項をどのように修正するかを示す。

結果

本論文は新しい実証結果や実験ベンチマークを提示しない。代わりに、その「結果」は理論的導出と証明である。

定理 1.2 および 1.4: 条件付きガウス経路が特定の ODE と SDE 両方によって生成されることの証明。
定理 2.1 および 2.2: 周辺化された過程が周辺 ODE と SDE 定式化によって生成されることの証明。
定理 3.3 および 3.5: 逆 SDE と逆確率流 ODE の導出、およびそれらが同じ密度経路を共有する証明。
定理 4.2: ノイズ予測損失とスコアマッチング損失の同等性の証明。
定理 7.6 および 7.7: DDPM のトレーニングと推論が離散グリッド上の逆 SDE 枠組みに対応することを示す。
定理 7.8: 決定論的 DDIM が逆 ODE 枠組みに対応することを示す。
命題 8.1: 拡散損失が逆 ODE 速度に対する重み付けされたフローマッチング目的であることを証明する。

意義と主張

本論文は、現代の拡散モデルの理論的基盤を明確にすることを意図したチュートリアルとして位置づけられている。その意義は以下の点にある。

離散と連続の架け橋: 離散マルコフ連鎖定式化（DDPM）と連続 SDE/ODE 定式化（Song et al., 2020; Lipman et al., 2023）の間の見かけ上の断絶を解消し、それらが同じ基盤となる連続ダイナミクスの異なる離散化であることを示す。
視点の統合: 「スコアベースの視点」（ $\nabla \log p_t$ を学習する）と「フローベースの視点」（速度場 $v_t$ を学習する）を統合し、拡散設定においてこれらが単純な線形変換（アフィン変換）によって結びついていることを示す。
教育的厳密性: 第一原理（条件付きガウスカーネル、フォッカー・プランク方程式、伊藤解析）からすべての段階を導出することにより、生成モデリングの異なるサブ分野でしばしば見られる表記の不一致を避けた、自己完結型の参照資料を提供する。

著者は、この枠組みが拡散モデル、フローマッチング、スコアマッチングを理解するための「単一の言語」を提供し、研究者が逆 SDE が確率的生成モデルであり、逆 ODE が決定論的フローモデルであることを、両者が同じ学習されたスコア関数によって駆動されているという点で理解できるようにすると主張している。