📊 statistics

Sticky Jump Diffusions: A Unifying View of Masked, Continuous, and Hybrid Diffusion

本論文は、マスク型、連続型、およびハイブリッド型の拡散モデルを極限として回収する統一的な連続時間マルコフフレームワークであるSticky Jump Diffusions (SJD) を導入し、Denoising Hazard Matchingによるシミュレーションフリーの学習を可能にするとともに、CIFAR-10、Text8、Sudokuといったタスクにおける性能を向上させる破損カーネルの柔軟な設計空間を提供する。

原著者： Pascal Jutras-Dubé, Patrick Pynadath, Jeremy Lu, Yuan Gao, Ruqi Zhang

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Pascal Jutras-Dubé, Patrick Pynadath, Jeremy Lu, Yuan Gao, Ruqi Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

砕け散ったモザイクを再構築しようとしている場面を想像してみてください。しかし、手元にあるのは単なる壊れた破片だけではありません。そこには、いくつかの破片をその場に留めておく一方で、他の破片を霧のような雲の中に漂わせる、魔法の粘着性のある床があります。これが、コンピュータに画像やテキスト、さらには数独（Sudoku）のようなパズルさえも生成させる新しい手法、「スティッキー・ジャンプ・ディフュージョン（Sticky Jump Diffusions: SJD）」の世界です。

大きなアイデア：粘着性のある床と霧の部屋

これを理解するために、コンピュータが通常どのように「壊れたものを元に戻そう」とするのかを見てみましょう。

従来の方法:

マスク・アプローチ（Masked Approach）: 文章があり、いくつかの単語を黒いボックスで隠している状況を想像してください。コンピュータはその箱の下に何があるかを推測します。しかし、ここでの問題は、一度単語が隠されると、コンピュータはそれを白紙の状態として扱うことです。コンピュータは、正解の単語がどれくらい近かったのかを知りません。これは、文字を一度見たことを忘れてしまう「ハングマン」のゲームをしているようなものです。
連続的アプローチ（Continuous Approach）: コンピュータがすべての単語を、巨大で滑らかな3D空間内の浮動小数点へと変換している状況を想像してください。コンピュータは、それらが正しく見えるまでポイントを動かしていきます。しかし、作業が終わったとき、ポイントは空中を漂っており、実際の単語の上には乗っていません。そのため、コンピュータは最後に、それらを最も近い単語に無理やりスナップさせるという、不器用で余分なステップを踏む必要があります。これは、ケーキを焼いた後に、落ちてしまったフロスティングを手作業で再び貼り付けなければならないようなものです。
ハイブリッド・アプローチ（Hybrid Approach）: これは両方の性質を持ち合わせようとするものです。一部の単語をマスクしたままにし、他の単語を浮遊させます。しかし通常、単語をいつ元の位置にスナップさせるかのルールは、プログラマーによって推測されたり、手動で選ばれたりします。

新しい解決策 (SJD):
パデュー大学の研究チームはこう言います。「ルールを推測するのはやめましょう。ルールの根拠を、プロセス自体の物理学から導き出すのです。」

彼らは、データが「アンカー（錨）」のような固形物から始まるシステムを作り上げました（前向きのプロセスにおいて）。（「壊していく」フェーズでは）これらのアンカーは、特定の割合で質量を放して離れ、連続的な霧のような空間へと漂っていきます。

逆向きのプロセス（「修復する」フェーズ）において、魔法が起こります。コンピュータは単に推測するのではなく、「フラックス・バランス（流束バランス）」と呼ばれる数学的な法則を用います。これは、混雑した駅を想像してみてください。もし、駅を離れた人が正確に何人いて、彼らがどこへ行ったかを知っていれば、駅のバランスを保つために、何人が到着し、どこへ行く必要があるかを正確に計算できます。

SJDでは、コンピュータは「ハザード率（ある破片が元の状態に戻る確率）」と「目的地（どの単語になるべきか）」を自動的に計算します。これは、あらかじめ決められたスケジュールではなく、データがどのように壊れたかという自然な結果なのです。

秘伝のソース：一つの脳、二つの仕事

通常、この種の課題を解決するには、スコア（霧をどう動かすか）を推測する脳と、ジャンプ（いつ元の状態にスナップするか）を推測する別の脳が必要になります。

著者らは、「デノイジング・ハザード・マッチング（Denoising Hazard Matching）」と呼ばれる巧妙なトリックを発見しました。彼らは、単一のニューラルネットワーク（一つの脳）がこれら両方の仕事をこなせることを証明しました。標準的な「クロスエントロピー」ゲーム（コンピュータにカテゴリを推測させる一般的な方法）を用いて学習させることで、ネットワークはこれら両方の問いに対する答えを学習します。それは、学生に数学の問題を解くように教え、その後、同じ学生が問題を見ただけで、その答えを計算するのにどれくらいの時間がかかるかさえも正確に言えることに気づくようなものです。

「スティッキー（粘着性）」なひねり：隣接要素のブレンド

ここからが、この論文の最もクリエイティブな部分です。従来のハイブリッドモデルでは、データが破損する場合、その破損は「そのデータ自身のみ」に基づいて行われていました。画像のピクセルを修正している場合、コンピュータはその一つのピクセルだけを見ていました。

著者らは「ブレンディング・マトリックス（混合行列）」を導入しました。文章を修正している場面を想像してください。修正している単語だけを見るのではなく、その周囲にある単語も見ます。数独のパズルでセルを修正しているなら、同じ行、列、およびボックス内の数字を見ます。

コンピュータは、データを隣接するものとブレンドすることで破損させます。

画像の場合 (CIFAR-10): ピクセルを周囲のピクセルとブレンド（ぼかし）ます。これにより、コンピュータは隣接するピクセル同士が通常は関連していることを理解します。
テキストの場合 (Text8): 文字をその周囲の文字とブレンドします。これにより、「q」の次には通常「u」が続くといったことを理解させます。
数独の場合: セルをその行、列、および3x3のボックス内のセルとブレンドします。これにより、破損プロセスを通じて、ゲームのルールを直接コンピュータに教え込みます。

数字が示すこと

チームは、3種類の異なるパズルでテストを行いました。

画像 (CIFAR-10): 品質をFIDと呼ばれるスコアで測定しました（低いほど良い）。新しい手法は14.57というスコアを記録し、従来の最高水準であったハイブリッドモデル（CADD）の15.88や、マスク・ディフュージョン・モデル（MDLM）の18.11を上回りました。
テキスト (Text8): コンピュータが生成できる有効な単語の数を数えました。ブレンディング帯域幅が1.5のとき、新しい手法は、思考に時間をかけるほど（高いNFE予算）、従来の最高モデルよりも長い（長さ5または6）有効な単語をより多く生成しました。
数独: これが最大のテストでした。従来のハイブリッドモデル（CADD）は不安定であり、トレーニングの実行によっては完全に失敗（精度が偶然レベルまで低下）していました。新しい手法（SJD）は決して崩壊しませんでした。CADDの精度が47.12%であったのに対し、SJDは95.65%の精度で完全な盤面を解きました。また、より速く解き始め、CADDの203,000ステップに対して、わずか50,000ステップで立ち上がりました。

明確に否定されたこと

著者らは、何が機能せず、何が必要でないかを明確に述べています。

手動調整されたスケジュールは不要: 彼らは、トークンへの「コミット（確定）」を行うタイミングのためのスケジュールを、手動で設計する必要はないと主張しています。彼らのシステムでは、スケジュールは数学によって自動的に計算されます。
第二のネットワークは不要: 彼らは、ハザード（ジャンプ率）を計算するために、コンピュータの別個の部分は必要ないと証明しました。単一のネットワークで十分なのです。
ハザード率の学習: 彼らは、コンピュータに「ハザード率（物事が壊れる速さ）」をゼロから学習させようと試みました。しかし、その結果は実際には悪化することがわかりました。最良の結果は、ハザード率を固定して単純に保ち、「ブレンディング（隣接要素との相互作用）」に重労働を任せたときに得られました。

どの程度の確信があるのか？

著者らは、自分たちの数学的根拠に強い自信を持っています。彼らは、厳密な定理（定理2.6および定理3.2）を用いて、自分たちの手法が前向きプロセスの正確な時間反転であることを証明しました。単に「うまくいくかもしれない」と示唆したのではなく、それが機能する方程式を示したのです。

ただし、パフォーマンスの数値（FIDスコアや数独の精度など）は、シミュレーションと実験に基づいています。彼らは特定のデータセット（CIFAR-10、Text8、Sudoku）に対してモデルを実行し、結果を測定しました。その結果、新しい手法が一貫して旧来の手法を上回っていることを発見しました。彼らは、これが宇宙のあらゆることに通用すると主張しているわけではありませんが、テストされたタスクにおいては、その証拠は強力です。

まとめ

スティッキー・ジャンプ・ディフュージョンは、コンピュータに、再構築しようとしている地形の地図を与えるようなものです。破片をどこに置くべきかを盲目的に推測したり、いつ停止するかを手動で指示したりする代わりに、コンピュータは「壊れる」プロセスの物理学を利用して、完璧な「修復」プロセスを導き出します。そして、破損フェーズにおいて破片に「隣接するものを感じさせる」ことで、コンピュータは、数独のグリッドや文章の流れといった、世界の構造を以前よりもはるかに深く尊重して学習することができるのです。

技術要約：スティッキー・ジャンプ拡散（Sticky Jump Diffusions, SJDs）

問題提起

拡散ベースの生成モデリングは、連続的なデータから離散的なシーケンス（例：テキスト）へと成功裏に拡張されてきたが、既存のアプローチは、離散的ダイナミクスと連続的ダイナミクスを統一する上で根本的な限界に直面している。主に以下の2つの系統が存在する：

マスク拡散（Masked Diffusion）: 離散的なトークンスペース上で動作し、構造的に有効なトークンを出力する。しかし、各位置を単一の吸収トークンへとマッピングするものとして扱うため、候補となるトークンへの近接性に関する段階的な情報を消失させてしまう。
連続拡散（Continuous Diffusion）: 標準的なスコアベース学習を用いてトークン埋め込み上で動作する。その終端状態は離散的なサポートの外側に位置するため、離散トークンを復元するには外部の投影ステップ（例：デコーダや量子化）を必要とするが、これは学習されたダイナミクスの一部ではない。
ハイブリッド拡散（Hybrid Diffusion）: マスクされた連鎖と連続的な潜在変数を組み合わせる。これらは効果的ではあるものの、コミットメント率、目的地、およびドリフトを、統一されたフォワードプロセスから導出される設計上の選択肢としてではなく、個別の設計要素として扱い、リバースサンプラーを手動で組み立てることが多い。

核心となる課題は、これらのレジームを自然に橋渡しする連続時間マルコフ過程を定義することである。そこでは、リバースダイナミクス（離散トークンへのコミットメントと連続拡散）が、ヒューリスティックに設計されるのではなく、フラックスバランス（流束平衡）を介してフォワードプロセスから数学的に導出される必要がある。

手法：スティッキー・ジャンプ拡散（SJDs）

著者らは、有限または可算なアンカー $A$ （トークン埋め込みと同一視される）を持つ $\mathbb{R}^d$ 上の連続時間マルコフプロセスの一種である**スティッキー・ジャンプ拡散（SJD）**を導入する。

1. フォワードダイナミクス（Unsticking / 脱着）

フォワード時間において、データはアンカー $a \in A$ から始まる。プロセスは以下のように進化する：

スティッキング・フェーズ（Sticking Phase）: 粒子は、ハザード率 $\vec{\lambda}_t$ によって制御されるランダムな期間、アンカー $a$ に留まる。
アンスティッキング（Unsticking）: ハザードイベントが発生すると、粒子は連続領域 $X_A = \mathbb{R}^d \setminus A$ 上にサポートされたカーネル $R_t(\cdot | a)$ からサンプリングされた新しい状態 $Y$ へと「脱着」する。
拡散（Diffusion）: $X_A$ に入ると、軌跡は標準的な確率微分方程式（SDE）に従って拡散する： $d\vec{X}_t = \vec{b}_t(\vec{X}_t)dt + g_t d\vec{W}_t$ 。
質量分割（Mass Split）: 周辺分布 $p_t$ は、 $X_A$ 上の絶対連続な密度と、アンカー $A$ 上の原子質量へと分割される。

鍵となる革新（クロスポジション・ブレンディング）: 標準的なハイブリッドモデルでは、アンスティッキング・カーネルがローカルなアンカーのみに依存するのに対し、SJDはブレンディング行列 $W$ を通じて、カーネルがシーケンス全体に依存することを許容する。位置 $i$ におけるアンスティッキング分布の平均は、隣接するアンカーの埋め込みの加重ブレンドとなる： $\mu_i(\vec{X}_0) = (W E(\vec{X}_0))_i$ 。これにより、構造的な帰納バイアス（例：空間的な局所性や制約グラフ）が、破損プロセスに直接エンコードされる。

2. リバースダイナミクス（Sticking / 着着）

SJDの時間反転は、2つの結合されたメカニズムを持つ生成プロセスを与える：

スコア駆動型SDE: 連続領域 $X_A$ において、プロセスはスコア関数 $\nabla \log p_t(x)$ によって駆動されるリバースSDEに従う。
スティッキー・ジャンプ・カーネル: プロセスは連続領域からアンカーへとジャンプする。リバース・ハザード率（いつジャンプするか）とジャンプ目的地（どこへジャンプするか）は、フラックスバランス方程式（フォワードフローとリバースフロー間の詳細釣合い）によって一意に決定される。
- 決定的なのは、コミットメント率と目的地は手動で設計されたスケジュールではなく、フォワード法則によって固定されている点である。

3. 学習：デノイジング・ハザード・マッチング（DHM）

リバースプロセスを学習可能にするために、著者らはハザード版のデノイジング・スコア・マッチングである**デノイジング・ハザード・マッチング（DHM）**を提案する。

単一の分類器: 単一のデノイジング分類器 $P_\theta(a | y, t)$ が、SJDによって破損されたペア $(\vec{X}_0, \vec{X}_t)$ に対する標準的なクロスエントロピーを通じて学習される。
解析的な再重み付け: リバース・ハザードと割り当て確率は、第2のネットワークヘッドを用いることなく、DHMを用いて解析的に $P_\theta$ $P_{θ}$ から回収される。
- リバース・ハザード $\vec{\lambda}^\star_t(y)$ は、SJD破損下でのフォワード既知ターゲット（DHMターゲット）の条件付き期待値として推定される。
- 割り当て確率 $\pi^\star_t(a|y)$ は、分類器のロジットをDHMターゲットによって再重み付けすることで導出される。
シミュレーションフリーの学習: 標準的な条件下（閉形式の生存関数、ガウス閉包による畳み込み）において、学習はSJDの経路のシミュレーションを必要としない。ターゲットに必要な混合密度は、閉形式の求積法によって評価されるため、学習パイプラインはシミュレーションフリーであり効率的である。

主な貢献

SJDプロセス・クラス: フォワード周辺分布が連続密度と離散原子に分割される、ジャンプ拡散の統一されたフレームワーク。これは、古典的なスティッキー境界拡散を高次元アンカー集合へと一般化したものである。
単一の分類器からのリバースダイナミクス: 著者らは、単一のデノイジング分類器を用いたDHMを通じて、スコアと各アンカーごとのリバース強度がともに推定できることを導出した。これにより、個別のハザードヘッドの必要性が排除され、分類器出力のRao–Blackwellized再重み付けに依存する形となった。
拡散ファミリーの統一的視点: SJDは、既存のモデルを特定の極限として回収する：
- マスク拡散: アンスティッキング・カーネルが単一の吸収点へと崩壊する場合に生じる。「情報の空白」は、アンカーに依存しないアンスティッキング・カーネルにより、破損状態がソース・トークンの証拠を保持できないという構造的理由で説明される。
- 連続拡散: ジャンプ率がゼロの場合に生じる。終端投影の必要性は、フォワード周辺分布に原子が存在しないため、リバース・ジャンプが発生しないことによって説明される。
- ハイブリッド拡散: アンスティッキング・カーネルがフォワード摂動カーネルと一致する場合に生じる。コミット率、目的地、およびドリフトは、手動の設計ではなく、自然にフラックスバランスに従うことが示されている。
設計空間としてのジャンプ・カーネル: ブレンディング行列 $W$ を変化させることで、著者らは新たな設計空間を導入している。クロスポジション・ブレンディングは、各位置を隣接するクリーンな値のブレンドへと破損させることで、依存構造（空間的、逐次的、または制約ベース）を破損自体の帰納バイアスへと変える。

実験結果

著者らは、構造的な依存関係が既知である3つのデータセットにおいて、クロスポジション・ブレンディングの軸を実証的に検証した：

CIFAR-10 (画像生成): 空間的な局所性をエンコードするために値空間のブラー・カーネルを使用。非局所カーネル（ $\sigma_B = 2.5$ ）を用いたSJDは、アイデンティティ・カーネルを用いたハイブリッド（CADD, 15.88）や他のベースライン（MDLM, Bit Diffusion）よりも低いFID（14.57）を、256 NFEにおいて達成した。
Text8 (テキスト生成): 局所的な逐次的相関をエンコードするために1Dガウス畳み込みを使用。 $\sigma_W \ge 1.0$ を用いたSJDは、CANDIやMDLMを上回り、特に長いシーケンス長（ $\ge 6$ ）および様々なNFE予算において、有効な単語生成数において優位性を示した。
Sudoku (制約充足問題): 行/列/ボックスの依存関係をエンコードするために制約グラフ・カーネルを使用。SJDはアイデンティティ・カーネルを用いたハイブリッド（CADD）を大幅に上回った。CADDは二峰性のパフォーマンス（しばしばチャンスレベル付近への崩壊）を示すのに対し、SJDは一貫して盤面を解き、95.65%の精度を達成し、訓練ステップにおいて4倍速く収束した。

意義と主張

本論文は、スティッキー・ジャンプ拡散が、マスク、連続、およびハイブリッド拡散を統一するプロセスレベルの説明を提供すると主張している。

理論的統一: 離散的および連続的な座標は、手動で結合されるべき別個のエンティティではなく、コミットメント率と目的地がフラックスバランスによって固定される、単一のリバース状態であることを示している。
設計空間の拡張: アンスティッキング・カーネルを明示的な設計空間として扱うことで、研究者は構造的な事前知識（空間的局所性や論理的制約など）を、リバースサンプラーの基本アーキテクチャを変更することなく、フォワードの破損ダイナミクスに直接エンコードできる。これにより、生成の質と論理的一貫性が向上する。
実用的な効率性: SJD特有の構造は、解析的な再重み付けと閉形式の求積法を通じてのみ現れるため、訓練およびサンプリングのコストは既存のハイブリッドモデルと同等であり、追加のネットワークパラメータやシミュレーションのオーバーヘッドを必要としない。

著者らは、この統一的な視点により、拡散モデルの拡張が容易になると結論付けている。新しい破損、スケジュール、およびコミットメント・ルールは、フォワードダイナミクスとして指定でき、時間反転定理を介して無料でリバース側を得ることができる。