技術概要：有色ノイズ拡散サンプリング（CNS）

問題定義

拡散モデルは画像合成において最先端の性能を確立しているが、その生成軌道には根本的なスペクトルバイアスが存在する。つまり、サンプリングプロセスの初期段階では低周波数の大域構造が早期に解像され、高周波数の微細な詳細は後になって解像される。従来の確率微分方程式（SDE）ソルバーはこの動的特性を考慮していない。それらは生成プロセス全体を通じて一様な白色ノイズを単純に注入し、すべての周波数帯域を同様に扱う。このアプローチは、確率過程の有限な「エネルギー予算」を誤用し、すでに構造的に解像されている周波数帯域にノイズエネルギーを割り当て、遅れている帯域を軽視している。その結果、標準的な SDE は生成された画像と実画像の間の「スペクトルギャップ」を生じさせ、真のデータ多様体のパワースペクトル密度（PSD）を完全に回復できないことが多い。

既存の解決策は、訓練フレームワークを変更する（高コストな再訓練を必要とする）か、基礎となる確率ソルバーを静的なブラックボックスとして扱う推論時の修正（周波数非依存操作やステップサイズ調整など）を適用する。これらの方法は、スペクトル的に均一なソルバーへの依存によって制約されたままとなっている。

手法：有色ノイズサンプリング（CNS）

著者は、モデルの固有のスペクトルバイアスを積極的に活用する、訓練不要な新しい確率ソルバーである有色ノイズサンプリング（CNS）を提案する。核心的な洞察は、SDE 推論をターゲット指向の、周波数非依存のエネルギー転送として再定義できることである。

1. 数学的枠組み

著者は、拡散推論が信号を保持する転送機構として機能することを確立した。初期ノイズはある程度保持されるが、軌道全体を通じて SDE ソルバーによって注入される確率的増分も、最終画像の空間特徴に直接マッピングされる。重要なのは、このマッピングが周波数非依存であることだ。特定の周波数帯域に注入されたノイズは、同じ帯域の空間特徴にマッピングされる。

著者は、一様な白色ノイズに対する古典的なランジェヴィンの要件を安全に緩和できることを示した。ステップごとの総注入エネルギーが正規化されていることを保証すれば（大域的な分散保存制約）、ノイズのスペクトル構成が変化しても、中間状態は分布から逸脱しない。

2. CNS アルゴリズム

CNS は、一様な白色ノイズの注入を動的な、時間ステップおよび周波数依存のスケジュールに置き換える。

• 進行度の追跡: この手法は、時間ステップ $t$ においてネットワークが特定の周波数帯域の最終構造のどの程度を解像したかを測定する、有界な進行インデックス $\gamma(f, t)$ を利用する。低周波数は早期に解像され（$\gamma \to 1$）、高周波数は後になって解像される。
• 動的割り当て: CNS は、各周波数帯域に対してスケーリング重み $\beta_f(t)$ を計算する。この重みは、その帯域の構造的解像度に反比例する。具体的には、分散乗数は構造的欠損（$1 - \gamma(f, t)$）に比例する。
  • 完全に解像された帯域（$\gamma \approx 1$）は、注入されるエネルギーが少なくなる（減衰）。
  • 構造的に未解像の帯域（$\gamma \approx 0$）は、より多くの注入エネルギーを受け取る（増幅）。
• 大域制約: 安定性を維持するため、スケーリング重みは、すべての次元にわたる平均注入エネルギーが一定になるように正規化される：$\frac{1}{D}\sum \beta_f^2(t) = 1$。これはノイズ注入をゼロサムゲームとして扱い、「解決済み」の帯域からエネルギーを「遅れている」帯域へ再配分する。

3. 実装

CNS は、標準的な SDE ソルバー（Euler-Maruyama、Heun、SRK など）のプラグ-and-play 置換として実装される。モデルの再訓練を必要とせず、完全に推論時に動作する。アルゴリズムは、現在の状態のスペクトルプロファイルに基づいて、各ステップでノイズ増分を動的に着色する。

主要な貢献

1. 理論的枠組み: 本論文は、SDE ノイズ注入をターゲット指向のエネルギー転送として再定義する数学的枠組みを確立する。スペクトル的に均一な白色ノイズに対する厳密な要件を緩和し、中間状態を分布外に押しやらずにスペクトルギャップを解消できることを証明する。
2. 新しいソルバー（CNS）: 構造的に未解像の周波数帯域に向けて注入ノイズエネルギーを動的に割り当て、モデルのスペクトルバイアスを積極的に活用する、訓練不要な確率ソルバー「有色ノイズサンプリング」の導入。
3. 実証的検証: 多様なアーキテクチャ（SiT、JiT、FLUX）およびモダリティ（ピクセル空間、潜在空間、テキストから画像）にわたる広範な実験により、CNS が標準的な ODE および SDE ベースラインを大幅に上回ることを実証する。

実験結果

著者は、ImageNet-256 およびテキストから画像へのベンチマーク（FLUX）において CNS を評価し、Fréchet Inception Distance（FID）、空間 FID（sFID）、Inception Score（IS）、および人間の嗜好性指標を通じて性能を測定した。

• クラス条件付き生成（ImageNet-256）:
  • SiT-XL/2: CNS は、SDE の 8.26 から 6.27 に、ガイドなし FID を削減する。
  • JiT-B/16: CNS は、SDE の 32.39 から 26.69 に、ガイドなし FID を削減する。
  • JiT-H/16: CNS は、SDE の 11.88 から 8.31 に、ガイドなし FID を削減する。
  • CNS は、Classifier-Free Guidance（CFG）と併用した場合にも、ベースラインに対して約 8% から約 50% の相対的な FID 改善を一貫して示す。
• テキストから画像への生成（FLUX）:
  • FLUX.1-dev および FLUX.2-klein への統合は、CLIPScore による意味的整合性を維持しつつ、自動的な人間の嗜好性スコア（ImageReward）および審美性スコアを向上させる。
• ロバスト性: CNS は、さまざまな離散化ステップおよびソルバー次数（1 次から 5 次）にわたって、標準的なサンプリングを一貫して上回る。
• 直交性: CNS は、代替ノイズ分布（例：拡散モデル用のブルーノイズ）で訓練されたモデルに適用された場合でも改善を提供し、その汎用性を確認する。

意義と主張

本論文は、CNS が標準的な拡散 SDE ソルバーにおける根本的な非効率性、すなわち無駄な一様な白色ノイズの注入に対処すると主張する。推論をターゲット指向のエネルギー転送として再概念化することにより、CNS は生成分布を真のデータ多様体へと体系的に誘導する。

著者は、CNS が厳密なプラグ-and-playソリューションであることを強調する。モデルの再訓練や基礎となるネットワークアーキテクチャの変更を必要とすることなく、生成忠実度と視覚的品質を向上させる。この研究は、生成画像における「スペクトルギャップ」は単なる数値的誤差ではなく、エネルギー配分の不一致に起因する結果であり、モデルの構造的学習曲線に一致するようにノイズを動的に着色することで修正可能であることを示唆している。

限界: 著者は、CNS は SDE フレームワークに依存しているため、超高速・低ステップ推論において依然として好まれる決定論的 ODE ソルバーとは互換性がないと指摘する。今後の研究として、周波数依存のエネルギールーティングを決定論的パラダイムに拡張し、この手法を動画生成に応用することが提案されている。