技術要約：温度サンプリングと分散補正タイムシフトによる多様化（Diversify Diffusion with Temperature Sampling and Variance-Corrective Time Shifting）

問題提起

拡散モデルは学習データの分布を忠実に再現するが、本質的にデータの不均衡を継承するため、稀なモードや過小表現されたモードにサンプリングで到達することが困難である。自然な推論時の解決策として、支配的なモードを平坦化し、稀なモードをブーストするために、高温度のターゲット分布 $p^{(\gamma)}_0(x) \propto p_0(x)^\gamma$ （ここで $0 < \gamma < 1$）からサンプリングするという概念があるが、この概念を素朴に適用することは実際には失敗する。

学習されたスコア関数を直接スケーリングする（すなわち、$\gamma \nabla_x \log p_t(x)$ を使用する）ことは、マクロな目標であるモードの再重み付けは達成するものの、ミクロな**分散拡大（variance expansion）**を引き起こす。この過剰な分散は、ノイズが付加されたテンパリング済み周辺分布のスコアと逆拡散過程との間の厳密な対応関係を破壊し、オフマニフォールド（分布外）でぼやけた、低品質なサンプルをもたらす。多様性を高める既存の手法は、再学習、補助的な分類器、または並列な粒子フィルタリングを必要とすることが多く、その適用性や忠実度を制限している。

手法：分散補正タイムシフト（Variance-Corrective Time Shifting）

著者らは、モードの再重み付けと分散の膨張をデカップル（分離）する、トレーニングフリーのメカニズムである分散補正タイムシフトを提案する。核心となる洞察は、テンパリングされた分布のスコア $\nabla_x \log p^{(\gamma)}_t(x)$ は、元のスコアを単にスケーリングすることでは正確に得られないが、シフトされたタイムステップ $\tilde{t}$ においてネットワークにクエリを行うことで正確に近似できるという点にある。

理論的導出

1. 不一致（The Mismatch）: ノイズが付加された周辺分布 $p_t(x)^\gamma$ を直接テンパリングすることは、テンパリングされたデータのノイズ付き周辺分布 $p^{(\gamma)}_t(x)$ とは異なる。モードが十分に分離しているという仮定の下では、直接的なテンパリングはガウス成分の分散を $1/\gamma$ 倍にするが、真のテンパリング済み周辺分布は元の分散スケジュールを維持する。
2. 補正（The Correction）: 分散の膨張なしに望ましいテンパリング済み周辺分布を回復するために、本手法は、ノイズレベルが $\sigma^2_{\tilde{t}} = \gamma \sigma^2_t$ を満たすように、シフトされた時刻 $\tilde{t}$ で事前学習済みネットワークにクエリを行う。
3. スコア推定器（The Score Estimator）: テンパリングされた分布のスコアは、次のように近似される：
   $$\nabla_x \log p^{(\gamma)}_t(x) \approx \gamma \left( -\frac{\epsilon_\theta(x, \tilde{t})}{\sigma^2_{\tilde{t}}} \right)$$
   これは、モードの再重み付け効果を維持しながら、分散の拡大を効果的に相殺する。

粗から細への制御（Coarse-to-Fine Control）

本手法は、逆拡散過程の異なる段階で適用されるスケジュール $\gamma(t)$ を許容する：

• 初期段階（高ノイズ時）: ここで $\gamma(t) < 1$ を適用することは、**構成的な多様性（compositional diversity）**を駆動し、サンプリング粒子を異なるアトラクター（モード）へと導く。
• 中間/後期段階（低ノイズ時）: ここで $\gamma(t) < 1$ を適用することは、グローバルな構成とモードの同一性を保持しながら、**局所的な外観のバリエーション（local appearance variation）**を駆動する。

主な貢献

1. 分散拡大の特定: 本論文は、拡散モデルにおける素朴なスコアのスケーリングが、意図しない分散の膨張によって逆拡散過程を破壊し、サンプル品質を低下させることを特定した。
2. 分散補正タイムシフト: シフトされたタイムステップでネットワークにクエリを行うことで、望ましいテンパリング済み周辺分布を回復し、効果的な高温度サンプリングを可能にする、コストゼロのトレーニングフリーな補正手法。
3. 実用的な多様性のノブ: 本手法は、再学習なしに、事前学習済みの拡散およびフローマッチング・バックボーンに対して、温度サンプリングを多様性を高めるための実用的なツールへと変貌させる。
4. 段階的な制御: 温度介入のタイミングによって、構成的な多様性（初期）と局所的なバリエーション（後期）を区別できることを示している。

実験結果

本手法は、様々なアーキテクチャ（DiT, Stable Diffusion 1.5/3.5/XL, Motion Diffusion Models）およびモダリティ（画像、モーション）にわたって評価された。

• 多様性と忠実度（Diversity vs. Fidelity）: 本手法は、サンプル品質や条件への忠実度（VQAスコアや分類器の精度で測定）を最小限のコストで維持しながら、多様性（Vendiスコアで測定）を一貫して向上させる。
• 比較:
  • CADSに対して: 提案手法は、CADSが条件への整合性を低下させがちなのに対し、より優れたプロンプト忠実度を維持する。
  • Feynman-Kac (FK) に対して: 著者らの実験において、FKは高い温度（$\gamma < 1$）において苦戦し、しばしば使用不可能なサンプルを生成するが、提案手法は安定性を保つ。
  • 直接的なテンパリング/TSRに対して: タイムシフトなしでは、低い $\gamma$ 値が過剰なノイズを導入する。タイムシフト補正は、同様の多様性の利点を得ながら、高いサンプル品質を維持する。
• 定量的パフォーマンス: DiT, SD1.5, SDXL, SD3.5において、本手法は高い忠実度を維持しながら、CMMD（知覚的品質）とVendi（多様性）の両方で最高または2番目に優れたスコアを達成した。

意義と主張

本論文は、分散補正タイムシフトが、拡散モデルへの温度サンプリングの適用における根本的な限界を解決することを主張している。素朴なスコアスケーリングに内在する分散の膨張を補正することで、本手法はユーザーが、拡散モデルが得意とする品質や条件への適合性を損なうことなく、データの分布の「ロングテール」（稀な、あるいは多様なモード）を探索することを可能にする。

著者らは、これを柔軟な推論時制御への重要な一歩として位置付けており、再学習や補助データなしに、異なるモデルファミリー（フローマッチングモデルを含む）に作用する多様性のための「ノブ」を提供している。彼らは、本手法が基礎となるモデルの容量に制約されること、および忠実度と多様性のトレードオフにはチューニングが必要であることを認めているが、提案されたタイムシフトメカニズムによって、そのトレードオフが管理可能かつ効果的であることを強調している。