技術要約：長期的計画のための粗から密への組成型拡散 (Coarse-to-Fine Compositional Diffusion: CoFi)

問題提起

拡散モデルは構造化されたデータの生成に優れているが、通常は短期間のスケールで学習されている。ロボットの長距離ナビゲーション、パノラマ画像合成、あるいは長尺ビデオ生成といった多くの現実世界のタスクは、これらのモデルの学習スケールを超える出力を必要とする。このような長期間の出力に対して直接モデルを学習させることは、データの不足や、シーケンス長または空間的広がりが増大することに伴うモデリングコストの急激な増加により、しばれて非現実的である。

組成的な生成（Compositional generation）は、学習済みの短期間の事前分布から、重なり合う局所的な計画を組み立てることで解決策を提供する。しかし、標準的な組成型のアプローチは、主に局所的な一貫性（隣接する局所的な計画間の重なりにおける一致）を強制するのみであり、グローバルな構造を明示的に指定することはない。その結果、局所的には互換性のある計画であっても、妥当なグローバルルート、タスクシーケンス、あるいは時間的進化を形成できない場合がある。既存の手法は、局所的な一貫性の信号を繰り返し伝播させたり、推論時の最適化（反復探索や集団ベースの枝刈りなど）を追加したりすることで、グローバルなコヒーレンス（整合性）を改善しようと試みている。これらは効果的ではあるものの、局所的な計画の数やその次元が増加するにつれて、計算コストが非常に高くなる。

手法：粗から密への組成型拡散 (Co-Fi)

著者らは、グローバルな構造形成と局所的な詳細の精緻化を分離する推論時サンプラーであるCoFiを提案する。反復的なメッセージパッシングや高コストなインナーループ最適化に依存する手法とは異なり、CoFiは2つの明確なステージで動作する。

1. 粗いグローバル・スキャフォールド（足場）の構築

第1ステージの目的は、共有された粗い構造の周囲で局所的なデノイジング推定値を整列させ、グローバルなコヒーレンスを確立することである。

• スキャフォールドの整列 (Scaffold Alignment): 各デノイジングステップ $t$ において、手法は各局所計画に対して「テューディ推定値 (Tweedie estimate)」 $\hat{X}^i_{0|t}$ を計算する。グローバルな整列を強制するために、局所的な忠実度と共有されたグローバル成分とのバランスを取る簡略化された最適化目的関数を解く。これにより、各局所推定値が共有のスキャフォールド平均 $\bar{X}_{0|t}$ に向かって収縮する閉形式の解が得られる：
  $$\bar{X}^i_{0|t} = (1 - \lambda_t) \bar{X}_{0|t} + \lambda_t \hat{X}^i_{0|t}$$
  ここで、$\lambda_t$ はスケジュール依存の係数であり、トレードオフを制御する。拡散プロセスの初期段階では $\lambda_t$ は小さく、局所的な計画をグローバルなスキャフォールドに強く整列させる。$t$ が減少するにつれ、$\lambda_t$ は増加し、局所的な詳細が立ち上がることを許容する。
• 誘導された更新 (Guided Update): 逆拡散ステップは、グローバルにコヒーレントだが局所的には粗いスキャフォールドにバイアスされた、この整列された推定値を用いて更新される：
  $$X^i_{t-1} = \text{DDIM}_\theta(\bar{X}^i_{0|t}, t) + \sigma_t \nabla \hat{r}_t(X^i_t, X^{i+1}_t)$$
  第1項はグローバルな整列を強制し、第2項（局所的なガイダンス）は隣接するセグメント間の境界の一貫性を確保する。

2. 構造保存型の精緻化 (Structure-Preserving Refinement)

第2ステージは、確立されたグローバル構造を維持しながら、粗いステージで抑制された微細な局所詳細を復元する。

• 再ノイズ化 (Re-noising): 粗いグローバル計画 $Y^c_0$ は、共有されたノイズの実現を用いて、中間的なノイズレベル $t^*$ まで順方向に拡散される。これは極めて重要である。局所計画に独立したノイズを適用すると、第1ステージで達成された整列が崩れてしまうためである。
  $$Y^r_{t^*} = \sqrt{\bar{\alpha}_{t^*}} Y^c_0 + \sqrt{1 - \bar{\alpha}_{t^*}} \epsilon$$
• 精緻化 (Refinement): $t^*$ から開始し、サンプラーは同じ学習済み局所事前分布と局所ガイダンスを用いて、第2の逆拡散パスを実行する。このステージは、グローバルなスキャフォールドが全体の構造を固定する中で、高周波の局所詳細とテクスチャを回復させる。

主な貢献

1. 分離された設計: CoFiは、グローバルな構造形成と局所的な詳細の精緻化を分離しており、従来の組成型手法で使用される高コストな反復メッセージパッシングや探索ベースの最適化を回避する。
2. 共有スキャフォールド・メカニズム: 局所推定値を共有スキャフォールドに投影する粗い整列ステージを導入することで、高次元空間において設計が困難な複雑な報酬関数を必要とせずに、長距離のコヒーレンスを確保する。
3. 構造保存型の精緻化: 再ノイズ化ステップにおける共有ノイズの実現の使用は、精緻化された局所計画が同一のグローバルオブジェクトの互換性のあるビューであることを保証し、長期間の生成で見られる「ドリフト」を防ぐ。
4. 効率性: 本手法は、内的な反復や集団探索に依存するベースラインと比較して、大幅に少ないデノイザー評価回数 (NFE) を必要とする。

実験結果

著者らは、長期間のロボット計画、パノラマ画像生成、および長尺ビデオ生成の3つのドメインでCoFiを評価した。

• ロボット計画 (OGBench): 困難な「Giant」および「Scene-Play」タスクにおいて、CoFiは「PointMaze-Giant」で96%、「Scene-Play」で**63%**の成功率を達成し、従来の最先端手法であるCDGS（それぞれ82%と51%）を上回った。スキャフォールド・ステージは、迷路のような軌跡における長距離の一貫性を解決するために極めて重要であることが判明した。
• パノラマ画像生成: CoFiは、Multi-Diffusion、SyncDiffusion、CDGSなどのベースラインと比較して、すべての指標（Intra-LPIPS、Intra-Style loss、およびCLIP score）において最高のスコアを達成した。より安定したグローバルスタイルを持つパノラマを生成し、パッチ境界間の急激な遷移を抑えた。
• 長尺ビデオ生成: 50フレームの事前分布から273フレームのビデオを生成する際、CoFiは被写体の整合性（CDGSの91.67に対し94.11）と美的品質を向上させ、ネイティブの短期間生成に近い品質を実現した。長期間の経過における被写体のドリフトを効果的に防いだ。
• 計算効率: CoFiは、CDGSと比較して、サンプル品質を維持または向上させつつ、関数評価回数 (NFE) を2〜8倍削減できることを示した。これは、反復探索を単一の粗から密へのパスに置き換えたことによるものである。

意義と主張

本論文は、CoFiが、既存の手法の計算オーバーヘッドなしに、局所的一貫性とグローバルなコヒーレンスの両方を満たす、シンプルかつ効果的な推論時サンプラーであることを主張している。グローバルなスキャフォールド構築と局所的な精緻化を分離することで、Co-Fiは「局所的な一貫性だけでは妥当なグローバル構造を保証できない」という限界に対処している。著者らは、これをロボティクス、ビジョン、ビデオ生成における短期間の事前分布を長期間のタスクへとスケールアップするための実用的な代替案として位置づけており、性能と計算コストの間に有利なトレードオフを提供している。

著者らは、限界についても謙虚に述べている。出力の品質は学習済みの局所事前分布の表現力に制約を受けること、およびハイパーパラメータ（スキャフォールド・スケジュール $\lambda_t$ と精緻化の深さ $t^*$）にはドメインごとの選択が必要であることである。さらに、現在のコンセンサス・メカニズムはすべての局所計画に対して一律の重み付けを適用しており、セグメントごとに構造的重要性が異なる場合には最適ではない可能性がある。