技術概要：拡散ドメイン拡張（DDE）

問題定義

事前学習済み拡散モデルは、画像、音声、その他のデータモーダルにおける生成タスクで最先端の結果を達成しています。しかし、これらのモデルをゼロから再学習させて、より大きな出力ドメイン（例：パノラマ画像、長い音声トラック）やより複雑な条件入力（例：複数の物体位置）を処理できるようにすることは、計算コストが非常に高くなります。生成ドメインを拡張する既存のアプローチは、追加学習を必要としない固定されたアルゴリズム的調整メカニズム（例：MultiDiffusion）に依存することが多く、特定のタスクに限定され、柔軟性に欠けます。他の手法、例えば動的拡散モジュールの学習などは、学習時に固定されたモーダルを必要としたり、学習中に観測されたドメインよりも大きなドメインへの汎化に失敗したりすることがあります。

本論文が取り組む核心的な課題は、ベースモデルを再学習することなく、事前学習済み拡散モデルの生成ドメインを効率的に拡張して、より大きな物体を生成し、より複雑な条件を処理できるようにすると同時に、その解決策がコーディネータの学習中に観測された实例よりも大きなインスタンスにも汎化することを保証する方法です。

手法：拡散ドメイン拡張（DDE）

著者は、事前学習済み拡散モデルの出力を調整するコンパクトで学習可能な「コーディネータ」ネットワークを採用するフレームワーク「拡散ドメイン拡張（DDE）」を提案します。

一般的な定式化

除去ネットワーク $D(x, y, t)$ を持つ事前学習済み条件付き拡散モデル $p(x|y)$ が与えられたとき、拡張された入力 $Y^{[L]}$ に条件付けられた拡張された物体 $X^{[L]}$ を生成することを目的とします。ここで、$L$ はスケール（例：パッチ数または条件ラベル数）を表します。

1. 分解: 拡張されたペア $(X^{[L]}, Y^{[L]})$ を、マッピング関数 $F$ を用いて $L$ 個のより小さな部分 $([x_1, \dots, x_L], [y_1, \dots, y_L])$ に分解します。これらの部分は、ベースモデルの元のドメイン内に収まります。
2. ベース生成: 各部分 $x_i$ を、事前学習済み除去器 $D(x_i, y_i, t)$ で処理します。
3. 調整: 学習可能なコーディネータネットワーク $C[\cdot]$ は、除去された出力の系列 $[D(x_i, y_i, t)]_{i=1}^L$ と条件情報 $[y_i]_{i=1}^L$ を入力として受け取ります。これは、これらの出力を調整して、完全な拡張された物体 $X^{[L]}(0)$ の整合性のある推定値を生成するように学習します。
4. 学習目的: コーディネータは、サイズ $L_{train}$ のデータセットにおける複合除去器 $D^{[L]}$ の除去誤差を最小化することで学習されます。重要なのは、この手法が $L_{test} \ge L_{train}$ であるテストサイズにも汎化するように設計されている点です。

コーディネータアーキテクチャ

著者は、Peebles & Xie (2023) に適応された**ビジョントランスフォーマー（ViT）**アーキテクチャをコーディネータに利用します。

• 入力処理: 事前学習済みモデルからの除去済みパッチは「パッチ化」され、より大きな物体に対するグローバルな位置符号化が追加されます。著者は、より大きな空間次元を効果的に処理するために、回転位置埋め込み（RoPE）を採用します。
• 統合: フォワードプロセス中、トランスフォーマーはすべてのパッチを処理します。連続性を確保するために使用される重なり合うパッチを処理するため、最終出力は、MultiDiffusion サンプリング手法に触発された重なり領域の値を平均化することで構築されます。
• 効率性: コーディネータはベースモデルよりも著しく小さく（例：音楽生成において 66M パラメータ対 405M パラメータ）、学習エポック数も少なくて済みます。

主要な貢献

1. 新規フレームワーク: 事前学習済み拡散モデルの生成能力を、より大きな物体やより複雑な条件に拡張するために、小さく学習可能なコーディネータを使用する手法 DDE の導入。
2. 汎化能力: コーディネータが、学習データに含まれるものよりもスケールが大きい物体の生成や条件入力の処理に汎化できることの証明（$L_{test} \ge L_{train}$）。
3. アーキテクチャ設計: 重なり平均化を通じて局所的な整合性を強制しながら長距離依存関係を学習する、適切なコーディネータとしての ViT ベースのアーキテクチャの検証。
4. 効率性: ベースモデルの再学習やより大規模なコーディネータアーキテクチャの使用と比較して、はるかに少ないパラメータ数と学習時間で高品質な生成を達成すること。

実験結果

著者は、DDE を以下の 3 つのドメインで評価しました。

1. 長い音声トラック生成（Slakh2100）

• タスク: 長さ $l$（12 秒）で学習されたベースモデルを用いて、長さ $10l$（120 秒）の音楽トラックを生成する。
• ベースライン: 連結（Concatenation）と MultiDiffusion。
• 結果: DDE は、4l トラックでフレレchet 音声距離（FAD）2.112、10l トラックで 2.142 を達成しました。これは 10l タスクにおいて MultiDiffusion（4.796）や連結（4.596）を大幅に上回ります。コーディネータ（66M パラメータ）はベースモデル（405M）よりもはるかに小さかったです。

2. 条件付き画像生成（CLEVR）

• タスク: 複数の物体位置（$L$ 個のラベル）に条件付けられた画像を生成する。ベースモデルは 1 つの位置しか処理できない。
• ベースライン: RRR（Reduce, Reuse, Recycle）と MultiDiffusion。
• 結果: DDE は、複数の条件制約を満たす精度において優れていました。5 つの条件付けの場合、DDE は（Heun サンプリャーを用いて）44.5% の精度を達成し、RRR の 33.6% や MultiDiffusion の 36.3% よりも上回りました。コーディネータは $L_{train}=2$ での学習から $L_{test}=5$ でのテストへ汎化しました。

3. 衛星画像生成

• タスク: 概略図に条件付けられた大規模な衛星画像を生成する。
• ベースライン: MultiDiffusion。
• 結果: DDE は、分布内（$N=96$、FID 31.75 対 37.81）および分布外（$N=128$、FID 27.37 対 35.01）のサイズの両方において、MultiDiffusion よりも低い FID スコアを達成しました。視覚的な検査により、DDE は MultiDiffusion のサンプルで見られた目に見える継ぎ目なく、より整合性の取れた画像を生成することが示されました。

意義と主張

本論文は、DDE が再学習の禁止的なコストなしに拡散モデルをスケーリングするための実用的かつ効率的な解決策を提供すると主張しています。事前学習済みプロセスの調整を学習することで、この手法は以下を可能にします。

• ドメイン拡張: 元のモデルの能力を超えて、より大きな物体（長い音声、大きな画像）の生成や、より複雑な条件（複数のラベル）の処理。
• 汎化: コーディネータの学習中に観測されたものよりも大きなスケールへの外挿能力。
• 品質と整合性: ViT ベースのコーディネータは長距離依存関係を効果的に学習し、局所的な除去ステップ間の競合を解決して、グローバルに整合性の取れた出力を生成します。

著者は、主な限界はコーディネータモデルを学習するための追加データと時間が必要であることですが、このコストはゼロから完全な拡散モデルを学習するコストに比べて著しく低いと指摘しています。将来の課題として、タンパク質配列生成や短いクリップからの動画作成への DDE の応用が提案されています。