DASH: Dual-Branch Score Distillation for Guidance-Calibrated Compact Diffusion Models

技術要約：DASH: ガイダンス校正されたコンパクトな拡散モデルのためのデュアルブランチ・スコア蒸留

問題提起
Classifier-Free Guidance (CFG) を利用するクラス条件付き拡散モデルは、条件付き予測 ($\epsilon_y$) と無条件予測 ($\epsilon_\emptyset$) の両方を生成するために単一のネットワークに依存している。ガイダンス機構は、生成を制御するためにギャップ $\Delta = \epsilon_y - \epsilon_\emptyset$ を増幅させる。しかし、これらのモデルをパラメータ削減によって圧縮すると、既存の蒸留目的関数において決定的な構造的失敗が生じる。

標準的な蒸留は、合成されたガイダンス付き予測 ($\tilde{\epsilon}_S \approx \tilde{\epsilon}_T$) または条件付きブランチのみを監督する。これは過小決定（underdetermined）な最適化問題を引き起こす。すなわち、学生モデルの各ブランチの複数の分解が損失関数を満たすことが可能となり、ガイダンスのギャップが崩壊する（$\Delta_S \to 0$）という退化した解が生じる。この状態では、条件付き予測と無条件予測が収束してしまい、たとえ合成訓練損失が最小化されていたとしても、推論時におけるガイダンス重み $w$ が機能しなくなる。さらに、既存の手法は教師モデルが学習したタイムステップごとの訓練カリキュラム（重要度重み付け）を転送することに失敗しており、学生モデルは限られた蒸留予算内でこのスケジュールを再学習することを強いられ、結果として最適な訓練軌道を損なう原因となる。

手法：DASH フレームワーク
本論文では、過小決定を解決し、ガイダンスの校正を維持するために設計されたフレームワークである DASH (Dual-Branch Score Distillation) を提案する。これは主に2つのメカニズムによって構成される：

1. デュアルブランチ独立監督 (Dual-Branch Independent Supervision):
   合成された出力を一致させるのではなく、DASHは以下の異なる損失項を用いて両方のスコアブランチを独立して監督する：

   • 模倣損失 ($L_{im}$): 条件付きブランチを一致させる ($\epsilon^y_S \approx \epsilon^y_T$)。
   • 無条件損失 ($L_{un}$): 無条件ブランチを一致させる ($\epsilon^\emptyset_S \approx \epsilon^\emptyset_T$)。
   • アンカー損失 ($L_{an}$): 学習初期のドリフトを防ぐために、条件付きブランチを真のノイズ ($\epsilon$) に固定する軽量な正則化。

   両方のブランチに対して同時に制約を課すことで、フレームワークは各サンプルに対するターゲット出力を一意に特定し、ガイダンスのギャップが崩壊する許容解空間を排除する。著者らは、校正の成功を示す指標として、ガイダンスギャップ比 $\rho = E[\|\Delta_S\|] / E[\|\Delta_T\|]$ を定義しており、$\rho \approx 1$ は校正が成功したことを示す。

2. TIRT 転送 (Timestep-Importance Rebalanced Training Transfer):
   教師モデルは、内容の困難な中間軌道領域に訓練を集中させるために、タイムステップごとのスケーリング係数 ($\lambda_t$) を学習する Min-SNR 重みの拡張である TIRT を利用している。DASHは、教師の収束したタイムステップごとの重要度カリキュラム ($\hat{\omega}_T$) を**凍結された事前分布（frozen prior）**として直接学生モデルにコピーする TIRT 転送を導入する。これにより、予測の容易さに報酬を与えるような蒸留勾配によって、教師のカリキュラムが損なわれることを防ぐ。

主な貢献

• 構造的過小決定の解決: 本論文は、パラメータ圧縮された拡散モデルにおけるガイダンスギャップの退化的崩壊を特定し、解決した。無条件の監督は単に有益であるだけでなく不可欠であり、全蒸留ゲインの60%以上を占めることを示している。
• カリキュラム転送: 学習されたタイムステップ重みを凍結された事前分布として用いる TIRT Transfer を導入し、学生モデルがカリキュラムを再学習する必要性を排除した。
• デュアルブランチ・フレームワーク: 圧縮条件下でのガイダンスの忠実度を維持するために、条件付きおよび無条件の両ブランチを独立して制約する統一された蒸留パイプラインを検証し、それが経験的に不可欠であることを示した。

実験結果
実験は、教師モデル（35.8M パラメータ）と圧縮された学生モデル（6.1M パラメータ、5.9倍の圧縮）を用いて CIFAR-10 および CIFAR-100 に対して行われた。

• 性能: DASH 学生モデルは、50ステップの DDIM サンプリングにおいて、CIFAR-10 で 8.87、CIFAR-100 で 10.47 の FID を達成した。これは教師モデル（FID 5.47 / 6.80）の 4 FID ポイント以内にあり、スクラッチからの訓練（FID 20.47 / 26.14）や単一制約のベースラインを大幅に上回る。
• ガイダンス校正: DASH は、CIFAR-10 で 0.91、CIFAR-100 で 0.89 のガイダンスギャップ比 $\rho$ を維持し、方向余弦 $\cos(\Delta)$ は 0.94 近傍であった。対照的に、合成蒸留ベースラインは部分的な崩壊（$\rho \approx 0.68$）を起こし、条件付きのみの監督はほぼ完全な崩壊（$\rho \approx 0.09$）を招き、スクラッチ訓練を下回る性能まで低下した。
• アブレーション研究:
  • $L_{un}$（無条件損失）を除去すると、CIFAR-10 で 7.77 ポイントの FID 低下が発生し、$\rho$ が 0.61 まで崩壊したことから、これが支配的な要素であることが確認された。
  • TIRT Transfer を除去（固定 Min-SNR に置き換え）すると、2.60 ポイントの FID 低下が発生し、学習されたカリキュラムを転送する必要性が検証された。
  • データセット間の性能比（DASH は 1.18倍に対し、ベースラインは 1.51倍）は、ラベルの複雑さにわたる堅牢な汎用性を裏付けている。

意義と主張
本論文は、既存の蒸留目的関数の構造的欠陥に対処することで、DASH が パラメータ効率の高い拡散モデル のための新しい標準を確立すると主張している。著者らは以下の通り述べている：

1. 無条件の監督は交渉の余地がない: それは合成または条件付きの目的関数で代替することはできず、これなしでは圧縮下での CFG は効果的ではなくなる。
2. カリキュラム転送は特徴量蒸留とは別物である: 学習スケジュール（TIRT）を凍結された事前分布として転送することは、教師のデータ適応的な困難度重み付けを損なうことを防ぐ新しい貢献である。
3. 妥協のない効率性: 本フレームワークは、大幅なパラメータ削減（5.9倍）を実現しながら、校正されたガイダンス機構を維持し、推論ステップを増やすことなくリソース制約のある環境での高品質な生成を可能にする。

本研究は、パラメータ圧縮とブランチレベルの校正の交差点に位置しており、ステップ削減手法とは直交し、それらと組み合わせ可能なソリューションを提供している。