技術要約：オンポリシー拡散蒸留におけるClassifier-Free Guidanceの再考

問題提起

オンポリシー蒸留（On-Policy Distillation; OPD）は、学生モデル自身が生成する軌跡に沿って、教師モデルの局所的な速度予測を一致させるように学習することで、拡散モデルを適応させる手法である。現代の拡散システムでは、生成品質を向上させるためにClassifier-Free Guidance（CFG）が普遍的に採用されているが、CFGとOPDの相互作用については十分に理解されていない。

標準的なCFGは、ターゲットとなるプロンプトに条件付けされた正のブランチ（$v_+$）と、ヌルまたは負のプロンプトに条件付けされた負のブランチ（$v_-$）から、誘導された速度予測（$v_{cfg}$）を合成する。誘導された速度は、$v_{cfg} = \gamma v_+ + (1-\gamma)v_-$（ここで $\gamma$ はガイダンススケール）と定義される。

既存のOPD手法は通常、この合成された予測に対して速度一致を拡張し、損失 $\|v_{cfg}^T - v_{cfg}^S\|_2^2$ を最小化する。著者らは、このアプローチにおける決定的な欠陥を指摘している。それは、**ブランチレベルの未識別性（branch-level under-identification）**である。損失が2つのブランチの線形結合のみを制約するため、正のブランチと負のブランチのエラー（$e_+$ と $e_-$）が互いに補償し合ってしまう可能性がある。具体的には、$\gamma e_+ + (1-\gamma)e_- = 0$ という条件は、ゼロではない無数のエラーのペアを許容してしまう。

この曖昧さは、**負のブランチ非対称性（Negative Branch Asymmetry; NBA）**と呼ばれる失敗モードを引き起こす。教師モデルがその負のブランチにおいて「特権的な情報」（例：参照画像や高密度な制御信号）を保持しているシナリオでは、素朴な合成目的関数は敵対的なダイナミクスを誘発する。つまり、学習プロセスが正のブランチのエラーを減少させる一方で、負のブランチのエラーを同時に増加させてしまうのである。この補償は、訓練時のガイダンススケールにおいては低い損失をもたらすかもしれないが、異なる推論ガイダンススケールで評価される際、学習されたエラーの補償関係がもはや成立しないため、学生モデルに大幅なドリフトを引き起こす。

手法

ブランチの曖昧さを解消し、エラーの補償を防ぐために、著者らはブランチ認識型のOPD目的関数である**Positive–Direction Matching（PDM）**を提案する。

1. Positive–Direction Matching (PDM)

合成された誘導速度を一致させる代わりに、PDMは以下の2点を個別に制約する：

1. 正の予測（The Positive Prediction）: 正のブランチの速度（$v_+$）を直接一致させる。
2. CFG条件付き方向（The CFG Conditional Direction）: 差分ベクトル $d = v_+ - v_-$ を一致させる。

損失関数は次のように定式化される：
$$\mathcal{L}_{PDM} = \|e_+\|_2^2 + \lambda \|d_T - d_S\|_2^2 = \|e_+\|_2^2 + \lambda \|e_+ - e_-\|_2^2$$
ここで $\lambda > 0$ は方向一致の強度を制御する。PDMにおけるゼロ損失は、$e_+$ と $e_-$ の両方をゼロに強制し、エラーが互いに打ち消し合う自由度を排除する。

2. Independent Branch Matching (IBM)

ブランチレベルの監督の利点を、PDMの特定の設計から切り離して検証するためのベースラインとして、著者らはIBMを導入する。この手法は、拡張された素朴な目的関数から導出された重みを用いて、正と負のブランチを直接一致させるものである：
$$\mathcal{L}_{IBM} = \gamma^2 \|e_+\|_2^2 + (\gamma - 1)^2 \|e_-\|_2^2$$
PDMとは異なり、IBMは条件付き方向を明示的に強制することはないが、素朴な合成損失に含まれるブランチ間の相互作用項を取り除いている。

3. ビデオのための効率的な監督

高密度から低密度へのビデオ制御アプリケーションのために、著者らは、学生のデノイジング軌跡の全行程ではなく、最初の $K$ 個の状態のみを監督することを提案する。これにより、教師モデルの評価に伴う計算コストを削減しつつ、性能を維持することができる。

主な貢献

1. ブランチの曖昧性の特定: 本論文は、CFGで合成されたOPDがブランチレベルで未識別であることを示している。また、この曖昧さは共有された負の条件（教師と学生が同じヌル条件を共有する場合）の下では無害であるが、特権的な負の条件の下では有害となり、NBAを引き起こすことを確立した。
2. 負のブランチ非対称性 (NBA): 著者らは、素朴な一致ングが正のブランチのエラーを減らす代わりに負のブラーチのエラーを増大させ、結果として推論ガイダンススケールの変化に対する過剰な感度を引き起こすという失敗モードをNBAとして定義した。
3. Positive–Direction Matching (PDM): 正の予測とCFG条件付き方向を個別に監督する、新しいブランチ認識型の目的関数である。これにより、ブランチ間のエラー補償を防ぎ、識別可能な監督を回復させる。
4. 実証的検証: 画像およびビデオ領域における定量的な証拠を提供し、ブランチ認識型の監督が、特に教師が学生には利用不可能な情報にアクセスしている設定において、ロバスト性と知識転送を向上させることを示した。

実験結果

画像ドメインの診断

著者らは、ブランチエラーのダイナミクスを診断するために、2つの制御実験を行った：

• テキストレンダリング蒸留（共有条件）: 教師と学生は同じ負の条件を共有している。この場合、素朴な一致ングとPDMの両方が、正と負のブランチのエラーの同時減少をもたらす。学生は教師の固有のCFG感度を追跡しており、ここでの曖昧さは無害であることを確認した。
• 参照条件付き蒸留（特権条件）: 教師は負のブランチにおいて参照画像を受け取るが、学生はそれを受け取らない。
  • 素朴な一致ング: $e_+$ を減少させる一方で $e_-$ を増大させるという、敵対的なダイナミクスを示す。
  • PDM: $e_+$ を減少させると同時に、$e_-$ の増大を防ぐことに成功した。
  • ガイダンス感度: $\gamma=2$ で訓練された素朴な学生モデルは、$\gamma=1$ でテストした際に著しく劣化（スタイルのドリフトや歪みが発生）したが、PDMを用いた学生モデルは安定しており、様々なスケールにおいて教師の挙動を密接に追従した。

高密度から低密度へのビデオ制御

本手法は、教師がフレームごとの高密度な制御（ポーズ、深度、スクリブル）を観察し、学生が疎なキーフレームのみを受け取るWan-VACEベンチマークに適用された。

• 制御の忠実度: 訓練時のガイダンススケール（$\gamma=5$）において、PDMはMPJPE、PCK、FVDなどの指標において、素朴なOPD、SFT、およびオフポリシー蒸留を上回った（ポーズ、深度、スクリブルの全モダリティにおいて）。
• ガイダンススケールの汎化: 訓練時とは異なる推論スケール（例：$\gamma=1$ または $\gamma=3$）でテストした場合、素朴なOPDの性能は急激に低下した。対照的に、PDMとIBMは安定しており、ブランチ認識型の監督が合成一致ングによって誘発される過剰な感度を緩和することを証明した。
• 効率性: 軌跡の最初の $K=8$ 個の状態のみを監督することで、制御の忠実度と計算コストの最適なトレードオフを実現し、全軌道監督と同等の結果を大幅に少ない計算量で達成した。

意義と主張

本論文は、教師と学生が負のブランチへの情報のアクセスにおいて非対称である場合、CFGで合成された予測を一致させるという標準的な慣行は根本的に欠陥がある、と主張している。著者らは、負のブランチ非対称性が、ガイダンススケールの変化に対する過剰な感度として現れる明確な失敗モードであることを示している。

本研究の意義は以下の点にある：

1. 理論的な盲点の修正: 「誘導された出力を一致させる」ことは、基礎となるブランチが対称的に制約されていない場合には不十分であることを特定した。
2. 堅牢な知識転送: ブランチレベルの制約（PDM経由）を課すことで、学生は教師の条件付きロジックをより忠実に表現できるようになり、様々な推論条件下でのロバストな性能につながる。
3. 実用的な適用可能性: 提案手法は、教師が（高密度フレームという）学生には利用できない特権的なコンテキストを持つことが多い、ビデオ制御のような複雑な生成タスクに直接適用可能である。

著者らは、PDMが経験的にIBMを上回っているものの、他のブランチ認識型定式化（IBMなど）に対するPDMの具体的な優位性の理論的理由は、今後の課題として残されていると控えめに述べている。主要な貢献は、失敗モードを特定し、正のブランチと条件付き方向の監督を分離することがそれを解決することを実証した点にある。