技術概要：SIPO（安定化および改善された選好最適化）

1. 問題定義

拡散モデルは画像および動画生成に革命をもたらしましたが、それらを人間の選好に整合させることは依然として課題です。既存の整合技術、特に Diffusion-DPO（直接選好最適化）は、安定した効果的な訓練を妨げる 2 つの根本的な問題に悩まされています。

1. 訓練の不安定性: 拡散モデルにおけるノイズ除去プロセスは、多様な時間ステップを含む長期的な軌道を含みます。本論文は、訓練の不安定性が主に初期の時間ステップ（低重要度重みと高い勾配分散を有する）に起因することを特定しています。これにより、損失ダイナミクスの単調性の欠如、パラメータ感度（特に温度ハイパーパラメータ $\beta$ に対する感度）、および時間経過とともに性能が劣化する可能性のある訓練の崩壊が生じます。
2. オフポリシーバイアス: 選好最適化データは、通常、現在のポリシーモデルではなく、固定された参照モデルまたは分布外ソースから構築されます。これにより、訓練データが状態 - 行動空間の狭い部分集合のみを捉える一方で、モデルはより広範な空間全体で一般化する必要があるという分布のギャップが生じます。この不一致は、不正確なオフポリシースコア推定、報酬ハッキング、および特に時間的整合性が重要な動画生成における一般化の劣化につながります。

2. 手法：SIPO フレームワーク

著者らは、拡散軌道の体系的な分析と重要度サンプリングメカニズムの導入を通じて、前述の不安定性とバイアスに対処するために設計された**SIPO（Stabilized and Improved Preference Optimization：安定化および改善された選好最適化）**フレームワークを提案します。

2.1. 拡散軌道の分析

Stable Diffusion 1.5 における体系的な分析を通じて、著者らは以下のことを観察しました。

• 初期の時間ステップ（特に $t \in [0, 63]$）は低い重要度重みに対応し、訓練を不安定にするノイズの多い勾配を導入します。
• 中盤から後半の時間ステップは、選好整合にとって最も情報量の多いシグナルを提供します。
• 一様な時間ステップサンプリングは、中間ステップに焦点を当てる場合に比べて性能が劣ります。

2.2. DPO-C&M（クリッピングおよびマスキング）

不安定性に対処するため、著者らは標準的な Diffusion-DPO 目的関数を修正するDPO-C&Mを導入します。

• 重要度重み付け: 学習された逆遷移 $p_\theta(x_{t-1}|x_t)$ と前方事後分布 $q(x_{t-1}|x_t, x_0)$ を比較することで、重要度重み $w(t)$ を計算します。
• クリッピングおよびマスキング: 低重要度重み（信頼性の低いまたはノイズの多い勾配を示す）を持つ時間ステップはマスキングまたはクリップされます。具体的には、分散を防止するために重みを範囲 $[1-\epsilon, 1+\epsilon]$ にクリップします。これは、前方パスと逆パスが著しく分岐する領域からの勾配を抑制するソフトマスクとして機能します。

2.3. 時間ステップ認識型重要度再重み付け

オフポリシーバイアスを軽減するため、SIPO は時間ステップごとのクリップ済み重要度再重み付けスキームを組み込みます。

• オフポリシー補正: このフレームワークは、重要度サンプリングを用いて選好最適化の目的関数を再解釈します。現在のポリシー $p_\theta$ とオフポリシーサンプリング分布 $q$ の間の尤度比に基づいて更新を再重み付けします。
• KL 正則化された目的関数: この手法は、報酬フィードバックと事前選好のバランスをとる「成形された」ターゲット分布 $p^*$ との間の KL 発散を最小化するように最適化を定式化します。
• 適応的ステップサイズ: 再重み付けされた対数尤度比項は、更新を適応的にスケーリングします。これは過小評価された好ましいサンプルを強化し、過信なサンプルの重みを低下させます。これにより、参照分布の周りにソフトな上限が導入され、報酬ハッキングの防止と $\beta$ ハイパーパラメータに対する感度の低減が実現されます。

最終的な SIPO 損失関数は、これらのクリップ済み重要度重みを各ノイズ除去ステップのペアワイズ選好シグナルに統合し、固定されたオフポリシーデータセット上での訓練時であっても安定した更新を保証します。

3. 主要な貢献

本論文は、以下の 3 つの主要な貢献を概説しています。

1. 体系的な分析: 拡散ベースの選好最適化ダイナミクスに関する詳細な調査により、初期の時間ステップが DPO 訓練を不安定化させる一方、中盤から後半の時間ステップが性能向上を主導することを明らかにしました。
2. SIPO フレームワーク: サンプル尤度と時間ステップの品質に応じて勾配を再重み付けすることで、訓練を安定化させ、オフポリシーの不一致を軽減する、原理的な重要度重み付き最適化フレームワークの提案。
3. 実証的検証: 画像および動画生成タスクの両方において、SIPO が選好最適化プロセスを一貫して安定化させ、既存の代替手段（例：Diffusion-DPO、DPO-C&M）を上回ることを示す広範な実験。

4. 実験結果

著者らは、Stable Diffusion 1.5、SDXL、CogVideoX-2B/5B、および Wan2.1-1.3Bを含む各種ベースラインモデル上で SIPO を評価しました。

• テキストから動画へ: CogVideoX-2B において、Diffusion-DPO は 1000 ステップ後に深刻な劣化を示しました（Total VBench スコアが 80.91 から 67.28 に低下）。一方、SIPO は安定し、改善されました（81.68）。SIPO は、テストされたすべての動画モデルにおいて、Total、Quality、Semantic スコアのすべてで Diffusion-DPO および DPO-C&M を一貫して上回りました。
• テキストから画像へ: Pick-a-Pic データセットを使用した SD1.5 および SDXL において、SIPO は Diffusion-DPO や Diffusion-KTO、SPO などの他のベースラインと比較して、4 つの指標のうち 3 つ（PickScore、HPSv2、Aesthetics）で最高スコアを達成しました。
• パラメータ感度: SIPO は温度パラメータ $\beta$ に対して著しく高い頑健性を示しました。Diffusion-DPO の性能は異なる $\beta$ 値によって激しく変動しましたが、SIPO は広い範囲にわたって一貫した性能を維持しました。
• 人間による評価: 200 のプロンプトと 12 人の注釈者による研究において、SIPO は 67% の勝率（1 位ランキング）を達成し、Diffusion-DPO およびベースモデルを著しく上回りました。
• オンライン/反復学習: 反復訓練シナリオにおいて、SIPO は安定した性能を維持しましたが、Diffusion-DPO は報酬ハッキングと分布のドリフトにより劣化を示しました。

5. 意義と主張

本論文は、時間ステップ認識型整合の重要性を強調することにより、改善された選好最適化のための貴重なガイドラインを提供すると主張しています。著者らは、自らの手法が以下の点で優れていると述べています。

• 訓練の安定化: 情報量の少ない初期の時間ステップを特定し、マスキングすることにより、Diffusion-DPO でしばしば見られる訓練の崩壊を防止します。
• オフポリシーバイアスの軽減: 重要度再重み付けスキームにより、複雑なオンポリシー探索を必要とせずに、固定されたオフラインデータセット上で効果的な訓練を可能にします。
• 優れた一般化: このアプローチは、WanX のようなフローベースモデルを含む異なるモデルアーキテクチャや、画像および動画などのモダリティ全体で効果的です。

著者らは、SIPO が拡散ベースの生成を人間の選好に整合させるためのスケーラブルかつ原理的なアプローチを提供し、基盤モデルを超えた新しい生成能力を必要とすることなく、出力の一貫性と制御性を向上させると結論付けています。また、この最適化を慎重なデータセットのキュレーションと安全性フィルタリングと組み合わせることを推奨しています。