技術的概要：DiNa-LRM – Diffusion-Native Latent Reward Modeling

1. 問題定義

拡散モデルおよびフローマッチングモデルの人間の嗜好へのアライメントは、報酬関数に大きく依存しています。現在の最先端のアプローチは、主に報酬の基盤としてビジョン・ランゲージモデル（VLM）を利用しています。VLM は堅牢な識別能力を提供しますが、拡散モデルのアライメントにおいては 2 つの決定的な限界を有しています：

1. 計算およびメモリオーバーヘッド: VLM ベースの報酬は、最適化中に繰り返し問い合わせる際に高コストであり、トレーニング効率のボトルネックとなります。
2. ドメインの不一致: VLM は通常ピクセル空間で動作しますが、潜在拡散生成器は潜在空間でトレーニングおよび最適化されます。このピクセルから潜在空間への不一致は、特に報酬勾配法におけるアライメントを複雑にし、不要なシステムオーバーヘッドを導入します。

一方、拡散モデルは識別基盤として有望であることが示されていますが、報酬として使用しようとする以前の試みは、特定のステップレベル最適化アルゴリズムに紐付くことが多く、または VLM に匹敵する汎用フレームワークを確立することなく、ノイズの多い中間状態に焦点を当てて、クリーンなサンプルのスコアリングに留まっていました。

2. 手法：DiNa-LRM

著者は、潜在空間内のノイズの多い拡散状態において直接嗜好学習を定式化するフレームワークであるDiNa-LRM（Diffusion-Native Latent Reward Model）を提案します。この手法は 3 つの中核コンポーネントから構成されます：

A. 拡散ネイティブな嗜好定式化

クリーンなサンプル（$x_0$）を直接評価するのではなく、DiNa-LRM はThurstone モデルをノイズの多い拡散状態（$x_t$）に拡張します。

• ノイズ較正された不確実性: 著者は、ノイズレベルが増加するにつれて、ノイズの多い状態に対する嗜好判断は本質的に不確実になることを認識しています。彼らは、拡散ノイズレベル $\sigma^2(t)$ に比例してスケーリングするノイズ較正された比較不確実性 $\sigma_u^2(t)$ を導入します：
  $$\sigma_u^2(t) = k\sigma^2(t) + \sigma_u^2$$
  この定式化は、報酬目的関数が拡散事前学習中に遭遇するノイズの多い多様体と整合性を保つことを保証します。これは不確実性を意識した正則化器として機能し、高ノイズ領域における高分散勾配がトレーニングを不安定化することを防ぎます。
• トレーニング目的: モデルは、比較確率がステップ依存の不確実性によって調節される嗜好ペア $(x_t^+, x_t^-)$ に対する**忠実度損失（fidelity loss）**を用いて最適化されます。

B. 潜在報酬アーキテクチャ

DiNa-LRM は、軽量でクエリベースのスコアリングヘッドを備えた事前学習済み潜在拡散バックボーン（例：SD3.5-Medium）の上に実装されます。

• 多層特徴抽出: 視覚およびテキスト特徴は、バックボーンの複数の層から抽出されます。
• ステップ条件付き適応: 特徴は、FiLM（Feature-wise Linear Modulation）を用いてステップ埋め込みによって変調され、報酬ヘッドがノイズレベルを明示的に認識できるようにします。
• ゲーテッド Q-Former スコアリング: ゲーテッド Q-Former は、これらの多層かつステップ条件付き特徴を集約してスカラー報酬スコアを生成します。このアーキテクチャは VAE 潜在空間全体で動作し、ピクセル空間のデコードを回避します。

C. ノイズアンサンブルによる推論時スケーリング

堅牢性を向上させ、特定の評価ステップへの感度を低減するために、DiNa-LRM はノイズアンサンブルをサポートします。

• クリーンなサンプルを単一の固定ノイズレベルでスコアリングする代わりに、モデルは複数のステップ $\{t_k\}$ においてサンプルを評価します。
• これらの異なるステップで抽出された特徴は連結され、同じ Q-Former ヘッドによって処理されて集約スコアを生成します。これは「拡散ネイティブな」テスト時スケーリングメカニズムとして機能します。

3. 主要な貢献

1. 拡散ネイティブな嗜好定式化: 本論文は、拡散ノイズレベルに比例してスケーリングするノイズ較正された不確実性を導入することで、Thurstone 嗜好モデルをノイズの多い拡散状態に拡張し、事前学習と報酬学習の間の分布ギャップを埋めます。
2. 推論時スケーリング: 著者は、マルチステップ特徴を集約するノイズアンサンブル戦略を提案し、単一点推定ではなくグローバルな拡散軌跡を活用するテスト時スケーリングのメカニズムを提供します。
3. 実証的検証: この研究は、拡散ネイティブな報酬が、ネイティブに潜在空間で動作しながら、強力な VLM ベースのジャッジと競争力のある性能を達成できることを示しています。

4. 実験結果

著者は、DiNa-LRM をいくつかのベンチマークおよびアライメントシナリオで評価しました：

• 報酬モデリング精度:

  • DiNa-LRM は、ImageReward、HPDv2、HPDv3、GenAI Bench において、既存の拡散ベースの報酬ベースライン（例：LRM-SD1.5、LRM-SDXL）を大幅に上回ります。
  • 平均的には最先端の VLM ベースの報酬（例：HPSv3、UnifiedReward）と競争力のある性能を達成し、HPDv2 や HPDv3 などの特定のデータセットでは顕著な差の縮小が見られます。
  • ノイズアンサンブル: ノイズアンサンブルを適用することで平均精度がさらに向上し（例：平均で 71.49% から 72.48% に）、ノイズレベル全体にわたる証拠を集約することの利点を検証しました。

• 嗜好アライメント（ReFL）:

  • SD3.5-M における ReFL（Reward Feedback Learning）を用いたポストトレーニングアライメント実験において、DiNa-LRM は HPSv3 と比較して、プロキシスコアにおける収束が速く、「ゴールデン」指標（ホールドアウトされた PickScore）が向上しました。
  • 効率性: DiNa-LRM は、VLM ベースの報酬と比較してリソースコストを大幅に削減します。ピーク VRAM 使用量を51.4%削減し、報酬計算 FLOPs を71.1%、最適化フェーズの FLOPs を**46.4%**削減します。

• 汎化性:

  • この定式化は、異なる拡散バックボーン（SDXL、FLUX.1-Dev、Z-Image-Turbo）間で汎化し、以前の拡散ベースのベースラインを一貫して上回ります。
  • 転移実験では、SD3.5-M でトレーニングされた報酬モデルが、同じ潜在空間内で SD3.5-L を効果的にアライメントできることが示されました。

5. 意義と主張

本論文は、DiNa-LRMが、嗜好アライメントに対するピクセル空間 VLM 報酬の実用的かつ効率的な代替手段であると主張しています。その主な意義は以下の点にあります：

• 構造的利点: ネイティブに潜在空間で動作することで、潜在からピクセルへの不一致とデコードの計算オーバーヘッドを排除し、報酬勾配アライメント法との高い互換性を実現します。
• 最適化に親和的: 訓練ダイナミクスを改善し、アライメント品質を犠牲にすることなくリソース要件を削減する、微分可能で効率的なシグナルを提供します。
• スケーラビリティ: ノイズアンサンブルメカニズムは、推論時性能をスケーリングするための新規かつ拡散ネイティブな方法を提供します。

著者は限界を認め、報酬は特定の潜在空間に紐付いていること（再トレーニングなしでのバックボーン間転移を制限する）および、潜在空間モデリングは特定のピクセルレベルのアーティファクトを過小評価する可能性があり、長期的な最適化中に報酬ハッキング行動（例：不自然な人間の注入やスタイルのドリフト）につながる可能性があることを指摘しています。彼らは、将来の研究はより強力な統一バックボーンに焦点を当て、軽量なピクセル空間正則化を組み込むべきであると提案しています。