💻 computer science

Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training

本論文は、ピクセル空間でのデコードを必要とせずに最適化のための信頼性の高い密なフィードバックを提供するために、サンプル適応型の不確実性推定を用いて報酬分布を学習することで拡散モデルの後学習を強化する、統一された潜在空間フレームワークである\textsc{SURE}を提案する。

原著者： Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

公開日 2026-08-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットの芸術家に絵の描き方を教えていると想像してください。ロボットが傑作を完成させるまで待ってから、「違う、その犬はジャガイモみたいに見えるよ」と言うわけにはいきません。キャンバスに色を混ぜている最中に、ヒントをささやいてあげたいはずです。これが、静止したノイズをステップ・バイ・ステップで鮮明な画像へと変えていくことで画像や動画を作り出すAIの一種、**拡散モデル（diffusion models）**の世界です。これらのロボットに人間が本当に好むものを描かせるためには、「報酬システム」が必要です。つまり、良い芸術には加点を、悪い芸術には減点を与える教師です。

従来、この教師はロボットが絵を完成させるまで待ち、完成した画像を見てからスコアを付けます。しかし、これは非常に遅く、コストがかかります。なぜなら、ヒントを得るためだけにロボットが画像全体を完成させなければならないからです。新しい手法では、教師は描きかけの乱雑なスケッチ（「潜在変数（latents）」と呼ばれます）を覗き見ることができ、より早い段階でフィードバックを与えることができます。しかし、落とし穴があります。これらの教師は通常、「10点満点中8点」といった単一の数字を叫ぶだけで、自分がどれほど確信を持っているかを伝えません。もし教師がデタラメに推測しているにもかかわらず高いスコアを叫んでしまったら、ロボットは混乱し、その偽のスコアを追いかけるために奇妙なものを描き始めてしまうかもしれません。この論文は、AIに「自分の教師をどの程度信頼すべきか」、そして「いつ無視すべきか」を教える問題に取り組んでいます。

問題点：自信過剰な教師

厳格な美術教師があなたのスケッチを採点している場面を想像してください。かつてのこの教師は、あなたの描きかけの絵を見て、「よくできました！」あるいは「ダメです！」と、単一の数字で伝えるだけでした。問題は、教師が時として自分が何を言っているのか分かっていないことです。スケッチがあまりにぼやけているため、教師はただ推測しているだけなのに、それでも高いスコアを叫ぶことがあります。もし、生徒であるあなたがその高いスコアを盲信してしまったら、実際には脱線しているのに、自分は素晴らしいことができていると思い込み、同じ間違いを何度も繰り返してしまうかもしれません。AIの世界では、これを「報酬ハッキング（reward hacking）」と呼びます。AIが、実際に優れた芸術を作るのではなく、高スコアを得るための抜け穴を見つけ出してしまう現象のことです。

この論文の著者たちは、彼らのシステムを SURE（Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training）と呼び、既存の教師には決定的な情報が欠けていることに気づきました。それは**「確信度（confidence）」**です。彼らには、「私はこの絵が素晴らしいと90%の確信を持っています」あるいは「確信度は20%しかないので、あまり私の言うことを聞かないでください」と言える教師が必要でした。

解決策：疑いを知る教師

著者たちは、この問題を解決するために2部構成のシステムを構築しました。

パート1：不確実性を認識する教師（SURE-LRM）
まず、新しい種類の報酬モデルを作成しました。このモデルは単にスコアを与えるだけでなく、スコアと、そのスコアがどれほど揺らいでいるかという指標を同時に与えます。これは天気予報のようなものです。通常の教師は「雨が降ります」と言います。しかし、新しいSURE-LRMの教師は、「雨が降ります。確信度は95%です」あるいは「雨が降るかもしれませんが、雲の様子が奇妙なので、確信度は40%程度です」と言います。

彼らは、画像のペア（一つは良く、一つは悪いもの）を見ることによって、どちらが良いかだけでなく、「良さ」がどれほど変動するかを学習させる特殊な方法を用いて、この教師を訓練しました。もし教師が乱雑で混乱したスケッチを見れば、高い「不確実性（uncertainty）」スコアを出すように学習します。もし明確で明らかな傑作を見れば、低い不確実性スコアを出します。重要な点は、この教師が、人間が明示的に確信度をラベル付けすることなく、標準的な「良 vs 悪」の例を見るだけで、この確信レベルを学習できることを、この論文は示している点です。

パート2：賢い生徒（SURE-REFL）
次に、この新しい教師を利用する SURE-REFL と呼ばれる学習手法を構築しました。AIアーティストが学習する際、描画プロセスの多くの異なる段階で教師にフィードバックを求めます。通常、AIはすべてのフィードバックを受け取り、それを盲目的に従おうとします。しかし、SURE-REFLを用いると、AIはまず教師の「確信度メーター」を確認します。

もし教師が「スコア：8/10、確信度：低」と言えば、AIは「なるほど、聞くことは聞くが、この一点に基づいて絵全体を変えることはしない」と考えます。もし教師が「スコア：8/10、確信度：高」と言えば、AIは「了解！もっとこうするようにする」と考えます。システムは本質的にフィードバックの重み付けを行います。高い確信度には重い重みを、低い確信度には軽い重みを置きます。これにより、AIが教師の推測によって混乱することを防ぎます。

研究結果

研究者たちは、画像生成器（猫の絵を作るなど）と動画生成器（短い映画のクリップを作るなど）の両方でこのシステムをテストしました。

より優れた教師： 新しいSURE-LRM教師は、従来の手法よりも人間の好みを予測することに長けていました。2,000組の画像ペアを用いたテストにおいて、教師が最も確信を持っていた予測（不確実性が低い方の50%）のみを保持した場合、精度は約 79.4% から 90.1% へと跳ね上がりました。これは、教師の「確信度メーター」が、どの予測が信頼できるかについて真実を伝えていたことを証明しています。
安定した学習： SURE-REFLを使用してAIを訓練すると、学習プロセスは非常に安定しました。従来の手法を用いたテストでは、AIのスコアは上昇しているのに、実際の芸術の質は低下していく（報酬ハッキングの兆候）ことがありました。しかし、SURE-REFLでは、スコアと実際の品質がより長く同期したまま維持されました。
トップのパフォーマンス： 最終的な結果において、SURE-REFL法は画像と動画の両方の標準的なベンチマークで最高スコアを達成しました。動画生成においては、合計品質スコア 0.8357 に達し、次に優れた手法を 0.0109 上回りました。

なぜ重要なのか

この論文は、AIにより優れた芸術を作らせるための鍵は、単に賢い教師を持つことではなく、「自分が何を知らないかを知っている」教師を持つことにあると示唆しています。AIが教師の不安定な推測を無視し、確信のあるものに集中できるようにすることで、システムは高スコアを追い求めるために奇妙で壊れた芸術を作ってしまうという罠を回避できます。これは、AIアーティストが単に創造的であるだけでなく、信頼できるもの、つまりノイズに惑わされることなくフィードバックから学ぶことができるようになるための、一歩となります。

技術要約：不確実性ガイド付き拡散後学習のためのサンプル適応型潜在報酬 (Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training)

1. 問題提起

人間の好みに合わせて視覚的拡散モデルをアライメントするための事後学習（Post-training）は、通常、デコードされたRGB出力の評価に依存しており、これはフィードバックループ内での繰り返しの高コストなVAEデコードを必要とします。一方で、「拡散ネイティブ」な潜在報酬モデル（LRM）は、ノイズの乗った潜在変数（latent）を直接スコアリングすることで、デコードコストを回避し、中間状態での監督を可能にする手法として登場しましたが、既存のアプローチには以下の2つの決定的な限界があります。

スカラー出力における不確実性の欠如： 現在の潜在報酬モデルはスカラー値のスコアのみを出力します。これらは予測の不確実性を推定することができません。その結果、生成器（generator）は、信頼できるフィードバックと信頼できないフィードバックを区別することができません。
静的な不確実性の仮定： DiNa-LRMのような先行研究では、ノイズレベル（タイムステップ）のみに基づいて不確実性を割り当てています。これは、同じタイムステップにおけるすべてのサンプルが同一の信頼性を共有しているという仮定に基づいています。しかし、本論文は、報酬の難易度はコンテンツにも依存すると主張しています。例えば、明確な主題を持つ「ノイズの多い」サンプルは、曖昧な内容を持つ「よりクリーンな」サンプルよりも予測可能である可能性があります。
最適化のリスク： 不確実性の推定がない場合、生成器は信頼性の低い局所的なフィードバックに基づいて最適化を行ってしまう可能性があり、それが「報酬ハッキング」（モデルが品質を向上させるのではなく、報酬関数を悪用する現象）や、学習ダイナミクスの不安定化を招きます。

2. 手法

著者らは、SURE（Sample-Adaptive Latent Reward for Uncertainty-Guided Diffusion Post-Training）を提案します。これは、SURE-LRM（報酬モデル）とSURE-REFL（事後学習アルゴリズム）の2つのコンポーネントからなる統一されたフレームワークです。

2.1 SURE-LRM: サンプル適応型潜在報酬モデル

SURE-LRMは、単なる報酬スコアではなく、プロンプトとタイムステップに条件付けられた、各ノイズを含む潜在変数に対する完全なガウス型ユーティリティ分布を予測するように設計されています。

アーキテクチャ： VAEデコードを行うことなく、ターゲットとなる生成器（画像およびビデオの両方）のDiffusion Transformer (DiT) バックボーンを再利用して、ノイズを含む潜在変数、プロンプト、およびタイムステップを処理します。
予測対象： ノイズを含む潜在変数 $z_\sigma$ $z_{σ}$ に対して、モデルは以下を予測します：
- 平均報酬 $\mu_\theta$
- サンプル適応型の残差分散パラメータ $a_\theta$
分散モデリング： 全予測分散 $v_\eta(\sigma)$ は、ノイズ依存の事前分布 $v_0(\sigma)$ （ノイズ増加に伴う平均的な情報損失を捉えるもの）と、学習されたサンプル固有の残差分散 $v_{\eta, res} = \text{softplus}(a_\theta) + \epsilon_v$ の合計となります。
学習目的関数： 本モデルは、標準的なペアワイズの好みのデータセット（ $z^+ \succ z^-$ $z^{+} ≻ z^{-}$ ）を用いて、ヘテロスケダスティック（不等分散）な好みの目的関数に基づいて学習されます：
- 尤度損失 ( $L_{pref}$ ): Thurstoneのランダムユーティリティモデルに基づき、好ましいサンプルが高いユーティリティを持つ確率を最適化します。勾配は、ランキングが誤っているか曖昧な場合に分散（不確実性）を大きくし、ランキングが自信を持って正しい場合には分散を小さくするように自然に促します。
- 正則化:
  - 分散正則化 ( $L_{var}$ ): 単に不確実性を膨張させることで全てのランキングエラーを説明しようとする（分散膨張）ことを防ぎます。
  - マージン正則化 ( $L_{margin}$ ): 好ましいスコアと拒絶されたスコアの間に最小限の分離を確保します。
  - アンカー損失 ( $L_{anchor}$ ): 全体的なスコアのスケールを安定させます。

2.2 SURE-REFL: 不確実性ガイド付き高密度報酬フィードバック学習

SURE-LRMが学習された後、そのパラメータは固定されます。SURE-REFLは、このモデルを利用して潜在空間における生成器の事後学習をガイドします。

局所フィードバックメカニズム： デノイジンググラフ全体にバックプロパゲーションを行う代わりに、SURE-REFLはデノイジング・トラジェクトリに沿って選択された遷移（ $j$ ）において、固定された報酬モデルをクエリします。
不確実性ガイド付き重み付け:
1. モデルは、遷移 $j$ における状態の平均報酬 $\mu$ と残差分散を予測します。
2. 全分散は、信頼性重み $\rho = V^{-1/2}$ （逆標準偏差）に変換されます。
3. この重みは**デタッチ（ストップグラディエント）**されます。これは、生成器はこの重みから学習しますが、このステップにおいて報酬モデルの不確実性推定自体を更新しないことを意味します。
4. 重みは、公平な比較を行うために、同じ遷移で評価されたサンプル間で正規化されます。
最適化： 生成器は、予測された分散が低い（信頼性が高い）サンプルが勾配に強く寄与する、重み付き報酬目的関数を用いて更新されます。この高密度なフィードバックは、各遷移に対して局所的に適用されるため、フルグラフの保持やピクセル空間へのデコードを必要としません。

3. 主な貢献

サンプル適応型不確実性の定式化： 追加の人間の信頼度アノテーションを必要とせず、標準的なペアワイズの好みから導出される学習可能な分布として、潜在空間における報酬の不確実性を定式化しました。
SURE-LRM： サンプル依存の不確実性を学習する潜在報酬モデルであり、同じタイムステップであってもコンテンツに基づいて信頼性の推定値が異なることを示しました。
SURE-REFL： デタッチされた不確実性を利用して高密度な局所フィードバックに重み付けを行う、画像およびビデオの両方に適用可能な統一された事後学習手法であり、VAEデコードやフルデノイジンググラフの保持を不要にします。
理論的洞察： 分散勾配を導出し、好みの損失がいかにして不確実性を学習するための内在的な信号を提供するのかを明らかにしました。

4. 実験結果

4.1 報酬モデルの精度 (SURE-LRM)

画像ベンチマーク： SURE-LRMは、3つの異なるバックボーン（SD3.5, Z-Image-Turbo, FLUX.1-dev）において、4つのベンチマーク（ImageReward, HPD v2, HPD v3, GenAI-Bench）で最先端（SOTA）のペアワイズ好み精度を達成し、DiNa-LRMやVLMベースのピクセル報酬を含む強力なベースラインを上回りました。
ビデオベンチマーク： VisionRewardDBおよびT2V Rankingにおいて、SURE-LRMはデコードされたビデオ評価器やビデオ特化型報酬モデルを凌駕する最高精度を達成しました。
不確実性の診断： 学習された残差分散が予測エラーと相関していることが実験で確認されました。ランキングが誤っていたサンプルは、平均して有意に高い残差分散（24.26%高い）を示しました。低予測分散のサンプルでフィルタリングを行うと、ペアワイズ精度は79.40%から90.10%へと向上しました。

4.2 事後学習の性能 (SURE-REFL)

画像生成： SURE-REFLは、SD3.5、Z-Image-Turbo、FLUX.1-devにおいて、HPSv2.1、ImageReward、PickScoreの各指標で最高の性能を発揮し、Flow-GRPO、ViPO、DiNa-LRMなどのベースラインを上回りました。
ビデオ生成： VBenchにおいて、SURE-REFLはWan2.1-14Bビデオ生成器に対し、Quality、Semantic、Totalの各指標で最高スコアを達成し、DanceGRPO、ViPO、Video-DPO、HY-PRFLを上回りました。
安定性と報酬ハッキング： 最適化のダイナミクスにおいて、ベースライン（例：DiNa-LRM-REFL）が報酬ハッキング（独立した品質指標であるHPSv3が低下しているにもかかわらず、報酬スコアが上昇する現象）を示した一方で、SURE-REFLは最適化された報酬と独立した品質指標との間の整合性をより長く維持し、より高い最終スコアに到達しました。

4.3 アブレーション研究

報酬モデルの損失コンポーネントのアブレーションにより、すべての項が必要であることが確認されました。分散正則化（ $L_{var}$ ）を取り除くと精度が最も大きく低下し、分散膨張を制御する必要性が検証されました。

5. 意義と主張

本論文は、SUREが「信頼性のギャップ」に対処することで、視覚的拡散モデルをアライメントするための効率的で統一されたフレームワークを提供すると主張しています。その意義は以下の通りです：

効率性： 潜在空間のみで動作し、VAEデコードを行わないことで、フィードバックループ中の計算オーバーヘッドを削減します。
堅牢性： サンプル適応型の不確実性を明示的にモデル化し利用することで、ノイズの多い、あるいは曖昧なフィードバックへの過学習を防ぎ、報酬ハッキングを抑制し、学習の安定性を向上させます。
汎用性： 本フレームワークはモダリティに依存せず、画像生成とビデオ生成の両方のタスクに同じ不確実性重み付けのロジックを成功裏に適用できます。

著者らは、標準的なペアワイズの好みからサンプル依存の不確実性を学習することは、拡散の事後学習における高密度な報酬フィードバックの信頼性を向上させるための、実行可能かつ効果的な戦略であると結論付けています。