技術要約: NoiseTilt: 拡散報酬アライメントのためのノイズ傾斜型逆カーネル

問題提起

推論時のスケーリングは、コストのかかる再学習を行うことなく、学習済み拡散モデルをユーザーの好みに適合させる強力なメカニズムとして台頭しています。好みが報酬関数として表現される場合、拡散モデルの反復的なデノイジング（除去）プロセスは、サンプリングを高報酬領域へと導くためのモデルに依存しない方法を提供します。しかし、既存の手法は、**勾配ガイダンス（gradient guidance）とノイズ適合性（noise compatibility）**の間の根本的なトレードオフに直面しています：

1. 平均シフト型手法（勾配ガイダンス）: DPS [10] のような手法は、報酬勾配を逆ガウスカーネルの平均に直接注入します。これは生成を誘導する上では効果的ですが、サンプリングされた状態を「ノイズ適合領域（noise-compatible regime）」、すなわち学習済みモデルが動作するように訓練された潜在空間の狭い領域の外へと押し出してしまいます。この変位により、中間状態が分布外（out-of-distribution）となり、生成品質を低下させ、報酬ハッキング（reward hacking）を引き起こしやすくなります。
2. 探索型手法: SVDD [38] のような手法は、$K$ 個の候補から確率的カーネルに従って候補を抽出し、ベースとなる逆平均を保持します。これにより、ノイズ適合性とサンプル品質が維持されますが、直接的な勾配ガイダンスを放棄し、報酬を向上させる方向を見つけるためにランダムなサンプリングに依存することになります。これは計算効率が悪く、強力なアライメントを実現するためには、極めて大量のサンプルを必要とします。

勾配ガイダンスとノイズ適合性を同時に達成できる手法は、これまで存在しませんでした。

手法: ノイズ傾斜型逆カーネル (NTRK)

著者らは、逆平均を固定したまま、報酬情報を排他的にノイズ項を通じてルーティングすることで、このトレードオフを解決するサンプラーである Noise-Tilted Reverse Kernels (NTRK) を提案しています。

コアメカニズム

標準的な逆ステップは $\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \bm{\epsilon}_t$ （ここで $\bm{\epsilon}_t \sim \mathcal{N}(\bm{0}, \bm{I})$）と定義されます。
NTRKは、ノイズ項を以下のように修正します：
$$\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \tilde{\bm{\epsilon}}_t$$
ここで、ガイドされたノイズ $\tilde{\bm{\epsilon}}_t$ は、白色化された報酬方向と非バイアスな確率性の混合です：
$$\tilde{\bm{\epsilon}}_t = \sqrt{\rho_t} \, \mathcal{W}(\nabla_{\bm{x}_t} r(\hat{\bm{x}}_{0|t})) + \sqrt{1-\rho_t} \, \bm{\epsilon}_t$$
ここで、$\rho_t \in [0, 1]$ はガイダンスの強度を制御し、$\hat{\bm{x}}_{0|t}$ はクリーンな画像のトウィーディー（Tweedie）推定値です。

白色化演算子 ($\mathcal{W}$)

中心的な課題は、生の報酬勾配は構造的かつ決定的であり、標準的なガウスノイズが要求する統計的性質を損なうという点です。これを直接注入すると、「非典型的なノイズ」が生じ、アーティファクト（不自然な模様）の原因となります。

これを解決するために、著者らは報酬勾配を注入前に「典型的な」ノイズベクトルへと変換する白色化演算子 $\mathcal{W}$ を導入しています。この演算子は、摂動がノイズ適合領域内に留まりつつ、勾配の方向性信号を保持することを保証します。演算子は、標準的なガウス統計から導出された高信頼集合への一連の投影によって構成されます：

1. 二段階順序統計（2OS）投影: 入力ベクトルをタイル状に再構成します。値はタイル内およびタイル間でソートされます。結果として得られる二重ソートされた統計量は、ベータ分布から導出された99.99%信頼区間にクリップされます。これにより、グローバルなヒストグラムを維持しながら、局所的な構造的アーティファクトを抑制します。
2. タイル単位の統計量: 演算子は、各タイルの平均と中心エネルギーを、標準的なガウスノイズの期待分布に一致するようにさらに制約します。
3. 直交変換ドメイン: 空間ドメインでは見えない残留するグローバルな構造を抑制するために、同様の信頼区間投影を変換ドメイン（コンパクトなフーリエ変換やアダマール型の混合など）にも適用します。

重要なことに、入力がすでに典型的なガウスノイズである場合、$\mathcal{W}$ はそれらをほとんど変化させませんが、構造的な入力に対しては大幅に白色化を行います。

主な貢献

1. トレードオフの解消: NTRKは、勾配ベースのガイダンスとノイズ適合性を同時に実現する最初の手法です。これは、平均シフト型手法とは異なり、学習済みの逆平均を保持し、探索型手法とは異なり、各ステップで単一のサンプルを使用します。
2. 白色化演算子: 本論文は、報酬アライメントの品質が白色化演算子の品質に直接結びついていることを明らかにしています。提案された2OSベースの投影は、単純なノルム投影や、WGNC [24] のような硬い等価制約よりも優れていることが示されており、構造の抑制と自然なノイズの多様性の保持のバランスを適切に取っています。
3. 効率性: 勾配をノイズ項を通じてルーティングすることで、NTRKは大幅に少ない関数評価回数（NFE）で最先端の性能を達成します。

実験結果

著者らは、画像にはFLUX [35]、ビデオにはWan2.1 [70] を使用し、3つの主要なタスクでNTRKを評価しました：

• 美的画像生成: NTRKは、すべてのベースラインの中で最高のターゲット報酬（Aesthetic Score）を達成しました。特筆すべきは、25 NFEのみのNTRKが、500 NFEを要した最良のベースライン（SVDD）の報酬を上回ったことであり、これは20倍の計算量削減を意味します。また、ImageRewardやHPSv2といったホールドアウト指標も維持または向上させました。
• テキスト整合性のある画像生成: 複雑な構成プロンプト（T2I-CompBench++）において、NTRKはPickScore（ターゲット報酬）およびVQA ScoreやHPSv2などのホールドアウト指標においてベースラインを上回りました。
• 好みに適合したビデオ生成: VideoRewardをターゲットとして、NTRKはDPSやFreeDoMと比較して、より優れたテキスト整合性、動きの質、および視覚的品質を持つビデオを生成しました。
• その他の応用: 本手法は、数量認識（物体のカウント）やVLMベースの報酬アライメント（地平線や奥行きの位置決め）にも適用され、幅広い適用可能性を示しました。
• ファインチューニングとの統合: NTRKはファインチューニング（例：MixGRPO [37]）に対して直交しており、ファインチューニングされたモデルに適用することでさらなる利得が得られることが示されました。

意義と主張

本論文は、NTRKが、学習済みのサンプリングダイナミクスを損なうことなく、推論時の報酬アライメントを実現するシンプルで広く適用可能なメカニズムを提供すると主張しています。報酬勾配を平均へのシフトではなく、白色化されるべき摂動として扱うことで、NTRKは勾配ベースのガイダンスが抱える分布外の問題を回避します。

著者らは、本手法の有効性が白色化演算子に強く依存していることを強調しています。アブレーション研究によれば、弱い演算子は有害な構造を除去できず、一方で過度に硬い演算子は真のノイズを歪めてしまいます。提案された2OSベースのアプローチは、このトレードオフを巧みにナビゲートし、学習済みモデルが持つ品質を犠牲にすることなく、高報酬な生成を可能にします。

この研究は、将来の推論時スケーリングが、ブルートフォースによる探索や破壊的な平均シフトを超え、ノイズの統計的性質を利用して効率的に生成を導くことができることを示唆しています。