NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning

技術要約：NormGuard: フロー・マッチング強化学習における報酬保存型ノルム制約

問題提起
フローベースの生成モデルを人間の好みに適合させるための手法として、強化学習（RL）によるポストトレーニングが標準的なアプローチとなっている。しかし、このプロセスはしばしば「報酬の過剰最適化（reward over-optimization）」を引き起こす。これは、報酬プロキシの不完全性をモデルが利用してしまう現象であり、その結果、報酬モデルがペナルティを与えられないまま、知覚的な品質の低下（例：過度なシャープネス、色の変化、不自然なライティングなど）を招く。既存の緩和策（早期停止やKL正則化など）は、ポストトレーニングによるドリフトを単一の集約された量として扱う。これらは、参照モデルからの速度（velocity）の総偏差を制約するものの、報酬信号を運ぶ成分と視覚的なアーティファクトを引き起こす成分を区別できていない。

主要な観察と診断
著者らは、このドリフトに特有の構造的シグネチャを特定した：RLによる微調整を行うと、異なる手法（NFT, AWM, DPO）および異なるモデル（SD3.5, FLUX）において、学習後のステップごとの速度ノルム（$\|v_\theta\|$）が、事前学習済みの参照モデル（$v_{ref}$）に対して一貫して5%から15%増大するという事実である。

論文では、新しい手法を提案する前に、2つの潜在的な解決策を調査している：

1. 推論時の再正規化（Inference-Time Renormalization）: 分類器フリーガイダンス（CFG）において、推論時に速度をリスケールすることでアーティファクトを軽減できることに着想を得て、著者らはRLで微調整された速度を、推論時に参照ノルムへとリスケールするテストを行った。その結果、RL学習モデルには適用できないことが判明した。CFGでは、推論時の速度の膨張は速度ヘッドの明示的な組み合わせであるが、RLによる膨張はモデルの重みの中に共適応（co-adapted）されているためである。推論時のリスケールは報酬は維持するものの、視覚的なアーティファクト（過度なシャープネス、不自然なライティング）の修正には失敗した。
2. 随伴感度解析（Adjoint Sensitivity Analysis）: 学習中に速度の大きさを抑制することが、一貫した報酬信号を取り除いてしまうのかどうかを調査した。6,400個のサンプルを用いた随伴感度解析の結果、速度の乗法的スケーリング下における一次報酬の変化は、プロンプト間で高いノイズ対信号比（3倍から100倍）と符号の不均一性を示した。バッチレベルの平均はゼロに近いことから、ノルムの膨張を抑制しても報酬の獲得を系統的に阻害することはないと考えられる。

手法：NormGuard
推論時の修正は効果がなく、ノルムの抑制は報酬コストを伴わないという知見に基づき、著者らはトレーニング時の正則化手法であるNormGuardを提案する。

• メカニズム: NormGuardは、現在の速度ノルムが参照モデルのノルムを超えた場合にのみ作動する、片側ヒンジペナルティである。これは、速度ローカルなベース損失（NFT、AWM、DPOなどで使用されるもの）に対して加法的に追加される。
• 定式化: サンプリングされた状態 $(x_t, t, c)$ に対して、正則化項は以下のように定義される：
  $$R_{norm}(\theta) = \lambda \cdot \max\left(0, \frac{\|v_\theta(x_t, t, c)\|^2 - \|v_{ref}(x_t, t, c)\|^2}{\|v_{ref}(x_t, t, c)\|^2}\right)$$
  ここで $\lambda > 0$ は強さを制御する。このペナルティは、$\|v_\theta\| \leq \|v_{ref}\|$ である限り更新を制約せず、「超過分」のノルムのみを罰する。
• 互換性: ペナルティがベース損失と同じ速度出力空間内で作用するため、別途のパラメータ空間制約を必要とせず、既存のポストトレーニング目的関数と自然に構成できる。

実験結果
著者らは、2つのベースモデル（SD3.5-Medium, FLUX.2-4B）、3つのポストトレーニング手法（NFT, AWM, DPO）、および2つの報酬モデル（PickScore, HPSv2）を用いてNormGuardを評価した。

• 知覚的品質: テクスチャの忠実度やアーティファクト検出などの軸についてMLLMジャッジ（Qwen3.5およびGPT-4.1）を用いて評価した結果、NormGuardはすべての7つの構成において、正則化なしのベースラインを一貫して上回った。勝率は大幅に向上した（例：SD3.5-M + NFTでは64% vs 35%）。
• フォレンジック・リアリズム: NormGuardは6つの設定においてフォレンジック・リアリズム・スコア（RealScore）を改善し、不自然なライティングや過度なシャープネスといったアーティファクトを減少させた。
• 報酬の保存: 本手法はベースラインの報酬獲得をほぼ完全に維持した。PickScoreおよびHPSv2の差は極めて小さく（-0.004から+0.011の範囲）、半径方向の膨張を制御することが、報酬アライメントに責任を持つ方向的な変化を妨げないことを示している。
• 少ステップ推論: NormGuardの恩恵は、推論ステップ数が減少するにつれて増幅された。MLLMの勝率の差は、28ステップでの9%から、4ステップでは20%へと拡大した。これは、正則化が膨張した速度によって引き起こされる離散化誤差に対し、ODE積分プロセスを安定させていることを示唆している。
• アブレーション研究: 改善は早期停止によるものではない（正則化されたモデルはベースラインのより早いチェックポイントよりも優れた性能を示した）ことが確認され、また、KL正則化とは補完的な関係にあり、異なる失敗モードに対処している。

意義と主張
本論文は、標準的なKL正則化によってペナルティを課される集約的なドリフトは、以下のように有益に分解できると主張している：ノルムの膨張は知覚的なアーティファクトを駆動するが、報酬信号はほとんど運ばない一方で、方向的な再整列（directional realignment）が報酬獲得の大部分を占める。

NormGuardは、フロー・マッチングモデルにおける報酬の過剰最適化に対する、ターゲットを絞った診断と修正策を提供する。学習中に余剰な速度ノルムの成長を抑制することで、報酬アライメントを犠牲にすることなく、フォトリアリズムを向上させ、アーティファクトを減少させる。著者らは、これを、KL正則化のグローバルな制約や、CFGのような効果のない推論時の修正とは異なる、特定の構造的シグネチャに対処するためのシンプルかつ効果的な介入として位置づけている。

限界
著者らは、半径方向の膨張の動的な起源が未解決の課題であることを指摘している。報酬の中立性に関する彼らの主張は、バッチレベルでの一次信号に基づいている。サンプルごとの半径方向の摂動は報酬に影響を与えるが、それらの効果はプロンプト全体で平均化されるとゼロになる。さらに、現在の分析は速度ローカルな目的関数（NFT, AWM, DPO）に適用されており、Flow-GRPOのような軌跡レベルの目的関数への拡張は今後の課題とされている。