技術概要：自動ルブリックを報酬として（ARR）

問題定義

マルチモーダル生成モデルを人間の嗜好に整合させることは、現在、既存の人間のフィードバックに基づく強化学習（RLHF）アプローチの限界によって阻害されている。既存の手法は、通常、審美性、意味的忠実度、文脈を含む人間の判断の豊かで多次元的な構造を、不透明なスカラー値またはペアワイズラベルに縮約する。この還元主義的アプローチは、人間の基準の解釈可能性を廃棄し、報酬ハッキングや位置バイアス（評価者が画像の品質ではなく順序に基づいて画像を好む現象）などの体系的評価バイアスに陥りやすい「絡み合った」表現を生成する。

最近の「ルブリックを報酬として（RaR）」の手法は、明示的な基準を通じて構造を再導入しようとするが、それらはしばしば固定された、教師あり、または手作業で作成されたルブリックに依存する。これは、特に複雑なマルチモーダル生成設定に拡張される場合、そのスケーラビリティ、プロンプト固有性、およびデータ効率を制限する。本論文は、マルチモーダル整合における核心的なボトルネックは、大規模視覚言語モデル（VLM）内の嗜好知識の不足ではなく、むしろその知識を適用するための安定した因子分解されたインターフェースの欠如であると主張する。

手法

著者は、暗黙の嗜好知識を明示的でインスタンス条件付きのルブリックに外部化し、これらを用いて生成整合を行うトレーニングアルゴリズムである**自動ルブリックを報酬として（ARR）**と、**ルブリック方策最適化（RPO）**を提案する。

1. 自動ルブリックを報酬として（ARR）

ARR は、報酬モデリングを暗黙の重み最適化から、明示的で基準に基づく分解へと再定義する。これは、トレーニング不要の生成・検証・洗練パイプラインを通じて動作する：

• ルブリック生成： 嗜好ペア（プロンプト $x$、好ましい画像 $y^+$、好ましくない画像 $y^-$）が与えられると、VLM が $y^+$ が好ましい理由を説明する自然言語ルブリック $r_i$ を生成する。
• 検証と洗練： 別の検証ステップが、生成されたルブリックが一貫して元の嗜好ラベルを支持するかどうかを確認する。検証が失敗した場合、ルブリックは最大試行回数（$T_{max}$）まで反復的に洗練される。洗練後も失敗するルブリックは破棄される。
• 階層的構造化： 検証済みでインスタンス固有のルブリックは、LLM によって単一の階層的に組織化されたルブリック（$R_{structured}$）に統合される。この構造化されたルブリックは、基準を意味的粒度（例：構図、照明、テクスチャ）ごとにグループ化し、評価者のシステムプロンプトとして機能する。
• 報酬信号： スカラー回帰の代わりに、VLM 評価者は $R_{structured}$ を使用して二値の嗜好決定を行う。好ましい出力は正の定数報酬（$+\lambda$）を受け取り、好ましくない出力は負の定数（$-\gamma$）を受け取る。

2. ルブリック方策最適化（RPO）

RPO は、ARR の構造化された評価を生成トレーニングループに直接統合するように設計されたオンライン方策最適化アルゴリズムである。

• メカニズム： 各プロンプトに対して、現在の方策 $\pi_\theta$ は 2 つの候補軌道を生成する。構造化されたルブリックを条件とする凍結された ARR 評価者が、これらを評価して二値の嗜好を生成する。
• 目的： 勝者軌道には $+\lambda$ のアドバンテージが、敗者には $-\gamma$ が割り当てられる。このアドバンテージは、すべての生成タイムステップに均等に分配される。
• 最適化： 方策は KL 正則化を伴う PPO 風の目的関数を用いて更新される。ルブリックを補助的フィルタとして扱う先行手法とは異なり、RPO は最適化目的をルブリックに基づく二値決定に直接条件付けることで、方策勾配を安定化し、更新を解釈可能な品質次元と整合させる。

主要な貢献

1. 自動ルブリックを報酬として（ARR）： 暗黙の人間の嗜好をインスタンス条件付きで解釈可能なルブリックに外部化するトレーニング不要のフレームワークである。これは、少数の注釈付きサンプルのみを必要とし、評価者モデルのパラメータ更新を不要とする、高いデータ効率を有するスケーラブルなマルチモーダル評価を可能にする。
2. ルブリック方策最適化（RPO）： 不透明なスカラー報酬信号を構造化された基準に基づく比較に置き換える方策最適化フレームワークである。これは、ルブリック条件付きの判断を最適化目的に直接統合し、別途学習可能な報酬モデルの必要性を排除する。
3. インターフェースボトルネックの診断： 除去実験を通じて、著者はマルチモーダル整合における主要なボトルネックは知識の欠如ではなく、因子分解されたインターフェースの欠如であることを実証する。彼らは、ルブリックの品質が基盤となる VLM の整合能力に比例して向上し、モデルの規模やデータ量の増加よりも、内在的基準の深い理解が頑健性をより効果的に駆動することを示す。

実験結果

著者は、テキストから画像（T2I）生成および画像編集ベンチマークにおいて ARR と RPO を評価した。

• 評価性能： HPDv3、MM-RewardBench2、EditReward-Bench などのベンチマークにおいて、ARR 条件付き VLM 評価者（例：Qwen3-VL、GPT-5、Gemini 3.1 Pro）は、学習済みスカラー報酬モデルおよび直接の VLM 評価者の両方を上回った。ARR は嗜好精度を1.7 から 6.3 パーセントポイント向上させた。重要なのは、ARR が位置バイアスを大幅に低減し、ベースモデルにおける順方向と逆方向の画像順序間の性能ギャップを約 30〜34 ポイントから、人間が導くルブリックを用いた場合8.9〜10.3 ポイントに狭めたことである。
• 生成性能： RPO を通じてモデルをトレーニングする際に使用された場合、このフレームワークは評価者の微調整や大規模な報酬注釈の使用なしに大幅な向上をもたらした。
  • テキストから画像： GenEval において、性能は0.66 から 0.80に向上；DPG-Bench において、83.84 から 85.76に向上。
  • 画像編集： GEdit-Bench において、スコアは7.54 から 7.85に向上（Qwen-Image-Edit-2509 ベースラインの場合）。
• 汎化性： このフレームワークは、強力なゼロショットおよび少数ショット汎化性を示した。モデル間ルブリック転送実験は、あるモデルファミリーによって生成されたルブリックが、別のモデルからの評価者を効果的に導くことができることを示し、ルブリック構造自体が頑健性の駆動要因であることを確認した。

意義と主張

本論文は、マルチモーダル整合における「ボトルネック」は VLM 内の嗜好知識の不足ではなく、それを適用するための安定した因子分解されたインターフェースの欠如であると主張する。暗黙の嗜好を明示的で検証可能なルブリックに外部化することにより、ARR-RPO はより信頼性が高く、データ効率の良い整合を達成する。

著者は、このアプローチが以下の点で重要であると強調する：

• 報酬ハッキングの軽減： 学習されたスカラー代理変数ではなく、明示的で検査可能な基準に基づいて監督を根拠づけることにより。
• 解釈可能性の向上： 不透明な最適化を基準整合の改善に置き換えることで、評価者の忠実度を生成品質に直接転送することを可能にする。
• 評価者の微調整不要： このフレームワークは凍結された VLM で動作するため、計算効率が良くスケーラブルである。

核心的な洞察は、嗜好適用のための構造化された因子分解されたインターフェースを提供することが、評価の信頼性と生成性能の両方における大幅な改善を駆動するのに十分であり、より大きなモデルやより多くのデータがより良い整合の主要な要件であるという考えに挑戦している点である。