技術概要：AutoRubric-T2I

問題定義

テキストから画像への生成（T2I）モデルを人間の嗜好に整合させることは、現在の AI 研究における中心的な目標である。既存のアプローチは概ね 2 つのカテゴリに分類され、いずれも重大な限界を有している：

1. 学習されたスカラー報酬モデル：ImageReward、PickScore、HPSv2 などのモデルは、ブラッドレー・テリー目的関数を用いて大規模な人間の嗜好コーパスで訓練される。これらはグローバルなランキングには有効であるが、多次元の人間の嗜好を単一の不透明なスカラースコアに圧縮してしまう。この解釈性の欠如は「報酬ハッキング」に対する脆弱性を生む。すなわち、T2I ポリシーが特定のセマンティック制約やプロンプトの詳細に反しながらもスコアを最大化するために、輝度、コントラスト、人間中心の構図などの表面的な視覚的特徴を悪用する事態である。
2. ビジョン・ランゲージモデル（VLM）ジャッジ：これらのモデルはテキストプロンプトまたはルブリック（評価基準）を用いて画像を評価する。微細な評価を提供する一方で、その基準は通常、手動で設計されるか、ヒューリスティックに生成される。その結果、これらの判断は実際の人間の嗜好と確実に関連付けられず、嗜好ベンチマークにおいて学習されたスカラーモデルよりも著しく劣る場合さえある。

核心的な課題は、高密度なスカラー報酬モデルの高価な訓練を必要とせず、人間の嗜好に整合する明示的かつ解釈可能な評価規則（ルブリック）を自動的に導出、選択、洗練させるフレームワークの欠如である。

手法：AutoRubric-T2I

著者は、画像嗜好データから直接、自然言語のルブリックのコンパクトで重み付けされた集合を学習し、市販の VLM ジャッジを導く AutoRubric-T2I を提案する。この手法は報酬モデルの微調整を避け、代わりに人間の嗜好を最も予測するルブリックを学習することに焦点を当てる。

核心的な定式化

この問題は、無限次元空間におけるスパースなロジスティック回帰として定式化される。

• ルブリックスコアリング：与えられたプロンプト $x$ と画像 $y$ に対して、VLM ジャッジ（例：Qwen3-VL、Gemini）は特定のルブリック $r_j$ を評価し、「はい」という応答の確率を表す連続スカラースコア $s(r_j, x, y)$ を出力する。
• 目的：観測された人間の嗜好ペア $(y_w, y_l)$ を最もよく説明する、$N$ 個のルブリックの集合 $\mathcal{R}$ と重み $w$ を見つけることである。重み付けされた組み合わせ $s_{\mathcal{R},w}(x, y) = \sum w_j s(r_j, x, y)$ がこれに該当する。
• 最適化：著者は $\ell_1$ 正則化ペナルティを課したロジスティック損失関数を最小化する。これによりスパース性が促進され、冗長または予測力の弱いルブリックが実質的に剪定され、最も識別力のある Top-$N$ の規則のみが選択される。

反復的洗練パイプライン

このフレームワークは、カリキュラムベースのハードペアマイニング戦略を備えたブロック座標降下法を採用する：

1. シード生成：多様性を考慮した選択と Chain-of-Thought（CoT）プロンプティングを用いて、少量のシードデータセット（例：256 組の嗜好ペア）から候補ルブリックの初期セットを生成し、客観的で再利用可能な規則を抽出する。
2. スパース選択：システムは、VLM を用いて訓練ペア上のすべての候補ルブリックをスコアリングする。$\ell_1$ 正則化ロジスティック回帰を解いて重みを割り当て、集合を剪定し、正の重みを持つ Top-$N$ のルブリックのみを保持する。
3. 失敗駆動型洗練：システムは、現在のルブリックセットが誤ってランク付けした「ハードペア（困難なペア）」を特定する。これらは以下のように分類される：
   • 誤り・小マージン：現在の規則によって見逃された微妙な区別。
   • 誤り・大マージン：規則が人間の嗜好と矛盾する深刻な失敗。
   • 高報酬・誤り：両方の画像が高スコアだが、ランキングが誤っているケース。
4. ルブリック拡張：これらのハードペアの失敗診断から、新しい候補ルブリックが具体的に生成される。これらが作業セットに追加され、最適化ループが繰り返される。このプロセスはルブリック空間を反復的に拡張する一方で、$\ell_1$ 洗練器はコンパクトで重み付けされたグローバルな集合を維持する。

主要な貢献

1. T2I 向けのスパースルブリック学習：AutoRubric-T2I は、画像嗜好データから直接、T2I 報酬モデリングのためのスパースで重み付けされたグローバルな自然言語ルブリック集合を学習する最初のフレームワークであり、微調整なしで解釈可能な VLM ベースの報酬モデリングを可能にする。
2. 失敗駆動型ルブリック洗練：著者はルブリック選択を $\ell_1$ 正則化ロジスティック回帰問題として定式化し、カリキュラム・バケット化されたハードペアマイニングアルゴリズムを導入する。これにより、システムは特定の失敗モードを標的にしてルブリックプールを反復的に拡張し、統計的に空間を剪定して最も識別力のある規則を選択できる。
3. 強力な嗜好予測と下流の整合：このフレームワークは、ドメイン外ベンチマーク（MMRB2）において強力な嗜好予測を達成し、Flow-GRPO と報酬信号として使用された場合、T2I タスク（TIIF、UniGenBench++）における下流の強化学習微調整（RFT）を改善する。

実験結果

嗜好ベンチマーク評価

• ドメイン外パフォーマンス：MMRB2 ベンチマークにおいて、AutoRubric-T2I はゼロショット VLM ジャッジや既存のルブリック生成ベースライン（AutoRule、AutoRubric）を大幅に上回る。例えば、Qwen3-VL-8B を使用した場合、AutoRubric-T2I は HPSv3 データで訓練され 62.5% の精度を達成し、直接のペアワイズ VLM ベースライン（59.4%）や HPSv3（59.4%）、UnifiedReward（59.8%）などの微調整済みスカラーモデルを上回った。
• ドメイン内パフォーマンス：ドメイン内のテストセット（PickScore、HPSv3）では、これらの分布に直接訓練されているため微調整済みスカラーモデルが依然として競争力を持つが、AutoRubric-T2I は VLM を更新したり高密度な報酬モデルを訓練したりすることなく、極めて高い競争力を維持している。

下流 T2I 強化学習

• RL 微調整：SD-3.5-Medium を微調整するための報酬信号として Flow-GRPO に使用された場合、AutoRubric-T2I はスカラー報酬モデルや汎用的なルブリックベースラインよりも一貫して生成品質を向上させる。
• 微細な改善：TIIF および UniGenBench++ ベンチマークにおいて、この手法は推論、関係性の構成、レイアウト、テキスト生成などの微細なカテゴリでより強力な改善をもたらす。これは、不透明なスカラー報酬よりも明示的なルブリックの方が、よりターゲットを絞ったフィードバックを提供することを示唆している。
• 人間評価：30 人のアノテーターによる 4 者比較の人間評価において、AutoRubric-T2I で最適化されたポリシによって生成された画像は 44.8% の頻度で好まれ、ランダムベースライン（25%）や他の最適化手法を著しく上回った。

効率性とコスト

• データ効率：このフレームワークは、シード生成と洗練のためにわずか 256 組の注釈付き嗜好ペアのみを必要とし、標準的な報酬モデルの訓練に必要なデータの fraction（<0.01%）で済む。
• 訓練コスト：勾配ベースの報酬モデル訓練の必要性を排除する。洗練段階は 4 台の A6000 GPU で約 2〜4 時間かかる。
• 解釈性：スカラーモデルとは異なり、最終的な報酬は学習された重みを持つ明示的で人間が読める規則に分解され、監査可能性と報酬ハッキングの診断を可能にする。

意義と主張

本論文は、AutoRubric-T2I が堅牢な T2I 整合のためのスカラー報酬モデルに対する実用的かつ解釈可能な代替案を提供すると主張している。不透明なスカラー報酬を人間の嗜好から導出された明示的な規則の重み付け集合に置き換えることで、このフレームワークは以下の点を実現する：

• 報酬ハッキングの緩和：特定のセマンティックおよび構造的制約への遵守を強制することで、T2I ポリシーが表面的な視覚的代理変数を悪用するのを防ぐ。
• リソース障壁の低減：報酬モデリングに関連するデータおよび計算コストを劇的に低下させ、大規模な注釈パイプラインなしに高品質な嗜好整合を可能にする。
• 透明性の向上：T2I 最適化を駆動する基準を検査および監査するメカニズムを提供し、バイアスの診断と修正を容易にする。

著者は、この研究を「訓練フリー」の報酬モデリングへの一歩として位置づけており、そこでは知能はニューラルネットワークのパラメータではなく、規則の選択と重み付けに存在する。これにより、ルールベースシステムの解釈性と学習モデルの適応性の間のギャップを埋めている。