💻 computer science

DyCoRM: Dynamic Criterion-Aware Reward Modeling for Text-to-Image Generation

本論文は、新たに構築されたデータセットとベンチマークを活用してユーザー要件とのより精密な整合を可能にすることにより、テキストから画像への生成における微細でタスク固有の画像評価の必要性に対応する動的な基準意識型報酬モデリングフレームワークである DyCoRM を紹介する。

原著者： Jiaying Qian, Ziheng Jia, Qian Zhang, Zicheng Zhang, Jiayi Guo, Junqi Zhang, Guangtao Zhai, Xiongkuo Min

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiaying Qian, Ziheng Jia, Qian Zhang, Zicheng Zhang, Jiayi Guo, Junqi Zhang, Guangtao Zhai, Xiongkuo Min

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは芸術評論家だと想像してください。ただし、「この絵の方があの絵より好きだ」と言うだけでなく、アーティストがあなたに与えた特定のルールに基づいて、なぜそうなのかを正確に説明しなければならないとします。

この論文は、コンピュータが AI 生成画像を評価するのを助けるために設計された新しいシステム、DyCoRM（Dynamic Criterion-Aware Reward Model：動的基準認識報酬モデル）を紹介しています。以下に、簡単な比喩を用いて解説します。

課題：「万能型」の審査員

現在、ほとんどの AI 画像審査員は、最終製品だけを見て単一のスコア（例：「10 点満点中 8 点」）を与える総支配人のように機能しています。

問題点: 時にはユーザーが「怖い」画像を求め、他の時には「カラフルな」画像を求めます。総支配人は、ユーザーが具体的に「怖い」ものを求めた場合でも、カラフルな画像に高いスコアを与えるかもしれません。従来の審査員は、特定の依頼に基づいて焦点を切り替える方法を知りません。彼らはすべての仕事に対して固定されたルールセットを使用することに固執しています。

解決策：「専門検査員」(DyCoRM)

著者たちは、柔軟で専門的な検査員のような新しいシステムを構築しました。この検査員は単にスコアを与えるだけでなく、以下の 2 つのステップを順序立てて行います。

ステップ 1：設計図を読む（基準の具体化）
画像を見る前に、検査員はユーザーのプロンプトを読み、「この仕事のための具体的なルールは何ですか？」と問います。
- 比喩: プロンプトが「サイバーパンクな街」の場合、検査員は以下のように書き留めます。「ネオンライト、飛行車、暗い通りをチェックする」。
- プロンプトが「居心地の良いキッチン」の場合、検査員は以下のように書き留めます。「暖かい照明、窓の結露、リアルな食感のテクスチャをチェックする」。
- このシステムは、すべての新しい依頼に対してこれらの具体的なルールを自動的に見極めることを学びます。
ステップ 2：ルールに基づいて評価する（基準条件付き比較）
ルールが設定されると、検査員は 2 つの画像を見て、その特定のルールに基づいてのみそれらを比較します。
- 比喩: 「画像 A の方が美しい」と言うだけではありません。「画像 A が勝つのは、ネオンライトがより明るいため（ルール#1）ですが、画像 B が勝つのは、食事がより美味しそうに見えるため（ルール#2）です」と言います。

訓練データ：「模擬試験」(DyCoDataset-20K)

この検査員がその仕事をこなす方法を教えるために、研究者たちはDyCoDataset-20Kと呼ばれる大規模な新しい訓練データセットを作成しました。

作成方法: 彼らは数千のプロンプトを取り、14 種類の異なる AI モデルから画像を生成し、その後、人間を「チューター」として雇いました。
チューティングプロセス: 人間は単に勝者を選ぶだけではありませんでした。彼らは以下のことを行う必要がありました。
1. その特定のプロンプトに対する具体的な基準を書き留める（例：「手はリアルに見える必要がある」）。
2. その基準のみに基づいて画像を比較する。
結果: すべてのタスクで「ルール」が変化する 20,000 件以上の事例からなるデータセットが完成し、AI に柔軟性を教えました。

ベンチマーク：「最終試験」(DyCoBench-1K)

彼らはまた、DyCoBench-1Kと呼ばれる、より小さく、より難しいテストセットも作成しました。これは、質問がトリッキーで、AI が焦点を素早く切り替える必要がある最終試験のようなものです。結果は、DyCoRM が以前の「総支配人」スタイルの審査員よりもはるかに良くこの試験に合格したことを示しました。

応用：「パーソナルショッパー」(DyCoPick)

最後に、著者たちはDyCoPickというツールを用いて、このシステムを実際にどのように使用できるかを示しました。

仕組み: あなたが AI に「宇宙にいる猫」の画像を 10 枚生成するように頼むと想像してください。
従来の方法: AI は、一般的に「良い」ように見える最初の画像を選ぶかもしれません。
DyCoPick の方法: システムは 10 個のオプションを生成し、その後、「専門検査員」を使って、あなたの特定のニーズに基づいてそれらを検討します（例：「猫がふわふわしているように見えてほしい」または「背景が暗いようにしてほしい」）。そして、あなたの特定の基準に最も合致する 1 枚の画像を選びます。それは、単に人気があるものではなく、あなたが何を求めているかを正確に知っているパーソナルショッパーのように機能します。

まとめ

要約すると、この論文はこう述べています。「すべての AI 画像評価に対して 1 つの汎用的なルールブックを使用するのをやめなさい。代わりに、現在のタスクに対する具体的なルールが何かをまず見極め、その後、その具体的なルールに基づいて画像を評価するシステムを構築しなさい」。彼らは、これが従来の方法よりも優れていることを証明するために、教師（データセット）、生徒（モデル）、そして試験（ベンチマーク）を構築しました。

技術概要：DyCoRM：テキストから画像への生成のための動的基準認識報酬モデリング

1. 問題定義

テキストから画像（T2I）への生成モデルは高品質な画像の生成において著しく進歩してきたが、ユーザーの要求は特定のタスクに関連する要件を満たす出力へとシフトしている。既存の報酬モデルや評価フレームワークは、主に静的な事前定義された次元や集約された選好信号に依存している。これらのアプローチは、評価基準がプロンプト、画像ペア、および意図される使用ケース（例えば、デザインタスクではテキストの可読性を優先し、物語作りでは感情的なトーンを優先するなど）に基づいて大きく変化する、ユーザー判断の動的な性質に適応できない。

特定された核心的な課題は、現在のモデルが評価を以下の 2 つの明確なステップに分解できないことである：(1) プロンプト - 画像の文脈からタスクに関連する基準を推論すること、および (2) その特定の基準に条件付けられた画像の選好をモデル化すること。その結果、既存のモデルは、異なるタスクが異なる評価基準を要求する際に、画像のどの側面を優先すべきかを適切に判断することに苦労している。

2. 手法

2.1 データ構築：DyCoDataset-20K と DyCoBench-1K

動的で基準を認識したモデリングを可能にするため、著者は新しいデータセットとベンチマークを構築した：

DyCoDataset-20K： 4,876 のプロンプト、23,378 の画像ペア、および 94,572 の微細な基準から構成されるデータセット。構築パイプラインは以下の通りである：
- プロンプト生成： 複雑さを変化させるために、6 つの構成要素（主題、外観、シーン、動き、形式、レンダリング）によって制御された多様なプロンプトを GPT-4o を使用して生成する。
- 画像取得： 14 のモデル（プロプライエタリおよびオープンソースを含む）のプールから、プロンプトあたり 5〜6 枚の画像を生成し、多様な比較を確保する。
- 人間による注釈： 2 段階のプロトコル。注釈者はまず、特定のプロンプト - 画像ペアに関連する微細な基準を策定し、その後、各確定された基準の下でペアワイズ比較を行う。ラベルは、注釈者の 70% 以上が合意した場合にのみ保持される。
DyCoBench-1K： データセットから派生したキュレーションされたベンチマークであり、192 のプロンプトと 822 の画像ペアを含む。これは、選択された基準に基づいて勝者が変化する選好の反転ケースなど、動的評価能力をテストするように設計されている。

2.2 モデルアーキテクチャ：DyCoRM

DyCoRM は 2 段階の報酬モデリングフレームワークである：

ステージ 1：基準グラウンディング： モデルはプロンプトと画像ペアを入力として受け取り、タスクに関連する微細な基準のセット（ $C = \{c_1, c_2, ..., c_M\}$ ）を生成する。これは、人間が注釈した基準に対するクロスエントロピー損失を用いた自己回帰的なシーケンス生成タスクとして訓練される。
ステージ 2：基準条件付き報酬学習： プロンプト、画像ペア、および特定の基準（または基準のセット）が与えられた場合、モデルは画像間の選好を予測する。著者はポイントワイズ損失とペアワイズ損失の両方を調査し、ペアワイズ損失が一貫して優れた性能をもたらすことを発見した。モデルは、指定された条件の下でどの画像が好まれるかを示す確率を出力するように学習する。

2.3 応用：DyCoPick

DyCoPick は、報酬モデリングフレームワークを生成選択フェーズに拡張する。これは 3 つの段階で動作する：

候補生成： 複数の T2I モデルが与えられたプロンプトに対して候補を生成する。
基準解決： ユーザーが基準を提供している場合はそれを使用し、そうでない場合はシステムがプロンプトと候補からタスクに関連する基準を自動的に導出する。
基準別選択： DyCoRM は、各基準の下で候補間でペアワイズ比較を行い、パーソナライズされた選好の整合性のために最良の出力を選択する。

3. 主要な貢献

DyCoRM フレームワーク： 評価を基準グラウンディングと基準条件付き選好学習に明示的に分解する最初の報酬モデリングフレームワークであり、モデルが多様なタスク要件に適応した判断を行えるようにする。
DyCoDataset-20K および DyCoBench-1K： 動的で微細な基準を備えた大規模データセットの構築と、静的な全体的な選好ラベルを超えて、動的で基準固有の判断の下で報酬モデルを評価するように設計されたベンチマークの構築。
DyCoPick： 動的で基準を認識した報酬モデリングが、パーソナライズされた出力選択のために T2I 生成パイプラインにどのように統合できるかを実証する実用的な応用。

4. 実験結果

著者は、DyCoBench-1K および 4 つのクロスドメインベンチマーク（ImageReward、Pick-a-Pic、HPDv2、HPDv3）上で DyCoRM を評価した。

DyCoBench-1K における性能： DyCoRM は、単一基準、多基準、および全体的な選好設定のすべてにおいて、専門的な T2I 報酬モデル（HPSv3、ImageReward など）および一般的な大規模マルチモーダルモデル（LMM）を大幅に上回った。例えば、全体的な選好設定において、DyCoRM は 0.791 の精度（コヘンのカッパ 0.772）を達成し、次点のベースライン（HPSv3）の 0.732 と比較して優れていた。
汎化能力： クロスドメインベンチマークにおいて、DyCoRM は競争力のある性能を維持し、動的基準での訓練が標準的な全体的な選好評価タスクに汎化することを示した。
動的機能： 分析により、DyCoRM の性能はタスクの難易度や基準の数の変化に対して堅牢であることが示され、固定されたヒューリスティックに依存するのではなく、変化する評価条件に適応していることが示された。
人間による研究（DyCoPick）： 選択器として他の報酬モデルと比較する人間による研究において、DyCoPick はすべての設定（全体的、単一基準、多基準）で好まれ、特に基準固有の評価において顕著な優位性を示した。

5. 意義と主張

本論文は、T2I 生成における動的かつ微細な評価のための最初の報酬モデリングフレームワークを確立すると主張している。静的な選好予測から動的で基準を認識した評価へのパラダイムシフトにより、この研究は特定のユーザー要件に適応できない現在のモデルの限界に対処している。著者は、このアプローチが生成された出力とユーザーの意図との間のより精密な整合を可能にし、オフライン評価と実用的な生成時の選択の間のギャップを埋めると提唱している。本研究は、動的基準の収集は静的な選好ラベリングよりも費用がかかるが、その結果得られるデータセットとフレームワークが、次世代のパーソナライズされた T2I システムにとって必要な基盤を提供することを強調している。