技術的サマリー：MIRO（MultI-Reward cOnditioned pretraining）

1. 問題定義

現在のテキストから画像（T2I）生成パイプラインは、典型的には 3 段階のパラダイムに従う：(1) 画像構造を学習するためのノイズの多いウェブデータ上での事前学習、(2) 分布を狭めるためのキュレーションされたサブセット上での教師あり微調整、(3) ユーザーの嗜好に合わせるための人間のフィードバックからの強化学習（RLHF）。著者らは、このパラダイムが以下の 3 つの重大な非効率性に悩まされていると主張する：

• データの破棄： 微調整において「低品質」なデータが破棄され、完全なデータ分布に存在する構造的シグナルが失われる。
• モード崩壊と忠実度の低下： RLHF は単一のスカラー報酬を最適化するため、分布が崩壊（多様性の低下）し、意味的忠実度が損なわれる傾向がある。
• 柔軟性の欠如： 報酬のトレードオフは学習時に固定され、推論時にユーザーが嗜好を調整することができない。
• 非効率性： 多段階のプロセスは、各段階ごとに莫大な計算リソースとハイパーパラメータの調整を必要とする。

本論文は、事後段階ではなく事前学習段階そのもので複数の報酬を整合させることで、完全なデータスペクトルを維持しつつ制御可能な生成を可能にすると提唱している。

2. 手法：MIRO

MIRO（MultI-Reward cOnditioned pretraining）は、報酬スコアのベクトルに基づいて生成モデルを条件付けることで、整合性を事前学習段階に直接統合するフレームワークである。

2.1. データセット拡張

データをフィルタリングする代わりに、MIRO はすべての学習画像 $(x, c)$ に $N$ 個の報酬スコアのベクトル $s = [s_1, s_2, \dots, s_N]$ を付与する。著者らは 7 つの相補的な報酬モデルを利用する：

1. 審美性スコア： 視覚的魅力。
2. HPSv2 および PickScore： 人間の嗜好への整合。
3. ImageReward： 指示追従とユーザーの嗜好。
4. VQAScore： 視覚的理解。
5. JINA CLIP スコア： テキストと画像の整合（長いキャプション向けに最適化）。
6. SciScore： 科学的正確性。

生スコアは正規化され、品質レベル全体でのバランスの取れた表現を確保し、異なる報酬モデル間のスケールの違いを処理するために、$B$ 個の離散ビンにビン分けされる。

2.2. 多報酬条件付きフローマッチング

核心的な学習目的は、標準的なフローマッチングの定式化を変更する。モデル $v_\theta$ は、ノイズの付いたサンプル $x_t$、テキストプロンプト $c$、および報酬ベクトル $s$ に条件付けられた速度場を予測するように学習する：
$$\mathcal{L} = \mathbb{E}_{(x,c,s) \sim \tilde{D}, \epsilon \sim \mathcal{N}(0,I), t \sim U(0,1)} \left[ \| v_\theta(x_t, c, \hat{s}) - (\epsilon - x) \|_2^2 \right]$$
報酬レベルの完全なスペクトル上で学習することで、モデルは条件付き分布 $p(x|c, s)$ を学習し、いかなるデータも破棄することなく、特定の報酬レベルと特定の視覚的特徴を関連付ける。

2.3. 報酬誘導推論

推論時、MIRO は**多報酬クラスターフリーガイダンス（CFG）**を通じて微細な制御を可能にする。ガイダンスベクトルは、正の報酬ターゲット $\hat{s}^+$（例：最大報酬）と負のターゲット $\hat{s}^-$（例：最小報酬）を対比させることで計算される：
$$\hat{v}_\theta(x_t, c) = (1 + \omega)v_\theta(x_t, c, \hat{s}^+) - \omega v_\theta(x_t, c, \hat{s}^-)$$
理論的には、これは報酬傾斜分布 $p_\omega(x|c) \propto p(x|c, s^+) \left( \frac{p(s^+|x, c)}{p(s^-|x, c)} \right)^\omega$ からのサンプリングに対応する。これにより、ユーザーは以下が可能になる：

• 複数の報酬を同時に最大化する。
• $\hat{s}^+$ の特定のコンポーネントを調整することで、トレードオフをナビゲートする（例：テキスト整合よりも審美性を優先する）。
• 複数の目的をバランスさせることで報酬ハッキングを回避する。

3. 主要な貢献

1. MIRO フレームワーク： 報酬スコアのベクトルに基づいて条件付ける事前学習手法であり、個別のフィルタリング、微調整、または事後の RLHF 段階を不要にする。
2. 効率性と性能： 0.36B パラメータの MIRO モデルは、GenEval およびユーザー嗜好ベンチマーク（PickScore、ImageReward、HPSv2）で最先端の結果を達成し、12B パラメータの FLUX-dev モデルを上回る一方で、トレーニング計算量を 370 倍削減している。
3. 収束速度： MIRO は、審美性および嗜好指標において、ベースライン事前学習に比べて最大19 倍速く収束する。
4. 推論効率： サンプルベースのスケーリング下では、MIRO は推論計算量を 3 倍削減しながら、ベースラインと同等かそれ以上の性能を達成する。
5. 理論的保証： 本論文は、MIRO が完全なデータ分布を維持（エントロピー保存）し、RL ベースの整合（DDPO）に固有のモード崩壊および勾配競合を回避することを証明している。

4. 実験結果

• GenEval（構成的ベンチマーク）： MIRO は総合スコア57（ベースライン 52 対）を達成し、Color Attribution（+31%）や Two Objects（+24%）などの困難なタスクで大幅な改善を示した。合成キャプションと組み合わせると、MIRO は68に達し、FLUX-dev（67）を上回る。
• ユーザー嗜好： MIRO は ImageReward、HPSv2、PickScore の各ベンチマークでトップを記録した。
• トレーニングダイナミクス： 定性的分析により、MIRO は 5 万ステップで認識可能で高品質な画像を生成するのに対し、ベースラインは同程度の品質に達するのに 20 万〜40 万ステップを必要とすることが示された。
• 報酬ハッキング： 単一報酬モデル（例：審美性スコアのみ最適化）は、意味的指標で深刻な劣化を示す。MIRO の多報酬条件付けはこれを防ぎ、すべての指標でバランスの取れた性能を維持する。
• テスト時スケーリング： MIRO は優れたサンプル効率を示す。PickScore などの指標において、MIRO は 4 サンプルでベースラインの 128 サンプルに匹敵する性能を達成し（32 倍の効率向上）、示している。

5. 意義と主張

本論文は、MIRO が「報酬の最適化」から「報酬分布の学習」へのパラダイムシフトを表すと主張する。事前学習中に報酬スコアを制御可能な入力として扱うことで、MIRO は以下を実現する：

• コンテンツと品質の分離： モデルは再学習なしに、任意の望ましい品質レベルで生成を学習する。
• 「フィルタリング対シグナル」のトレードオフの排除： 完全なデータスペクトルを利用し、キュレーションされたデータセットでしばしば破棄される自然画像の構造的シグナルを維持する。
• 原則的な制御の提供： ユーザーは推論時に競合する目的間のトレードオフ（例：審美性対意味的整合）を明示的に調整でき、これは標準的な RLHF パイプラインでは利用できない機能である。
• 計算コストの削減： この手法は、はるかに小規模なモデルと少ない計算量で最先端の結果を達成し、T2I モデルのスケーリングに伴う効率性と環境への懸念に対処する。

著者らは、このアプローチが報酬意識型事前学習のための新たな研究分野を開拓し、現在の多段階整合パイプラインに対する安定性、効率性、制御性を備えた代替案を提供すると結論付けている。