技術要約: SRUM - 統一マルチモーダルモデルのための細粒度自己報酬学習

1. 問題提起

統一マルチモーダルモデル（UMM）は、単一のフレームワーク内に視覚と言語の理解と生成を統合することで、著しく進化してきました。しかし、根本的なパラドックスが依然として存在します。それは、現在のUMMにおける「理解能力」が「生成能力」を上回っていることが多いという点です。モデルは、生成された画像が複雑なプロンプトに適合していないことを正しく識別できる一方で（強い理解力の証明）、同じプロンプトから忠実な画像を生成することはできないまま、という状況が生じます。

このギャップは、「教師」（理解モジュール）が「生徒」（生成モジュール）よりも有能であることを示唆しています。既存のポストトレーニング手法は、外部の報酬モデル、人間の好みのラベル、またはルールベースの報酬に依存することが多く、これらはリソース集約的であり、精緻なペアデータが必要であったり、あらゆるタスクに対する普遍性に欠けたりします。本論文は、解決策はモデル自身のアーキテクチャの中に存在すると主張します。すなわち、外部の監督なしに、モデル自身の内部の理解モジュールを活用して生成モジュールを導き、改善するという手法です。

2. メソドロジー: SRUMフレームワーク

著者らは、モデルが自身の生成物を評価し、報酬を与えるという相乗的なフィードバックループを構築するポストトレーニングフレームワーク、SRUM (Self-Rewarding for Unified Multimodal Models) を提案します。プロセスは主に以下の3つの段階で構成されます。

A. 自己報酬データの生成

UMMは「思考」モード（Chain-of-Thought）を利用して、テキストプロンプトに基づく候補画像を生成します。細粒度な評価を容易にするため、モデルは（一部のアーキテクチャではSAMのような外部セグメンテーションツールを用い、他のアーキテクチャではネイティブなグラウンディングを用いて）関連領域のバウンディングボックスを生成します。極めて重要な点は、外部コンポーネントはあくまで局在化の補助として機能し、意味的なスコアリングは完全にUMM自身の理解モジュールによって行われるという点です。

B. グローバル・ローカル二重報酬システム

詳細な改善のための全体的なスコアの不足に対処するため、SRUMは二層の報酬メカニメントを採用しています。

1. ローカル報酬 (Local Reward): オブジェクトレベルの忠実度、属性の結合、および視覚的なアーティファクトを $[-1.0, 1.0]$ の厳格なスケールで評価します。これには、解釈可能な根拠を引き出すための必須の「Reason（理由）」フィールドが含まれており（Chain-of-Thoughtと同様）、信頼性を高めています。また、人間の視覚的な感受性を反映させるため、深刻な歪みに対しては非線形なペナルティが適用されます。
2. グローバル報酬 (Global Reward): 全体的な構成、空間的な整合性、およびシーンの妥当性を評価します。特定の構成指示を持たないプロンプトに対しては、公平性を確保するために中立的なスコア範囲が適用されます。

これらのスコアは、ローカル領域のための高密度な報酬マップ ($R$) と、画像全体のためのグローバルなスカラー ($\alpha$) に変換されます。このフェーズにおいて理解モジュールは凍結された状態であり、純粋に評価者として機能します。

C. 報酬加重トレーニング

コアとなるトレーニング目的は、理解モジュールの洞察を生成モジュールのパラメータへと変換することです。損失関数 ($\mathcal{L}_{Total}$) は2つの項を組み合わせます。

1. 報酬加重損失 ($\mathcal{L}_r$): この項は、フローベースのフレームワークにおける標準的な速度予測損失を調整します。予測された速度とターゲットの速度の間の二乗誤差を、グローバル報酬とローカル報酬の積 ($\alpha \cdot R$) によって重み付けします。
   • フィードバックが正の場合 ($\alpha \cdot R > 0$)、モデルは現在の生成を維持するように促されます。
   • フィードバックが負の場合 ($\alpha \cdot R < 0$)、モデルは変化を促進するためにペナルティを受けます。
2. 参照制約 ($\mathcal{L}_{ref}$): アーティファクトのない潜在変数への $\ell_2$ 距離をペナルティとする正則化項です。これは「報酬ハッキング」を防ぎ、Direct Preference Optimization (DPO) などの手法と一致する概念であるトレーニングの安定性を確保します。

最終的な目的関数は以下の通りです：
$$\mathcal{L}_{Total} = \mathcal{L}_r + \lambda_c \cdot \mathcal{L}_{ref}$$
ここで、$\lambda_c$ はハイパーパラメータです（実験では0.5に最適化）。

3. 主な貢献

• UMMのための初の包括的な自己報酬フレームワーク: 本論文は、外部の報酬モデルや人間のラベルを必要とせず、モデルの内部能力を使用してUMMの理解と生成のギャップを埋めるために特別に設計された、最初のポストトレーニングフレームワークを導入しました。
• グローバル・ローカル二重報酬設計: 著者らは、高レベルの構成評価と細粒度なオブジェクトレベルのフィードバックを組み合わせた新しい報酬構造を提案しました。このマルチスケールなガイダンスは、複雑な生成タスクにおいて極めて重要であることが示されています。
• 実証された汎用性: フレームワークは異なるUMMアーキテクチャ（Bagel, BLIP3o）にわたって検証されており、インドメイン（構成的）およびアウトオブドメイン（推論ベース）の両方の設定において強力な転移性を示しています。

4. 実験結果

著者らは、QwenVL-2.5を主要な評価器として使用し、T2I-CompBench および T2I-ReasonBench ベンチマークでSRUMを評価しました。

• 性能向上:
  • T2I-CompBench において、SRUMはBagel (CoT) ベースラインの総合スコアを 82.18 から 88.37 へと向上させました。
  • T2I-ReasonBench において、スコアは 43.82 から 46.75 へと上昇しました。
  • 空間推論、3D空間関係、および複雑な構成タスクにおいて顕著な改善が見られました。
• アブレーション研究: ローカル報酬またはグローバル報酬のいずれかを削除すると大幅な性能低下を招き、両方のスケールの必要性が確認されました。参照制約を削除すると性能が低下したことから、その安定化における役割が浮き彫りになりました。
• 外部報酬との比較: SRUMは、外部のVLM（例：QwenVL-7B/32B）を報酬モデルとして使用する方法を上回りました。内部スコアラーは、より優れたキャリブレーションと、受理されたサンプルと拒絶されたサンプルの分離を示しており、これは単に外部パラメータをスケールアップすることよりも、固有のマルチスケール設計がより効果的であることを示唆しています。
• 効率性: 自己報酬プロセスは計算効率が高く、NVIDIA H100上で6,000個の候補画像をスコアリングするのに4時間未満を要し、標準的な教師あり微調整（SFT）と比較してオーバーヘッドは無視できる程度です。
• 理解の保持: この手法は、MME、MM-Vet、MMMUなどのベンチマークにおけるモデルの核となる理解能力を低下させず、場合によっては（MMVPなど）性能がわずかに向上しました。

5. 重要性と主張

本論文は、SRUMがUMMが自己改善を実現するための強力なパラダイムを確立すると主張しています。理解モジュールを内部の教師として扱うことで、フレームワークは理解と生成の間のギャップをうまく埋めることに成功しました。

著者らは、このアプローチが以下の特性を持つことを強調しています：

• 外部データからの脱却: 労力のかかる人間によるラベル付けや外部報酬モデルへの依存を排除します。
• マルチスケールな洗練の実現: 二重報酬システムは、空間関係や属性結合に関する従来のT2Iモデルの特定の失敗モードに対処します。
• スケーラブルな経路の提供: この手法は様々なUMM設計に適用可能であり、強力な汎用性を示していることから、自己修正型マルチモーダルシステムの研究に向けた有望な道筋を示唆しています。

本研究は、SRUMが予備的な探索ではあるものの、単一のモデル内における理解と生成の相乗的な発展のための有望な方向として、自己報酬の原則を検証したものであると結論付けています。今後の課題としては、スコアリングモジュールのプロンプティング戦略の洗練や、より大規模なデータセットへの適用などが挙げられます。