技術的サマリー：離散方策最適化のためのガイダンス対比トークンクレジット割り当て

問題定義

生成モデルにおける強化学習（RL）の最近の進展、特に Group Relative Policy Optimization（GRPO）および DAPO などのその変種は、数学的推論からテキストから画像への合成に至るまで、幅広い分野で高い性能を示しています。しかし、これらの手法はサンプルレベルの報酬に依存しており、これは生成されたシーケンス内のすべてのトークンに均一に伝播されます。この均一なクレジット割り当ては、微細なトークンレベルの貢献を捉えることに失敗しています。

実際には、すべてのトークンが同等に重要であるわけではありません。思考連鎖（CoT）推論において、特定のトークン（例：数学的導出）は回答の正しさを決定づけますが、他のトークン（例：句読点、接続詞）は単なる埋め合わせです。同様に、テキストから画像への生成において、特定の画像領域はテキストプロンプトと直接関連していますが、他の領域（背景など）はあまり関連していません。既存のトークンクレジット割り当て手法は、トークンの信頼性、勾配、エントロピーなどのヒューリスティックに依存することが多いですが、視覚およびテキストの両方のモダリティにわたって意味的に重要な領域を特定する統一的なメカニズムは欠けています。

手法：ガイダンス対比方策最適化（GCPO）

著者は、正のプロンプトと負のプロンプト下でのモデル予測を対比させることで、トークンごとのアドバンテージを割り当てる新しいアルゴリズム**ガイダンス対比方策最適化（GCPO）を提案します。この手法は、テキストから画像への拡散モデルにおける標準的な推論技術であるClassifier-Free Guidance（CFG）**に触発されています。

1. 対比ガイダンスメカニズム

GCPO は、正のプロンプト（$x$）と負のプロンプト（$x^-$）を与えた場合のモデル予測間の乖離を測定することで、トークンごとの重要度重み（$\eta$）を計算します。

• テキストから画像への生成の場合: 正のプロンプトはユーザー入力であり、負のプロンプトは通常、空文字列（条件付きなし生成）です。
• マルチモーダル推論（VLM）の場合: インストラクションチューニングされたモデルは空のプロンプトをネイティブにサポートしないため、著者は元の質問に接尾辞指示**「誤った回答を生成せよ」**を追加することで負のプロンプトを構築します。これにより、モデルが正しい回答に対する暗黙の信念と、誤った回答に対する信念との間に対比が生まれます。

重要度重みは、これら 2 つの条件下でのトークン分布間のKullback-Leibler（KL）ダイバージェンスを用いて計算されます：
$$\eta_{i,t} = D_{KL}(\pi_\theta(y_{i,t}|x, y_{i,<t}) \parallel \pi_\theta(y_{i,t}|x^-, y_{i,<t}))$$
高い $\eta$ 値を持つトークンは、モデルの予測がプロンプトに対して非常に敏感であることを示し、意味的な重要性を意味します。

2. ランクベース正規化

生 KL ダイバージェンス値は、タスク、プロンプト、シーケンス長によってスケーリングが激しく変動する可能性があります。softmax や min-max などの標準的な正規化手法は、外れ値（例：最初のトークン）に確率質量が集中する傾向があります。これを解決するため、GCPO はヒストグラム均等化（ランクベース正規化）を採用します。

• 正規化されていない $\eta$ 値は、シーケンス内の累積分布関数（CDF）値に変換されます。
• これにより、正規化された重みの分布が、乖離の絶対スケーリングに関係なくサンプル間で一貫性を持つようになり、タスク固有のハイパーパラメータ調整なしに安定した学習を可能にします。

3. 方策最適化目的関数

正規化された重み（$\eta_{normalized}$）は、サンプルごとのアドバンテージ（$\hat{A}_i$）をスケーリングするために使用され、トークンごとのアドバンテージ（$\hat{A}^{GCPO}_{i,t}$）を取得します：
$$\hat{A}^{GCPO}_{i,t} = \eta_{normalized, i,t} \cdot \hat{A}_i$$
このトークンごとのアドバンテージは、標準的な GRPO 目的関数における均一なアドバンテージに代わり、方策更新が意味的に重要なトークンにより重点を置いて行われるようにします。

主な貢献

1. 新しいトークンクレジット割り当て: GCPO は、正のプロンプトと負のプロンプトを対比させることでトークンごとの重要度重みを導出する手法を導入し、明示的なトークンレベルの報酬を必要とせずに、主要な推論ステップや視覚領域を効果的に特定します。
2. 言語およびマルチモーダル領域への拡張: CFG は画像生成で標準的ですが、本論文は「誤った回答を生成せよ」という特定の負のプロンプト戦略を設計することで、この概念を離散言語生成およびマルチモーダル推論に成功裏に拡張しました。これにより、モデルの暗黙的な正しさの信念が明らかになります。
3. 堅牢な正規化: ランクベース正規化（ヒストグラム均等化）の提案は、RL 学習における生乖離指標に関連する不安定性の問題を解決し、多様なタスクにわたって滑らかな最適化を確保します。
4. 汎用性: この手法は、テキストから画像への生成と複雑なマルチモーダル推論タスクの両方で有効であり、既存のベースラインを上回ることが示されています。

実験結果

著者は GCPO を 2 つの主要なベンチマークで評価しました：

テキストから画像への生成

• ベンチマーク: GenEval。
• ベースモデル: Janus-Pro-7B。
• 結果: GCPO は総合スコア0.89を達成し、ベースモデル（+0.09）、以前の RL 手法である Janus-Pro-R1、および GRPO ベースライン（0.85）を上回りました。これは、Qwen-Image-2507 や BAGEL などのはるかに大規模なモデルの性能と同等でした。
• 観察: 最も顕著な改善は、「カウント」および「色属性」タスクで見られ、ここではプロンプトとの正確なトークンレベルの整合性が不可欠です。

マルチモーダル推論

• ベンチマーク: MathVerse, MathVision, MM12K, LogicVista, および MMMU-Pro。
• ベースモデル: Qwen2.5-VL-7B および Qwen3-VL-8B。
• 比較: GCPO は、GRPO、DAPO、および視覚依存トークンに焦点を当てた先行研究 VPPO と比較されました。
• 結果: GCPO はすべてのベースラインを一貫して上回りました。例えば、Qwen3-VL-8B モデルにおいて、GCPO は MMMU-Pro で**55.3%**を達成し、VPPO（52.4%）および DAPO（50.5%）を凌駕しました。
• アブレーション研究: 研究は、情報利得や絶対差と比較して KL ダイバージェンスが最も効果的な指標であることを確認し、「誤った回答を生成せよ」という負のプロンプトが、空白画像や一般的なプロンプトなどの他の戦略よりも優れていることを確認しました。

意義と主張

本論文は、GCPO が離散方策学習のためのシンプルで汎用的かつスケーラブルな最適化戦略であると主張しています。その意義は以下の点にあります：

• 学習信号の精緻化: 均一なサンプルレベルの報酬から微細なトークンレベルのアドバンテージへと移行することで、GCPO はモデルがすべてのトークンを均等に扱うのではなく、推論トレースの「実質」および関連する視覚領域に焦点を当てることができます。
• 推論と学習の架け橋: 推論時の技術（CFG）を学習時の報酬形成メカニズムとして成功裏に適応させ、CFG がサンプリング中に明示的に使用されていない領域であっても、対比信号が方策最適化を導くことができることを実証しました。
• ヒューリスティックに対する優位性: 静的なヒューリスティック（信頼性、勾配）に依存する以前のトークンクレジット割り当て手法とは異なり、GCPO はモデル自身のプロンプト条件に対する感度に基づいて重みを動的に導出するため、より意味的に根拠のある信号を提供します。

著者は、この手法が正解と不正解を区別する初期能力（負のプロンプトに応答するため）をモデルに必要とし、プロンプト依存の RL タスクに厳密に適用可能であるという制限を指摘しています。しかし、彼らは GCPO がトークンレベルのクレジット割り当てのための堅牢なメカニズムを提供することで、離散方策最適化の将来の進展への道を開くと主張しています。