S-GRPO: 大規模視覚言語モデル（LVLM）のための統合型ポストトレーニング手法

本論文は、大規模視覚言語モデル（LVLM）のドメイン適応における既存手法の課題を解決し、教師あり微調整（SFT）と強化学習（RL）の長所を単一の段階で統合する新しいフレームワーク**「S-GRPO（Supervised Group Relative Policy Optimization）」**を提案しています。

以下に、論文の技術的要点を問題定義、手法、主要な貢献、実験結果、意義の観点から詳細にまとめます。

---

1. 背景と問題定義

LVLM のドメイン適応（医療診断、幾何学問題解決など）において、従来は以下の 2 つの主要なパラダイムが存在しますが、それぞれに重大な欠陥があります。

• 教師あり微調整（SFT）の課題:
  • メカニズム: 正解データ（Ground Truth）のみを用いた最大尤度推定（MLE）により、モデルを単一の決定論的な軌道に沿って学習させます。
  • 問題点: 厳格な「教師強制（Teacher-forcing）」により、モデルの汎用的なマルチモーダル能力が狭いドメイン分布に上書きされ、**「カタストロフィック・フォージング（破滅的な忘却）」**が発生します。これを「アライメント税（Alignment Tax）」と呼びます。
• 強化学習（RL）の課題（特に GRPO）:
  • メカニズム: 複数の生成軌道をサンプリングし、報酬関数に基づいて方策を最適化します（Group Relative Policy Optimization: GRPO）。
  • 問題点: 未調整のベースモデルに対して直接適用すると、**「コールドスタート問題」**に直面します。厳格なバイナリ検証器（正解/不正解のみを判定）を用いた場合、モデルが初期段階で正しい軌道を生成できず、グループ内の全サンプルが報酬 0 となります。これにより、相対的利得（Advantage）がゼロに収束し、**勾配消失（Vanishing Gradients）と最適化の崩壊（Optimization Collapse）**が発生し、学習が停止します。

既存の解決策の限界:
通常、SFT で事前学習してから RL を行う「2 段階パイプライン」が用いられますが、SFT 段階で既に汎用能力が損なわれるため、その後の RL で回復させることが困難です。

---

2. 提案手法：S-GRPO

S-GRPO は、SFT の明確な指導信号と RL の多軌道探索を単一のオンポリシー（On-policy）段階で統合するフレームワークです。その核心は、**「条件付き正解軌道注入（Conditional Ground-Truth Trajectory Injection: CGI）」**メカニズムにあります。

2.1 基本的な仕組み

1. オンライン探索: 現在のポリシーから $G-1$ 個の探索軌道をサンプリングします。
2. 検証と失敗検知: 厳格なバイナリ検証器（例：Qwen3-4B-Instruct）で軌道を評価します。
3. 条件付き注入（CGI）:
   • 失敗した場合（コールドスタート状態）: グループ内の全軌道が不正解（報酬=0）であった場合、正解軌道（Ground Truth）を 1 つ注入して混合グループを形成します。
     • 注入された正解軌道には確定的な最大報酬（$R_{max}=1.0$）が与えられます。
     • これにより、グループ内の平均報酬と標準偏差が計算可能になり、正解軌道に対して強力な正の利得（Positive Advantage）、不正解軌道に対して負の利得が生成されます。
     • これにより、勾配消失を防ぎ、モデルを正解軌道へ誘導します。
   • 成功した場合: グループ内に少なくとも 1 つの正解軌道が存在する場合、注入は行われず、標準的な GRPO による自己探索（純粋な RL）に遷移します。

2.2 数学的定式化

注入された正解軌道 $y_{gt}$ と生成された軌道 $o_i$ が混在するグループ $O_{mixed}$ に対して、相対的利得 $\hat{A}_i$ を計算します。

• 正解軌道: $\hat{A}_{gt} \gg 0$ （強力な模倣学習信号）
• 不正解軌道: $\hat{A}_{gen} < 0$ （罰則信号）

この混合グループを用いて、以下の目的関数を最適化します。
$$J_{S-GRPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum \min(\rho_i \hat{A}_i, \text{clip}(\dots)) \right] - \beta D_{KL}(\pi_\theta \| \pi_{ref})$$
これにより、モデルは初期段階では正解軌道に依存して学習をスタートし（Bootstrapping）、能力が向上するにつれて自動的に自己探索へ移行する動的なバランスを実現します。

---

3. 主要な貢献

1. 統合型ポストトレーニングフレームワークの確立:
   • SFT と RL の二項対立を解消し、単一の段階でドメイン知識の注入と汎用能力の維持を両立させるアルゴリズムを形式化しました。
2. 条件付き正解軌道注入（CGI）メカニズム:
   • バイナリ検証器環境における「コールドスタート問題」を、学習の失敗を検知した時のみ正解軌道を動的に注入することで解決しました。これにより、最適化の崩壊を防ぎつつ、不要な教師強制バイアスを排除しています。
3. 実証的な性能向上:
   • 疎な報酬（Sparse Reward）を持つ視覚タスクにおいて、収束速度を劇的に向上させ、ドメイン適応性能を最大化しつつ、ベースモデルの汎用能力を完全に保持することを示しました。

---

4. 実験結果

実験設定:

• ベースモデル: Qwen2.5-VL-7B
• データセット: COCO Caption（画像キャプション）、Geo170K（幾何学問題）、OpenI（医療 X 線診断）。
• 比較対象: ベースライン、SFT（FFT, LoRA）、純粋な RL（GRPO, DAPO など）、2 段階パイプライン（SFT→GRPO）、既存の注入手法（GCPO, RCPA）。

主な結果:

• ドメイン適応性能: S-GRPO は、フル微調整（FFT）と同等かそれ以上のドメイン固有タスクの性能（例：COCO での CIDEr 1.0106）を達成しました。
• 汎用能力の維持:
  • FFT はドメイン性能は高いものの、MMMU（推論）や IFEval（指示追従）などの汎用能力が大幅に低下しました（アライメント税の発生）。
  • 一方、S-GRPO は FFT に匹敵するドメイン性能を維持しつつ、汎用能力の低下を最小限に抑え、IFEval-I スコアで FFT を大きく上回りました。
• コールドスタートの解決: 純粋な GRPO は厳格な検証器下で学習が停止（0.2245 BLEU-1）しましたが、S-GRPO は安定して学習を完了し、優れた性能を発揮しました。
• 2 段階パイプラインとの比較: 計算コストのかかる「SFT→RL」の 2 段階プロセスを不要とし、単一段階で同等以上の性能を達成しました。

アブレーション研究:

• CGI の重要性: 注入を行わない場合（標準 GRPO）は学習失敗、無条件注入（常に正解を混ぜる）は汎用能力の低下を招きました。CGI（失敗時のみ注入）が最適なバランスを提供しました。
• 閾値 $\delta$ の影響: 注入のトリガー閾値を調整することで、ドメイン学習の速度と汎用能力の維持のトレードオフを制御可能であることを示しました（$\delta=0.9$ が最適）。

---

5. 意義と結論

S-GRPO は、LVLM のドメイン適応における「学習の冷たいスタート」と「汎用能力の喪失」という二重の課題に対して、 elegant な解決策を提供します。

• 理論的意義: 教師あり学習を強化学習の利得推定における「高利得のアンカー」として再解釈し、両者の連続的なスペクトルとして統合する視点を提供しました。
• 実用的意義: 複雑なカリキュラム学習や外部モデルへの依存なしに、単一段階で効率的かつ堅牢なドメイン適応を実現します。これにより、医療や工業検査など、厳格な正解基準が求められる分野での LVLM 実用化が大幅に促進されます。

本論文は、大規模モデルのポストトレーニングにおいて、計算効率と性能、そして汎用性の維持を両立させる新しいパラダイムを示唆する重要な研究です。