技術概要：マルチモーダル推論のための知識強化選好最適化（KEPO）

1. 問題定義

強化学習（RL）は、大規模マルチモーダル視覚言語モデル（VLM）において明示的な推論行動を誘発するための主要なパラダイムとして浮上している。しかし、RL を推論集約型タスク、特に医療のような高リスクドメインに適用する際には、2 つの根本的な失敗モードに直面する。

1. スパースな報酬と曖昧なクレジット割り当て: 既存の多くの手法は、スパースな軌道レベルの報酬（例えば、正誤の二値）に依存している。長文脈の推論において、単一の局所的な誤りが、それ otherwise 一貫性のある思考連鎖を無効化しうる。このスパースさは曖昧なクレジット割り当てをもたらす。モデルは最終結果に寄与した中間ステップを区別できず、その結果、分散の大きい勾配推定と不安定な最適化が生じる。
2. 探索の崩壊（「学習の崖」）: 標準的なオンポリシー RL において、単純な探索は、報酬が稀または二値である場合に、報酬をもたらす軌道を生成できずに失敗することが多い。これにより、ポリシーは「学習の崖」の領域に閉じ込められる。この領域では、モデルは改善のための情報信号を一切受け取らない。特に、誤りが視覚知覚と言語生成の両方に起因しうる複雑なマルチモーダル設定において顕著である。

スパースな報酬を緩和するための最近の試みとして、オンポリシー知識蒸留（強力な教師モデルを活用して密なトークンレベルの監督を行う手法）が有望視されている。しかし、これらの手法は通常、すべての生成された軌道に対して均一に蒸留を適用する。著者らは、このアプローチが推論タスクには不適切であると主張する。低品質の軌道は、しばしば初期の論理的誤りや幻覚に起因する。これらの欠陥のある軌道を蒸留することは、学生モデルに誤ったコンテキストに条件付けられた教師の分布を模倣させ、学習を阻害するノイズの多い不一致な勾配を注入することになる。

2. 手法：KEPO

これらの課題に対処するため、著者らは知識強化選好最適化（KEPO）を提案する。これは、品質ゲート付きオンポリシー蒸留と知識強化探索という 2 つの密接に結合したコンポーネントを統合した、統一されたポストトレーニングフレームワークである。

2.1 品質ゲート付きオンポリシー蒸留

KEPO は、軌道の品質に基づいて選択的に活性化される密な教師監督項を導入することで、標準的な RL 目的関数を修正する。

• メカニズム: 学生が生成したすべての軌道を蒸留するのではなく、報酬ベースの閾値（$\tau$）を適用する。蒸留損失は、報酬 $r_i \geq \tau$ となる軌道に対してのみ計算される。
• 根拠: これにより、密な教師ガイダンスが RL 目的と整合するように保証される。推論連鎖がすでに崩壊している「欠陥のあるコンテキスト」から学生が学習することを防ぐ。
• 目的関数: KEPO の目的関数（$J_{KEPO}$）は以下の 3 つを組み合わせる。
  1. 相対的な軌道品質に基づいて改善を促す、アドバンテージ重み付き選好最適化項。
  2. 報酬整合の取れた経路に対してのみ密な監督を提供する、品質ゲート付き蒸留項（$I_{r_i \geq \tau} D(\pi_T \parallel \pi_\theta)$）。
  3. ポリシー更新を制約する KL 正則化項。

2.2 ヒント認識拒否サンプリングによる知識強化探索

単純な探索が報酬をもたらす軌道を見つけられない「学習の崖」に対処するため、KEPO は適応的な探索メカニズムを導入する。

• トリガー: 訓練中、$G$ 個の軌道の標準的なオンポリシーロールアウトが報酬ゼロ（すなわち、$\max r(y_i) = 0$）をもたらす場合、探索メカニズムがトリガーされる。
• 教師ガイダンス付きヒント: 教師モデル（$\pi_T$）が入力（$x$）と正解（$y$）に条件付けられて、推論ヒント（$h$）を生成する。注：正解は、この訓練時の失敗回復における特権情報としてのみ使用され、推論時には決して使用されない。
• ヒント認識サンプリング: 学生とパラメータを共有するが、ヒント $h$ と特権的な正解に条件付けられた自己強化ポリシー（$\pi_E$）が、提案軌道を生成する。
• 拒否サンプリング: 提案が正の報酬をもたらす場合にのみ受け入れられる。そうでない場合、サンプリングは予算 $B$ まで繰り返される。
• 注入: 受け入れられたヒント認識軌道はロールアウトバッファに注入され、標準的なオンポリシー軌道と共同で最適化される。これにより、ポリシーは静的なオフライン監督に依存することなく、学習の崖から脱出できる。

3. 主要な貢献

本論文は、4 つの主要な貢献を概説している。

1. KEPO フレームワーク: 品質ゲート付き教師監督と適応的探索を統合し、マルチモーダル VLM 向けの RL を強化する統一されたポストトレーニングフレームワーク。
2. 失敗モードの特定: 推論指向の RL における 2 つの特定の失敗モードを特定し、対処する。（a）欠陥のある軌道に対する均一な蒸留によって引き起こされる文脈ノイズ、および（b）スパースな報酬下での探索の停滞。選択的ゲーティングとヒント認識注入がこれらを解決する鍵であることを実証する。
3. 実験的ベンチマーク: 蒸留ベースと RL ベースのポストトレーニングアプローチを比較するための原理的な基盤を提供するため、マルチモーダル視覚言語設定において最近のオンポリシー蒸留フレームワーク（特に MM-GKD）を実装する。
4. 実証的検証: 低リソースの単一ソース医療 VQA ベンチマークにおける広範な実験により、KEPO が強力なベースラインと比較して、堅牢な推論と優れた分布外（OOD）一般化をもたらすことを示す。

4. 実験結果

著者らは、8 つの画像モダリティにまたがる医療 VQA ベンチマークであるOmniMedVQA上で KEPO を評価した。

• 設定: モデルはMRI データのみ（ドメイン内）で訓練され、MRI および他の 7 つのモダリティ（CT、X 線、超音波、皮膚鏡、眼底、OCT、顕微鏡）に対してテストされる（分布外：OOD テスト）。これにより、クロスモダリティ一般化能力が孤立して評価される。
• ベースライン: 比較対象には、汎用 VLM（Qwen3-VL）、医療特化型 VLM（HuatuoGPT）、標準的なポストトレーニング手法（SFT、GRPO、MM-DAPO）、マルチモーダルオンポリシー蒸留ベースライン（MM-GKD）が含まれる。
• 性能:
  • KEPO は、比較されたすべての手法の中で、最高平均精度（80.25%）および最高平均 OOD 精度（78.00%）を達成した。
  • 特に OOD 設定において、GRPO や均一なオンポリシー蒸留ベースラインを大幅に上回った。
  • アブレーション研究: 探索コンポーネントを除去（KEPO-KE）すると OOD 精度が低下し、ガイド付き探索の価値が確認された。品質ゲートを除去（$\tau=0$）すると、ゲート付きバージョン（$\tau=1$）と比較して性能が低下し、高品質な軌道に蒸留を制限することがノイズの多い勾配注入を防ぐことを裏付けた。
  • 訓練ダイナミクス: KEPO は、特にスパースな報酬が通常停滞を引き起こす訓練の初期段階において、GRPO よりも速い収束とより高い安定性を示した。

5. 意義と主張

本論文は、KEPO が強化学習ベースのポストトレーニングに密な教師ガイダンスを統合するための原理的なフレームワークを提供すると主張する。その意義は以下の点にある。

• 「学習の崖」の解決: 単純なサンプリングが失敗した際に、探索を情報豊富な軌道へ能動的に誘導することで、標準的な RL が停滞する領域においても学習を可能にする。
• 推論の安定化: 蒸留のために低品質な軌道をフィルタリングすることで、推論集約型タスクを通常悩ませるノイズの多い勾配の注入を回避し、一貫性のある思考連鎖行動の安定した出現を可能にする。
• 一般化: このフレームワークにより、モデルは限られたデータで単一のソースモダリティ上で訓練された場合でも、モダリティ間で一般化する転移可能な推論パターンを学習できる。

著者らは、KEPO を RL の代替としてではなく、標準的なオンポリシーメカニズムが失敗する際に、教師モデルを動的に活用して探索を導き、密なクレジット割り当てを提供する構造化された拡張として位置づけている。