技術要約: PTD-PO – マルチモーダル・ポリシー最適化のための特権的チュータリング蒸留

1. 問題提起

大規模視覚言語モデル（LVLM）の最近の進展により、複雑なマルチモーダル推論タスクにおける性能が向上しています。検証可能な報酬を用いた強化学習（RLVR）、特にグループ相対方策最適化（GRPO）は、人間による好みの注釈を結果レベルのフィードバックに置き換えることで、これらの能力を引き出す有望なポストトレーニング・パラダイムとして台頭しています。しかし、RLVRは複雑な推論シナリオにおいて、2つの決定的な制限に直面しています。

1. 疎な報酬信号: 検証可能な報酬は通常、最終的な回答に対してのみ割り当てられます。ロールアウトが失敗した場合、モデルはどの中間的な視覚的グラウンディングや推論ステップが誤っていたかについてのトークンレベルの監督を受け取ることができません。これは、広大な推論空間における効率的な探索とクレジット割り当て（原因特定）を困難にします。
2. 既存の蒸留の限界: 方策蒸留は密なトークンレベルのガイダンスを提供できますが、現在のアプローチには以下のような重大な欠点があります。
   • 外部教師手法: より大きな外部モデルからのオンライン推論を必要とし、多大な計算オーバーヘッドと潜在的な語彙の不一致を引き起こします。
   • 回答開示型自己蒸留: 教師モデルを正解や完全な解法トレースに条件付ける手法は、「ショートカットのような」生成行動を誘発します。これにより、モデルは推論プロセスをバイパスしてしまい、決定論的な軌道への偏り、トークン分布の鋭利化、エントロピー崩壊の加速、および代替となる推論経路の探索能力の低下を招きます。

核心となる課題は、最終的な回答を露出させることなく、失敗した推論軌道を修正するために、計算効率が高く（外部教師を回避し）、かつ非開示的な（探索性を維持する）密な監督メカニズムを設計することです。

2. メソドロジー: PTD-PO

著者らは、**特権的チュータリング蒸留方策最適化（PTD-PO）**を提案します。これは、 「特権的ヒント」を用いた自己蒸留メカニズムをRLVRに統合したフレームワークです。

2.1 コアコンセプト

PTD-POは、「特権的情報を用いた学習」のパラダイムに従い、監督に使用される情報と、学生方策が利用可能な情報を分離します。

• 学生方策 (Student Policy): 元の回答フリーのコンテキスト（質問のみ）の下で動作し、RLVRの探索的な性質を維持します。
• 参照（教師）モデル (Reference/Teacher Model): 質問と正解から導出された特権的ヒントを条件とする凍結された参照モデルです。極めて重要な点は、これらのヒントが非開示的に構成されていることです。これらは、最終的な回答や中間的な数値結果を露出させることなく、推論の方向性を導きます。

2.2 構造化された特権的ヒントの構築

各トレーニング例に対し、強力な外部モデルが（質問、回答）のペアから構造化されたヒントをオフラインで生成します。これらのヒントは、以下の3つのルールによって制約されます。

1. 整合性: 有効な解法の方向性と一致しなければならない。
2. 非スポイラー (Zero-Spoiler): 最終的な回答、正確な中間数値、または回答を特定するオブジェクト名を含んではならない。
3. フィルタリング: 視覚的なディストラクター（妨害要素）や一般的な推論の罠を明示的に排除しなければならない。

得られるヒントは以下で構成されます。

• 空間的ガイダンス: 関連する領域、オブジェクト、関係、または無視すべきディストラクターを強調する。
• テキストによる推論ガイダンス: 高レベルの中間的な推論の方向性を提供する。

2.3 失敗ルート型蒸留 (Failure-Routed Distillation)

PTD-POは、蒸留を一律に適用するわけではありません。特権的チュータリング信号を、失敗した軌道（検証可能な報酬が0であるもの）に対して特異的にルーティングします。

• サンプリングされたレスポンスのグループの経験的な精度が低い（閾値 $\tau_{ptd}$ 未満）場合、誤ったレスポンスが蒸留の対象として選択されます。
• ヒントで拡張されたコンテキスト ($x_h = [x; h]$) を条件とする教師モデルが、トークン分布 ($q^h$) を生成します。
• 元のコンテキスト ($x$) を条件とする学生モデルが、トークン分布 ($p$) を生成します。
• 目的は、失敗したロールアウトのトークン位置においてのみ、$p$ を $q^h$ に整合させることであり、これにより学生に対し、回答を見ることなく推論経路をどのように修正すべきかを教えます。

2.4 非対称コンテキスト Top-K JSD とテール補償

異なるコンテキスト（ヒントあり vs ヒントなし）に基づいた分布の整合は不安定になる可能性があります。これを対処し、メモリコストを削減するために以下の手法を用います。

• Top-K サポート: 全語彙のイェンセン・シャノン・ダイバージェンス (JSD) を計算する代わりに、教師と学生の両方の分布からの Top-K トークンの和集合に対して JSD を計算します ($K=100$)。
• テール補償 (Tail Compensation): Top-K サポート外の確率質量は、総確率質量を保持し、ハードな切り捨てによる情報損失を避けるために、単一の「テールバケット」に集約されます。
• 目的: これにより、メモリ複雑性を $O(BTV)$から$O(BTK)$ へと削減し、非対称な蒸留を安定化させます。

最終的な学習目的関数は、標準的な GRPO ロスと PTD 正則化項を組み合わせたものです。
$$\mathcal{L}_{PTD-PO} = -\mathcal{J}_{GRPO}(\theta) + \lambda_{PTD} \mathcal{L}_{PTD}$$

3. 主な貢献

1. RLVRのための特権的チュータリング: 本論文は、マルチモーダルRLVRにおいて、疎な報酬と回答開示型の自己蒸留が探索を制限することを指摘しています。解決策として、回答レベルの情報を露出させることなく密なガイダンスを提供する、回答フリーの特権的チュータリングフレームワークを導入しました。
2. PTD-PO フレームワーク: 空間的およびテキスト的なヒントを条件として凍結された参照モデルに与えることで、失敗した軌道に対して密な監督をルーティングする、新しい蒸馏手法を提案しました。これには、非対称な蒸留を安定させ、メモリ効率を高めるための Top-K JSD とテール補償が含まれます。
3. 実証的な有効性と汎用性: 実験により、PTD-PO が一般的なマルチモーダル推論ベンチマークにおいて、2B から 8B パラメータの規模の LVLM 全体で一貫して性能を向上させることを示しました。このモジュールは、異なる RLVR オプティマイザ（例：DAPO, GSPO）とも互換性があることが示されています。

4. 実験結果

著者らは、数学的推論、幾何学、論理、および視覚的質問応答をカバーする PAPO ベンチマークスイートを用い、2B から 8B パラメータの範囲の LVLM を評価しました。

• 性能: PTD-PO は、すべてのモデルスケールおよび推論カテゴリにおいて、標準的な GRPO、オンライン方策蒸留 (OPD)、および他の自己蒸留ベースライン（HDPO や PAPO など）を一貫して上回りました。
  • 4B モデルの場合、PTD-PO は全体平均スコア 71.23 を達成し、これは GRPO の 68.06 および PAPO の 69.20 を上回っています。
  • 8B モデルの場合、PTD-PO は 71.86 に達し、GRPO (68.78) および PAPO (69.05) を凌駕しました。
• エントロピーと探索: 分析の結果、PTD-PO は回答開示型の手法と比較して高い方策エントロピーを維持しており、エントロピー崩壊を緩和し、代替の推論経路を探索するモデルの能力を保持していることが示されました。
• アブレーション研究:
  • ヒントの質: 構造化されたヒント設計（例：視覚的グラウンディングの制約）を除去すると、性能向上が大幅に減少しました。これは、構造化された非スポイラー型のガイダンスが不可欠であることを裏付けています。
  • 活性化閾値: 失敗した軌道にのみ PTD を適用する場合（$\tau_{ptd}=1.0$）が最良の結果をもたらしました。すべての軌道に適用したり、深刻に失敗したグループのみに適用したりする方法は、効果が低いという結果になりました。
  • GT回答との比較: 正解 (GT) に条件付けることは高い pass@n をもたらしますが、ショートカット行動を誘発し、困難なケースでの回復力を低下させます。特権的ヒントは、ガイダンスと探索のより良いバランスを提供しました。

5. 意義と主張

本論文は、PTD-PO が、外部教師の計算コストや回答開示型蒸留による行動劣化を伴うことなく、マルチモーダル RLVR における「疎な報酬」問題に対する堅牢な解決策を提供すると主張しています。

• ショートカットのない密なガイダンス: 特権的ヒントを使用することで、本手法は失敗したロールアウトに対して密なトークンレベルの監督を提供し、最終的な回答を記憶させたり、回答へショートカットさせたりすることなく、中間的な推論ステップを修正します。
• 安定性と効率性: コンテキストの不一致下での安定した学習を可能にする Top-K JSD とテール補償により、トークンレベルの蒸留に伴うメモリオーバーヘッドを大幅に削減します。
• 一般的な適用可能性: このフレームワークは、様々な RLVR オプティマイザと互換性のある補助モジュールとして設計されており、複雑な検証可能タスクにおける LVLM の推論能力を強化するために広く採用できることを示唆しています。

著者らは、特権情報を用いた自己蒸留が、検証可能な報酬最適化を補完するための効果的な戦略であり、モデルが探索的な利点を維持しながら、複雑な推論戦略を学習することを可能にすると結論付けています。