技術概要：Video-OPD

問題定義

時間的ビデオグラウンディング（TVG）は、自然言語クエリに対応する特定の時間的セグメントをビデオ内で局所化することを目的としています。最近の研究では、TVG に対処するためにマルチモーダル大規模言語モデル（MLLM）のポストトレーニングパラダイムとして強化学習（RL）を探索してきましたが、既存のアプローチには 2 つの決定的な限界が存在します：

1. スパースな報酬信号：現在の手法、特にグループ相対方策最適化（GRPO）に基づく手法は、シーケンスレベルの報酬（例えば、Intersection-over-Union）に依存しています。その結果、エピソードの長さに関係なく、1 エピソードあたり単一の固定サイズの報酬しか得られません。したがって、モデルは重大なクレジット割当問題に直面し、どの中間トークンレベルの決定が成功または失敗に寄与したかに関する情報を一切受け取りません。このスパースさは、特に長期的なタスクにおいて、サンプル効率の低下と収束の遅延を引き起こします。
2. 過大な計算オーバーヘッド：スパースな報酬の高い分散を緩和するため、GRPO は 1 つのトレーニングインスタンスあたり複数のオンポリシーロールアウトを必要とします。ビデオ理解の文脈では、各ロールアウトが長い視覚的コンテキストに条件付けられるため、計算コストはロールアウトの数に比例して過剰に増大し、計算、メモリ、レイテンシにおいて莫大なオーバーヘッドを発生させます。

さらに、従来の教師あり微調整（SFT）では不十分です。なぜなら、SFT はオフポリシーで動作し、推論中のモデル自身の方策によって誘発される状態分布ではなく、固定されたデモンストレーション分布に基づいて最適化を行うためです。このミスマッチは、初期の逸脱がモデルを未見の状態へと押しやり、長期的な時間的範囲において性能低下を引き起こす累積誤差につながります。

手法：Video-OPD と TVDF

著者らは、最先端のティーチャーモデルから導出された密なトークンレベルの教師信号とオンポリシー最適化の利点を統合する、効率的なポストトレーニングフレームワークであるVideo-OPD（Video On-Policy Distillation）を提案します。

コアフレームワーク：Video-OPD

Video-OPD は、現在の学生方策から直接サンプリングされた軌跡を最適化し、トレーニングと推論の分布間の重要な整合性を維持します。GRPO と異なり、これはスパースなエピソードレベルの報酬を、逆 KL 発散目的関数を通じた密なステップごとの学習信号に置き換えます。トレーニングパイプラインは 4 つの段階で構成されます：

1. オンポリシー軌跡サンプリング：学生モデルは、現在の方策 $\pi_\theta$ から、推論トークンと時間的境界予測を含む軌跡 $\tau$ をサンプリングします。
2. 条件付き評価：固定された高容量のティーチャーモデル $\pi_{tea}$ が、学生によって生成されたトークンを評価し、条件付き対数確率 $\log \pi_{tea}(a_t | s_t)$ を提供します。ティーチャー自体はトークンを生成しないため、厳密なオンポリシー最適化が保証されます。
3. 密なトークンレベル教師信号：各トークンに対して、逆 KL 発散を用いて密な報酬信号 $r_t$ が計算されます：
   $$r_t = -(\log \pi_\theta(a_t | s_t) - \log \pi_{tea}(a_t | s_t))$$
   この定式化は、微細な教師信号を提供し、学生がティーチャーの期待される行動から逸脱するトークンを罰することで、推論チェーン全体にわたる正確なクレジット割当を可能にします。
4. 方策更新：学生方策は、$r_t$ をトークンレベルの報酬として扱う標準的な方策勾配を用いて更新されます。密な信号は単一の軌跡から導出されるため、1 サンプルあたりの複数回のロールアウトは不要となります。

カリキュラム戦略：ティーチャー検証に基づく不一致焦点化（TVDF）

さらに効率を向上させるため、著者らはTVDFを導入します。これは、真の時間的注釈を直接教師信号としてではなく、単に検証信号として利用する軽量なトレーニングカリキュラムです。TVDF は 2 つのステップで動作します：

1. ティーチャー信頼性事前検証（TRPV）：真の注釈を使用して、特定のビデオ - クエリペアに対するティーチャーモデルの信頼性を検証します。真の値との整合性基準（例：IoU 閾値）を満たさないティーチャーの予測を持つサンプルは、信頼性の低いフィードバックが伝播するのを防ぐために拒否されます。
2. 不一致に基づく軌跡優先化（DBTP）：検証された信頼性の高いサンプルの中で、カリキュラムは学生とティーチャー間の不一致が最大となる軌跡を優先します。この不一致は、集約された逆 KL 発散によって定量化されます。これにより、トレーニングは、ティーチャーが信頼でき、かつ現在の学生方策にとって最大限に情報量が多いサンプルに焦点を当てます。

主な貢献

1. 限界の特定：本論文は、TVG に対する GRPO ベースのポストトレーニングが、スパースな報酬による非効率的な最適化と、複数ロールアウトトレーニングに起因する過大な計算コストによって妨げられていることを特定しました。
2. Video-OPD フレームワーク：逆 KL 蒸留を通じてスパースなシーケンスレベルの報酬を密なトークンレベルの教師信号に置き換える、効率的なポストトレーニングフレームワークの提案。これにより、効果的なクレジット割当と高速な収束が可能となり、複数回のロールアウトの必要性が排除されます。
3. TVDF カリキュラム：真のデータを間接的に利用してティーチャーの信頼性を検証し、不一致の大きいサンプルを優先するカリキュラム戦略の導入。これにより、直接的な教師信号なしにサンプル効率を向上させます。
4. 実証的検証：標準的な TVG ベンチマークおよび広範なビデオ理解タスクにおいて、Video-OPD が GRPO や他のベースラインを一貫して上回り、大幅に削減された計算予算で優れた性能を達成することを示す広範な実験。

実験結果

著者らは、Video-OPD を 3 つの標準的な TVG ベンチマーク（Charades-TimeLens、ActivityNet-TimeLens、QVHighlights-TimeLens）および広範なビデオ理解ベンチマーク（TempCompass、MVBench、Video-MME）で評価しました。

• 性能向上：Video-OPD はオープンソースモデルの中で最先端の性能を達成し、GRPO を一貫して上回りました。平均して、Video-OPD は TVG ベンチマーク全体で 17% 以上性能を向上させたのに対し、GRPO は約 12% の向上にとどまりました。
• 汎化：本手法は広範なビデオ理解タスクへの強い汎化能力を示し、オフポリシー蒸留手法が性能を低下させた領域においても性能を維持または向上させました。
• 効率性：Video-OPD は GRPO よりも大幅に速く収束しました。計算コストの観点から、Video-OPD は同じステップ数に対して GRPO のトレーニング時間の約 20% しか必要としませんでした。これは、複数ロールアウトの要件が排除されたことに起因します。
• ティーチャー - スチューデントのダイナミクス：実験により、学生モデルは複数回のトレーニングラウンド後に一貫してティーチャーモデルを上回る可能性があることが示され、性能がティーチャーの能力によって本質的に制限されていないことが示されました。

意義と主張

本論文は、Video-OPD が従来の強化学習に対する効果的な代替手段としてオンポリシー蒸留を確立したと主張しています。分布のシフトを緩和するために不可欠なオンポリシーの性質を維持しつつ、スパースな報酬を微細な学習信号に変換することで、このフレームワークは現在の RL ベースのポストトレーニング手法の根本的なボトルネックに対処します。

著者らは、彼らのアプローチがより有利な効率 - 性能のトレードオフを提供し、計算オーバーヘッドを大幅に低減しながら、高速な収束と高品質なグラウンディングを可能にすることを強調しています。この研究は、厳密な分布整合と微細なクレジット割当の両方を必要とする長期的な時間的推論の固有の課題に特に対処するために、TVG へオンポリシー蒸留を導入する最初の試みです。