技術要約：アノテーションをロールアウトとして扱う手法 (OraRL)

問題提起

統一されたビデオ知覚には、マルチモーダル大規模言語モデル（MLLM）が、時間的ローカライゼーション、空間的グラウンディング、物体追跡、セグメンテーションといったきめ細かなタスクを実行できることが求められます。近年の汎用的なMLLMはこれらの機能を統合していますが、タスク特化型のスペシャリストには及ばないことが多く、これはモデルのスケールだけでは不十分であり、ポストトレーニングにおけるアライメントが決定的なボトルネックであることを示唆しています。

現在のポストトレーニングのパラダイムには、主に2つの制限があります。

1. 教師あり微調整 (SFT): SFTはアノテーションを最大尤度ターゲットとして扱います。これは出力フォーマットを強制するものの、「正解に近い予測」と「明らかに誤った予測」を区別することができません。精密なインターバルやマスクへとモデルを導くための、タスクレベルの監督機能が欠けています。
2. グループ相対方策最適化 (GRPO) を用いた強化学習 (RL): 既存のビデオRL手法（例：GRPO）は、プロンプトごとに複数のオンポリシー・ロールアウトをサンプリングし、それらの報酬を比較します。しかし、これらの手法はサンプリングされたオンポリシー・グループの質のみに依存しています。オンポリシーのロールアウトが、グランドトゥルース（GT）アノテーションで指定された正確なインターバル、ボックス、またはマスクを再現することは稀であるため、多くのトレーニンググループにおいて信頼できるポジティブなアンカーが不足しています。
3. 思考の連鎖 (CoT) の限界: 推論を向上させるためにCoT生成が用いられることがありますが、これはロールアウトを長大化させ、学習および推論のコストを増大させる一方で、きめ細かな知覚タスクにおける性能向上を保証するものではありません。

GTアノテーションをRLのロールアウトグループに「オラクル（神託）」ロールアウトとして直接組み込もうとする試みは、アドバンテージ反転 (advantage inversion) によって失敗します。高報酬のオラクルをグループの正規化に含めると、ベースライン報酬が上昇してしまいます。その結果、元の方策よりも優れた（しかしオラクルよりは劣る）オンポリシー・ロールアウトが負のアドバンテージを受け取ることになり、有用な探索が抑制され、単純な模倣へと学習が崩壊してしまいます。

手法：OraRL

本論文では、すべてのアノテーションを信頼できるポジティブなターゲット（「オラクル・ロールアウト」）として扱い、ベースラインのシフトを引き起こすアドバンテージ反転を防ぐパラダイムである OraRL (Annotation-as-Rollout Reinforcement Learning) を導入します。

コアメカニズム

1. アノテーション・アズ・ロールアウトの構築:
   アノテーションを単なるスコアリングの参照用としてではなく、各アノテーション $y$ をモデルのレスポンス形式にシリアライズすることで、オラクル・ロールアウト $o_{gt}$ を作成します。このオラクルを $n$ 個のオンポリシー・ロールアウトのグループに追加し、サイズ $n+1$ の拡張グループを作成します。これにより、オンポリシーの探索を損なうことなく、すべてのクエリに対して信頼できるポジティブなターゲットを提供します。

2. デカップリングされたアドバンテージ推定:
   アドバンテージ反転問題を解決するために、OraRLはアドバンテージ計算をデカップリング（分離）します。

   • 方策ベースライン: ベースライン $\mu_{op}$ と標準偏差は、オラクルを除外したオンポリシーの報酬のみから計算されます。これにより、現在のモデル（方策）を上回るオンポリシー・ロールアウトが非負のアドバンテージを受け取れるようになります。
   • 方向性利得 (Directional Gain): オラクル報酬とオンポリシー分布との差は、方向性利得 $g_q$ としてエンコードされます。この利得は、現在のモデルよりも優れたオンポリシー・ロールアウトのアドバンテージをスケーリングし、オラクルが現行の方策よりも大幅に優れている場合の信号を増幅させます。
   • デタッチされたオラクル・アドバンテージ: オラクル・ロールアウト自体に対しては、別の有界なアドバンテージ項 $A_{gt}$ が計算されます。そのスケールは重み $w_q$（方策とオラクルの残りのギャップに基づく）によって校正され、オラクルが更新を支配しないよう、最も強いオンポリシー信号によってキャップ（上限設定）されます。

3. 符号バランス・プルーニング (Sign-Balanced Pruning):
   効率を高めるため、OraRLはバックプロパゲーションの前にロールアウト・グループをプルーニングします。大きさのみに基づくプルーニング（正または負のサンプルのみを保持してしまう可能性がある）とは異なり、OraRLは符号バランス・プルーニングを採用します。

   • オラクルは常に保持されます。
   • 残りのスロットは、最も強い正および負のオンポリシー・ロールアウトを保持することで埋められ、勾配更新が強化信号と抑制信号の両方を維持することを保証します。
   • プルーニング前の統計量に一致するようにアドバンテージを再中心化し、再スケーリングするための事後選択モーメント補正 (post-selection moment correction) が適用されます。

4. 効率性:
   グループをプルーニングし（例：9つのロールアウトのうち4つを保持）、CoT生成を回避することで、OraRLはGRPO + CoTの $4.9\times$ に対し、SFTのわずか $2.2\times$ のステップタイムを実現しています。

主な貢献

1. アノテーション・アズ・ロールアウト: アノテーションをオラクル・ロールアウトに変換し、CoTを必要とせず、かつオンポリシーの探索を犠牲にすることなく、信頼できるポジティブな監督を提供する、タスクに依存しないメカニズム。
2. アドバンテージ反転の分析: 素朴なオラクル混合における「アドバンテージ反転」現象の特定と、方策のアドバンテージとオラクルのガイダンスを分離するデカップリング・アドバンテージ推定による解決策。
3. 符号バランス・プルーニング: アドバンテージの符号とオラクルを保持するプルーニング戦略と、モーメント補正を組み合わせることで、$1.48\times$ の高速化を実現。
4. Video-ORA: OraRLを用いて訓練された統一ビデオ知覚モデル。モデルスケール（0.8Bから9B）およびデータ予算に関わらず、一貫した改善を実証。

実験結果

著者らは Video-ORA（Qwen3.5バックボーンに基づく）を訓練し、7つのタスクファミリー（時間的グラウンディング、空間的グラウンディング、セグメンテーション、視覚的追跡、時空間グラウンディング、ビデオQA、空間インテリジェンス）にわたって評価を行いました。

• 性能向上:

  • 時間的グラウンディング: Video-ORA-9Bは、3つのTimeLensベンチマークにおいてmIoU 61.8、63.6、72.5を達成し、時間的スペシャリストであるTimeLens2-8Bや、GPT-5、Gemini-3-Proのような商用モデルを凌駕しました。
  • 視覚的追跡: GOT-10kにおいて、Video-ORA-9Bは平均オーバーラップ（AO）78.2を達成し、従来の最高水準のオープンソースモデル（OneThinker-8B）を5.2ポイント上回りました。
  • セグメンテーション: RefCOCO（cIoU 79.4）およびMeViS（J&F 61.3）においてトップクラスのスコアを記録しました。
  • 空間インテリジェンス: VSI-Benchにおいて、Video-ORA-9Bは73.1を記録し、GPT-5（55.0）およびGemini-3-Pro（55.1）を大きく上回りました。
  • ビデオQA: 7つのビデオQAベンチマークのうち5つでオープンソースモデルの中で第1位となりました。

• スケーリングと効率性:

  • モデルのスケーリング: Video-ORAは、すべてのスケール（0.8B, 2B, 4B, 9B）においてバックボーンよりも改善しており、マクロ平均の利得はモデルサイズとともに増加しました。
  • データのスケーリング: 10万プロンプトまでのデータ予算において、OraRLはGRPOおよびSFTを上回りました。
  • 推論レイテンシ: CoTを使用しないことで、Video-ORA-9Bは10分間のビデオに対する中央値エンドツーエンド・レイテンシを、CoTバックボーンの29.0秒から24.3秒へと短縮しました。

重要性と主張

本論文は、OraRL が、統一されたビデオ知覚のための効率的かつスケーラブルな強化学習原則として「アノテーション・アズ・ロールアウト」を確立したと主張しています。著者らは以下の点を述べています。

• ビデオ知覚におけるきめ細かな精度は、モデルのスケール単独ではなく、主にタスクに適合したポストトレーニングによって決定される。
• 直接的なオラクル統合は（デカップリングされたアドバンテージを通じて適切に処理されれば）、高品質なオンポリシー・ロールアウトの不足を克服する信頼できるポジティブなターゲットを提供する。
• これらのタスクにはCoT推論は必要ではなく、直接的なオラクル監督の方が精度と効率の両面で優れている。
• 本手法は、異なるバックボーンファミリー（Qwen3-VL, Qwen3.5）や異なるタスクタイプ（ローカライゼーション、追跡、QA、空間推論）に汎用性がある。

著者らは限界についても言及しており、具体的には、現在の定式化はアノテーションが有効なオラクル・ロールアウトとしてシリアライズ可能であり、スカラー報酬によって評価可能であることを前提としている点、および曖昧またはノイズの多い監督下での挙動については評価されていない点を挙げています。また、Video-ORAは多くのオープンソース比較においてリードしているものの、一部の複雑な空間推論タスクにおいては依然として最強の商用モデルに遅れをとっていることも認めています。