技術要約: FeVOS - Foresight Expression Video Object Segmentation（先見的表現ビデオ物体セグメンテーション）

問題定義

既存の参照ビデオ物体セグメンテーション（RVOS）タスクは、観測されたフレーム内の言語表現をグラウンディングすることに限定されており、すでに発生した静的な属性、外観、またはイベントに焦点を当てています。このパラダイムには、自動運転やロボット計画のような実世界のアプリケーションにおいて不可欠な、**事前の時空間的推論（pre-decisive spatio-temporal reasoning）**を行う能力が欠けています。

著者らは、新しいタスクである**Foresight Expression Video Object Segmentation (FeVOS)**を提案します。このタスクでは、モデルにビデオクリップと「先見的表現（foresight expression）」（例：「次にどのツールが使われるか？」といった将来のイベントに関する問い）が与えられます。モデルは、観測されたフレーム（イベントが発生する前）を推論し、これから起こるアクションに関与するオブジェクト（物体）を予測し、そのオブジェクトの観測フレームにおけるピクセルレベルのセグメンテーションマスクを出力しなければなりません。これには、世界の知識と因果関係の推論を用いて、現在の視覚的キューと将来の結果との間のギャップを埋めることが求められます。

手法

1. FeVOSデータセット

このタスクをサポートするために、著者らは厳格な5段階のパイプラインを通じてFeVOSデータセットを構築しました。

• ビデオ収集: エゴセントリック（一人称視点）な活動やインストラクションビデオをカバーする、多様なベンチマーク（COIN, STAR, CLEVR, OOPS, EPIC-KITCHENS-VISOR）からソースを取得。
• 自動フィルタリング: Qwen2.5-VLを使用し、明確な原因と結果のナラティブ、複数の相互作用するオブジェクト、および観察可能な実行可能な手がかりがあるビデオをフィルタリング。
• 手動分割: エキスパートのアノテータがビデオを「観測（observed）」セグメントと「未来（future）」セグメントに分割し、観測部分に将来のイベントに対する暗黙的な手がかりが含まれていることを保証。
• 表現アノテーション: アノテータが先見的表現（例：「次に手に取られるオブジェクト」）を設計し、バリデーターが将来のフレームを見ることなく予測的推論によってターゲットを特定できることを確認する2段階のプロセス。
• マスク & CoT アノテーション: SAM2を使用してピクセルレベルのマスクを生成し、2,904個の合成Chain-of-Thought (CoT) アノテーションを作成。これらのCoTアノテーションは、予測に到達するために必要な推論ステップ（時間的コンテキスト、空間的キュー、および因果関係の分析）を明示的に詳述しています。

最終的なデータセットは、968個のビデオクリップ、14,525個の先見的表現、および2,904個のCoTアノテーションで構成されています。

2. FeVOS-R1 モデルアーキテクチャ

著者らは、Sa2VAフレームワーク（InternVL2.5とSAM2を統合）に基づくマルチモーダル大規模言語モデル（MLLM）であるFeVOS-R1を開発しました。モデルは2段階のパイプラインを通じて学習されます。

• ステージ1: CoTを用いた教師あり微調整 (SFT)

  • モデルは合成CoTデータセットで微調整されます。
  • モデルは、特殊な[SEG]トークンを出力する前に、ステップバイステップの推論プロセス（視覚的キューと因果関係の分析）を生成することを学習します。
  • 損失関数には、ピクセル単位のクロスエントロピー、Dice損失、およびテキスト生成損失が含まれます。
  • このステージにより、推論パターンと出力フォーマットが確立されます。

• ステージ2: GRPOによる強化学習 (RL)

  • モデルは**Group Relative Policy Optimization (GRPO)**を行います。
  • 報酬設計: 複雑なフォーマット報酬（例：JSON構造）に依存する従来のワークフローとは異なり、FeVos-R1は、予測されたマスクと正解のマスクの間のIntersection-over-Union（IoU）から導出される単一のIoUベースの精度報酬（$R_{IoU}$）を使用します。
  • 著者らは、SFT後のフォーマット制約は冗長であり、IoUによるセグメンテーション精度のみに焦点を当てることがより高いパフォーマンスをもたらすことを見出しました。
  • このステージでは、セグメンテーションの質を直接最大化するように推論チェーンを最適化します。

主な貢献

1. タスクの定式化: 従来のRVOSを、観測されたイベントのグラウンディングから、暗黙的な視覚的手がかりに基づく将来のイベントの予測へと転換するForesight Expression Video Object Segmentationを導入。
2. データセット (FeVOS): 968個のビデオ、14,525個の先見的表現、2,904個のCoTアノテーションを含むキュレーションされたデータセットを提供し、ビデオ物体セグメンテーションにおける予測的推論のための初のベンチマークを実現。
3. モデル (FeVOS-R1): CoT誘導型SFTとエンドツーエンドの報酬を用いたRLを組み合わせた2段階の学習フレームワークにより、新しいタスクにおける最先端（SOTA）の性能を達成。

実験結果

FeVOSにおける性能

• ゼロショット・ベースライン: 既存のRVOSモデル（例：ReferFormer, LMPM）やビデオベースのMLLM（例：VideoLISA, VRS-HQ）は大きく苦戦しており、J&Fスコアは31.0を下回っています。これは予測的推論能力の欠如を示しています。
• ファインチューニング済みベースライン: Sa2VAの標準的なファインチューニング（CoT/RLなし）は、性能を35.8 J&Fまで向上させます。
• FeVOS-R1: 提案手法は42.3 J&Fを達成し、SFTのみのベースラインに対して**+6.5**の改善を示しました。これは、明示的な推論チェーンと報酬誘導型の最適化の必要性を証明しています。

汎化性能

• ReVOS & MeViS: FeVOS-R1は従来のRVOSベンチマークにも良好に汎化します。ReVOSにおいて、提案モデルは60.3 J&Fを達成し、ファインチューニングされたSa2VAベースライン（58.1）やゼロショットモデルを上回りました（特に推論サブセットにおいて）。MeVIsでは49.5 J&Fに達し、同規模のモデルを凌駕しています。
• アブレーション研究:
  • 2段階のパイプライン（SFT + RL）は、SFTのみ、またはRLのみの学習よりも優れています。
  • RLステージでIoU報酬のみを使用することは、フォーマット報酬との組み合わせよりも優れた結果をもたらしました。これは、SFTでフォーマットが学習された後は、モデルが純粋にタスクの精度に集中することで恩恵を受けることを示唆しています。

定性的分析

定性的比較では、FeVOS-R1が時間的コンテキストと因果関係（例：圧力によってコルクが飛び出すことや、進行中のアクションに基づいて洗濯バッグが満たされることの予測）を正常に分析できていることが示されています。一方で、ベースラインモデルはしばしば、観測されたオブジェクトと将来のターゲットを区別することに失敗します。

意義と主張

本論文は、FeVOSがピクセルレベルのビデオ理解を観測から予見へと進化させるものであると主張しています。FeVOSにおける絶対的な性能（42.3 J&F）は、従来のRVOSベンチマーク（例：ReVOSの60.3）よりも低いままですが、この差は予測的推論の固有の難しさを浮き彫りにしています。本研究は、現在のモデルに、積極的な意思決定に必要な時空間的推論と世界知識が不足していることを強調しています。

著者らは、本研究を**予見的視覚理解（anticipatory visual understanding）**のための基礎として位置付けており、FeVOS-R1は強い潜在能力を示すものの、コンテキストのスケーリング、一時的な手がかりのモデリング、不確実性の処理、およびリアルタイム推論の実現といった課題が残っていると述べています。