技術的概要：GMOS – 3 次元空間と時間における移動物体セグメンテーションの基盤化

1. 問題定義と既存手法の限界

移動物体セグメンテーション（MOS）は、カメラとは独立して移動する物体を発見、セグメント化、追跡することを目的としています。この能力は、自動運転、カモフラージュ物体検出、ビデオ監視などのアプリケーション、ならびに動的物体を静的背景から分離する必要がある 3D/4D シーン再構成手法の基盤となっています。

著者は、既存の MOS 手法に 2 つの根本的な限界を特定しています：

1. 3 次元認識の欠如: 既存の手法は、光フロー、点軌跡、または深度マップなどの事前計算された 2 次元補助モダリティに強く依存しています。これらの入力は 3 次元幾何学的情報を欠くため、大きなカメラ運動や重度の深度パルラックス下では手法が脆弱になります。さらに、これらの補助入力を生成するには、多大な前処理オーバーヘッドが発生します。
2. 粗い時間粒度: 既存のベンチマークおよび手法は、通常、運動をシーケンスレベルの属性として扱います。これらは、物体が現在運動しているかどうかに関係なく、ビデオシーケンス内の「いかなる時点」でも移動するすべての物体をマスクします。これは、物体の瞬間的な運動状態を見落とし、オンラインかつリアルタイムでの展開を不可能にし、一時的に静止している物体と真に静止している物体を区別することを妨げています。

2. 手法：GMOS フレームワーク

著者は、RGB ビデオに直接作用し、補助入力なしで 3 次元認識可能かつ時間的に細粒度なセグメンテーションを生成する、GMOS（Grounding Moving Object Segmentation）と呼ばれるフィードフォワードフレームワークを提案します。このフレームワークは、「提案者（Proposer）– 伝播者（Propagator）」の設計に従います。

2.1 提案者（フレームごとの予測）

提案者は、クエリフレームを中心とした短い時間ウィンドウ（約 0.5 秒）で動作します。幾何学的特徴とセグメンテーション特徴を融合させ、中央フレームの物体提案と運動状態を生成します。

• 幾何学的エンコーダ: 凍結された$\pi^3$エンコーダ（フィードフォワード 3 次元再構成モデル）が、短い時間ウィンドウを処理して幾何学的特徴を抽出します。これにより、カメラに起因するパルラックスを独立した物体運動から分離できます。フレーム間対応関係はモデルのクロスフレームアテンションによって符号化されるため、中央フレームの特徴のみを保持します。
• セグメンテーションエンコーダ: 凍結されたSAM2 エンコーダがクエリフレームを処理し、強力な物体性事前知識と高解像度のセグメンテーション特徴を提供します。
• 特徴融合とデコーディング: 幾何学的特徴とセグメンテーション特徴が融合され、$N$個の学習可能な物体クエリを持つトランスフォーマーデコーダに渡されます。デコーダは以下の出力を生成します：
  • 移動物体のセグメンテーションマスク。
  • 二値の運動状態（運動している場合は$m=1$、静止している場合は$0$）。
  • 推定された IoU と信頼度スコア。
• 訓練目的: 著者は、静止–運動の遷移付近のノイズの多いフレームレベルの運動注釈を自動的に重み付けを下げる、信頼度ベースの損失を導入します。これにより、物体の状態が急激に切り替わる際のラベルの曖昧さが軽減されます。

2.2 伝播者（時間的一貫性）

フレームごとの提案を全ビデオにわたる一貫した物体トラックに連結するために、GMOS は SAM2 ビデオ予測器に基づく伝播者を使用します。

• メカニズム: 伝播者は、提案者から得られた高品質な移動物体提案（運動確率と推定 IoU によってフィルタリングされたもの）を受け取り、これらをプロンプトとして使用して SAM2 の状態内のトラックを更新または初期化します。
• モード:
  • オンライン手順: 最初のフレームから始まる単一の因果的な前方パスです。ビデオが処理されるにつれてマスクと運動状態をストリーミングすることで、MOS-I（Instantaneous：瞬間的）をサポートします。これは、当初静止しており後から移動する物体のマスクを回復することはできません。
  • オフライン手順: 2 段階のプロセスです。まずオンライン手順を実行し、最も高い集約予測 IoU を持つアンカーフレームを選択し、その後、すべてのフレームの高密度マスクを回復するために双方向伝播（前方および後方）を実行します。これにより、従来の MOS と MOS-I の両方をサポートします。

2.3 GMOS-S（前景 - 背景バリアント）

効率重視の展開のために、著者はGMOS-Sを導入しました。これは、すべての移動物体を単一の二値前景マスクとして予測するバリアントです。クエリベースのトランスフォーマーデコーダと伝播者を除去することで、推論レイテンシが大幅に低下したエンドツーエンドモデルとなります。

3. データセットと評価プロトコル

3.1 GMOS-2K データセット

この領域における訓練と評価を支援するために、著者は 5 つの確立されたビデオ物体セグメンテーション（VOS）ベンチマーク（DAVIS17、YTVOS19、OVIS、MoCA-Mask、HOI4D）から抽出された 2,210 本のリアルワールドビデオからなるGMOS-2Kを編纂しました。

• 主要な特徴: 標準的な VOS データセットとは異なり、GMOS-2K は物体ごとの時間的運動注釈を含んでいます。これは、各物体が実際に移動している正確な時間間隔を指定し、静止物体や一時的に静止している物体と区別します。
• 編纂: データセットは、すべての移動物体にグランドトゥルスマスクが存在するようにフィルタリングされました。シーケンス全体を通じて物体が移動していないビデオは、運動間隔をラベル付けするために**時間的細粒度注釈（TFA）**の対象となりました。

3.2 MOS-I 評価プロトコル

著者は、時間的に細粒度な評価プロトコルであるMOS-I（「I」は Instantaneous を意味する）を形式化しました。

• 定義: シーケンス内の「いかなる場所」でも物体が移動すればすべてのフレームのマスクをスコアリングする従来の MOS と異なり、MOS-I は物体が実際に移動しているフレームのみでセグメンテーションマスクをスコアリングします。
• 指標:
  1. 移動物体ジャカール係数（$J_{mov}$）: 活動的に移動しているフレームにおけるセグメンテーション精度。
  2. 偽陽性数（FP 数）: 静止物体または背景物体に対して運動を予測することを罰する指標。
  3. 平均時間的 IoU（mtIoU）: 検出精度と偽陽性の抑制を兼ねた総合指標。

4. 実験結果

GMOS は、MOS、MOS-I、および教師なしビデオ物体セグメンテーション（UVOS）ベンチマークで評価されました。

• MOS ベンチマーク: GMOS は、すべての従来の MOS ベンチマーク（DAVIS16-M、DAVIS17-M、SegTrackv2、FBMS-59、MoCA、YTVOS19-M）において最先端（SOTA）の結果を達成しました。特に、高密度な物体相互作用（YTVOS19-M）やカモフラージュ物体（MoCA）を含むデータセットにおいて、先行手法を大幅に上回っています。
• MOS-I ベンチマーク: 新しい MOS-I ベンチマーク（DAVIS17-IM、YTVOS19-IM）において、GMOS は先行する SOTA を大幅な差で凌駕しました（例：YTVOS19-IM において$J_{mov}$で +13.4）。これらの結果は、運動をシーケンスレベルの属性として扱うことが、瞬間的セグメンテーションにとって重大なボトルネックであることを示しています。
• UVOS ベンチマーク: GMOS は、教師なし VOS（DAVIS16/17）にもよく一般化し、主に移動物体セグメンテーションのために訓練されたにもかかわらず、DAVIS17 で SOTA を達成し、DAVIS16 においても競争力のある結果を残しました。
• 効率性: GMOS は、先行する多物体 MOS 手法（例：FlowSAM の 1.79 秒/フレームに対して 0.38 秒/フレーム）よりも約3 倍高速に動作します。GMOS-S はさらに高速です（0.26 秒/フレーム）。

5. 意義と主張

本論文は、GMOS が3 次元空間と時間に根ざすことで、移動物体セグメンテーションへのアプローチの転換を表すと主張しています：

1. 3 次元基盤化: RGB ビデオに直接フィードフォワード 3 次元再構成モデル（$\pi^3$）を活用することで、光フローなどの誤りやすい 2 次元補助入力に依存することなく、カメラ運動や深度パルラックスに対する堅牢性を達成します。
2. 時間的基盤化: MOS-I プロトコルと瞬間的運動状態予測を導入することで、フレームごとに物体の動的状態を正確に反映する、細粒度かつオンラインなセグメンテーションを可能にします。
3. 効率性: このフレームワークはオンライン推論とストリーミング展開をサポートし、リアルタイムアプリケーションに適しています。
4. リソース貢献: GMOS-2K と MOS-I プロトコルの公開は、移動物体と一時的に静止している物体を区別するデータセットの欠如という課題に対処し、時間的に細粒度な MOS 手法の開発のための統一されたリソースと評価基準を提供します。

著者は、GMOS が先行技術よりも大幅に高速に動作しながら新たな最先端を設定し、高精度なセグメンテーションとリアルタイム展開要件の間のギャップを効果的に埋めたと結論付けています。