技術要約: DRMOT: RGBD 指向型マルチオブジェクトトラッキングのためのデータセットおよびフレームワーク

1. 問題提起

Referring Multi-Object Tracking (RMOT) は、自然言語の記述に基づいて特定のターゲットを識別および追跡することを目的としており、これはロボティクスや自動運転のようなインタラクティブなAIシステムにとって極めて重要な能力である。しかし、既存のRMOTのアプローチは、2DのRGBデータのみに依存している。この制限は、言語による記述が（例：「カメラに最も近い人物」のように）深度に依存する複雑な空間セマンティクスを含む場合や、ターゲットが深刻な遮蔽（オクルージョン）を受ける場合に、重大な課題を生じさせる。明示的な3D空間情報がないため、2Dモデルは空間的な階層関係の解決に苦慮し、結果として曖昧な推論、誤ったターゲットのグラウンディング、およびアイデンティティの切り替え（IDスイッチ）を引き起こす。

これらの制限に対処するため、著者らは新しいタスクである RGBD 指向型マルチオブジェクトトラッキング (DRMOT) を提案する。このタスクは、モデルがRGB、深度 (D)、および言語 (L) のモダリティを融合させ、幾何学的なコンテキストの中で意味的な記述を効果的にグラウンディングしつつ、時間的なアイデンティティの一貫性を維持しながら、3Dを意識したトラッキングを実現することを要求する。

2. 手法

本論文では、DRMOTタスクを進展させるために、カスタマイズされたデータセット (DRSet) とトラッキングフレームワーク (DRTrack) という2つの主要なコンポーネントを紹介している。

2.1. DRSet データセット

DRSetは、実世界の3D条件下における空間的・意味的なグラウンディングおよびトラッキング能力を評価するために構築された。

• 構成: DRSetは、同期されたRGB画像と深度マップを含む、187の多様なシーン（屋内、屋外、夜間、複雑な天候）で構成されている。
• アノテーション: 240の言語記述が含まれている。特筆すべきは、これら56の記述には、深度に関連する情報（例：相対的な距離、前後関係）が明示的に組み込まれている点である。
• 構造: データ漏洩を防ぐため、データセットはシーンレベルで141のトレーニングビデオと99のテストビデオに分割されている。18のオブジェクトカテゴリ（人間、動物、車両、物体）をカバーしており、シーケンスあたりの個数は多様で、フレーム長は短いものから1,000フレームを超えるものまで存在する。
• アノテーションプロセス: 厳格な4ステップのプロセスが採用された：(1) 静的および動的特徴のための属性テーブルの作成、(2) 代表的なターゲットの選択、(3) フレームごとのバウンディングボックスのアノテーションと言語の構成、(4) 座標の妥当性と意味的一貫性を保証するための2人によるクロスレビュー・プロトコル。

2.2. DRTrack フレームワーク

DRTrackは、堅牢なグラウンディングと安定したフレーム間関連付けを実現するために設計された、マルチモーダル大規模言語モデル (MLLM) ガイド型のフレームワークである。これは2つのステージで動作する。

ステージ1: 深度促進型言語グラウンディング (Depth-Promoted Language Grounding)

• 入力: フレームワークは、言語記述 ($L$)、RGB画像 ($RGB$)、および深度マップ ($D$) の3つのモダリティを同時に処理する MLLM (具体的には Qwen2.5-VL-3B) を利用する。深度マップは、3チャンネルの疑似RGB表現に変換される。
• 目的: MLLMは、2Dの曖昧さを解消するために深度の手がかりを活用しながら、言語で記述されたターゲットの正確な2Dバウンディングボックスを出力する。
• 学習戦略: MLLMは、Group Relative Policy Optimization (GRPO) を用いて微調整される。専用の報酬関数 ($R_{total} = R_{format} + R_{IoU}$) が用いられる：
  • Format Reward (形式報酬): 信頼性の高いボックス抽出のために、構造化されたJSON出力を保証する。
  • IoU Reward (IoU報酬): マッチングのためにハンガリアンアルゴリズムを用い、予測されたボックスとグランドトゥルースのボックス間の幾何学的一貫性を促進する。

ステージ2: 深度強化型 OC-SORT 関連付け (Depth-Enhanced OC-SORT Association)

• メカニズム: 観測中心の OC-SORT トラッカーに基づき、このステージでは深度情報を統合して軌道の関連付けを精緻化する。
• RGBD 結合類似度 ($S_{RGBD}$): 2Dの外観と3Dの深度一貫性を組み合わせる新しい類似度指標が定義されている：
  $$S_{RGBD} = \alpha \cdot \text{IoU} + (1 - \alpha) \cdot S_D$$
  ここで、$S_D$ は検出とトラック予測の間の絶対的な深度差の指数関数的減衰関数である。
• 関連付けコスト (Association Cost): 最終的な割り当てコストは、RGBD結合類似度と速度方向一貫性 (VDC) モーション・プライアの組み合わせを最小化する：
  $$C = -(S_{RGBD} + \lambda \cdot \text{VDC})$$
  この二重制約のコスト関数は、2Dの遮蔽や近接によって引き起こされる誤った関連付けを軽減する。

3. 主な貢献

1. DRMOT タスクの定義: RGB、深度、および言語のモダリティを明示的に統合し、3Dを意識した空間的推論とトラッキングを扱う、RGBD 指向型マルチオブジェクトトラッキングを定式化した。
2. DRSet データセット: 187のシーンと240の記述（深度特有の56個を含む）を特徴とする包括的なデータセットを構築し、3D環境における空間的・意味的なグラウンディングを評価するためのベンチマークを提供した。
3. DRTrack フレームワーク: 幾何学を意識した GRPO 微調整によるグラウンディングと、深度強化型 OC-SORT による堅牢な関連付けを組み合わせることで、最先端の性能を達成する、新しい MLLM ガイド型アーキテクチャを実現した。

4. 実験結果

DRSet テストセットに対して広範な実験が行われ、HOTA (Higher Order Tracking Accuracy) およびその構成要素（検出精度、関連付け精度など）を用いて性能を評価した。

• 性能: DRTrack は HOTA 33.24% を達成し、すべてのベースラインを大幅に上回った。
  • 強力なゼロショット MLLM ベースライン（L+RGB 入力の Qwen2.5-VL-3B、HOTA: 15.13%）を18パーセントポイント以上上回った。
  • また、RGB 入力のみに依存する従来の RMOT 手法 (TransRMOT, TempRMOT) や他の MLLM (DeepSeek-VL, LLaVA シリーズ) も上回った。
• アブレーション研究:
  • 深度モダリティ: 微調整なしで MLLM の入力に深度情報 (L+RGB+D) を追加すると、HOTA が 15.13% から 32.68% に上昇し、幾何学的ヒントの決定的な価値が示された。
  • GRPO 微調整: 幾何学を意識した GRPO 微調整を適用することで、HOTA は 32.68% から 33.24% へとさらに向上し、報酬ベースの最適化の有効性が確認された。
  • 融合重み ($\alpha$): 感度分析により、$\alpha=0.9$（2D IoU を優先しつつ10%の深度制約を組み込む）という融合重みが、空間的コンテキストと幾何学的堅牢性のバランスを取り、最適な結果をもたらすことが示された。

5. 意義と主張

本論文は、2D 画像空間では区別できない参照表現を曖昧さなくするために、深度情報の統合が不可欠であると主張している。DRMOT と DRSet データセットを提案することで、著者らは、幾何学的な曖昧さの下での空間的・意味的なグラウンディングに関するモデルを評価するための必要なリソースを提供している。

DRTrack フレームワークは、深度の手がかりを MLLM と相乗させることで、空間的な曖昧さ（例：「最も近い」か「最も遠い」かの区別）を効果的に解決し、深刻な遮蔽下でもアイデンティティの一貫性を維持できることを示している。著者らは、DRMOT を、より堅牢で3Dを意識したインタラクティブAIシステムへの基礎的なステップとして位置付けており、この新たな領域における将来の研究のための強力なベースラインを提供している。本研究は、機械学習の知覚における進歩として提示されており、自律システムのための環境理解の向上という一般的な目標以外に、特定の社会的影響については強調されていない。