OmniTracker: Unifying Object Tracking by Tracking-with-Detection

本論文は、追跡と検出の両方の長所を統合した「追跡付き検出」のパラダイムを提案し、単一の共有アーキテクチャでインスタンス追跡からカテゴリ追跡まであらゆる視覚的物体追跡タスクを効率的かつ高精度に解決する統一モデル「OmniTracker」を開発したものである。

要約

オムニトラッカー（OmniTracker）の解説：カメラマンと探偵が合体した「万能追跡ロボット」

この論文は、コンピュータが動画の中で「動くもの」を追いかける技術（Visual Object Tracking）について書かれています。これまで、追跡する対象によって「追いかける方法」がバラバラで、非効率だったのですが、この研究は**「たった一つのモデルで、あらゆる追跡タスクを完璧にこなす」**という画期的なシステム「OmniTracker」を提案しています。

わかりやすくするために、いくつかの比喩を使って説明しましょう。

---

1. 従来の問題点：「専門職」の壁

これまで、動画追跡の世界には大きく分けて 2 つの流派（専門職）がありました。

• 流派 A（インスタンス追跡）：「特定の人物を追い続ける探偵」
  • 例： 最初のフレームで「この赤い服の人」を指定すると、その人が画面から消えたり、他の人に隠れたりしても、その人だけを見つけ続けようとする（SOT や VOS）。
  • 弱点： 探偵が「あそこに赤い服がいるはずだ」と思っても、実際には違う場所に行っていたり、赤い服を着た別人がいたりすると、迷子になってしまいます。
• 流派 B（カテゴリ追跡）：「すべての人をリストアップする警察官」
  • 例： 「歩行者」や「車」といった特定の種類のものを、フレームごとにすべて見つけて番号を振る（MOT や VIS）。
  • 弱点： 警察官は「今、この人がどこにいたか」という過去の情報をあまり重視せず、毎回「今見えるもの」をリストアップします。そのため、一瞬隠れた瞬間に「あれ？誰だっけ？」と ID を間違えやすくなります。

問題点：
これらは別々のチーム（別々の AI モデル）で動いていました。つまり、会社（AI 開発者）は「探偵チーム」と「警察官チーム」の両方を雇い、それぞれを訓練し、別々の道具を持たせなければなりませんでした。これは**「無駄なコスト」と「複雑さ」**を生んでいました。

---

2. 新発想：「追跡と検出の合体（Tracking-with-Detection）」

OmniTracker は、この 2 つの流派を**「一人の万能な探偵」**に統合しました。

この探偵は、以下の 2 つの能力を同時に持っています。

1. 「過去の記憶」で現在を補強する（追跡の力）
   • 「さっきまでここにいたはずだ」という過去の情報を使って、現在の画像をより詳しく見ることができます。
   • 比喩： 探偵が「犯人は赤い服を着ている」という記憶を持っているので、画面の隅々まで「赤い服」を探し、見つけやすくなります。
2. 「現在の発見」で過去を修正する（検出の力）
   • 画面全体を広く見て「あそこに何かいる！」と新しい発見をします。
   • 比喩： 探偵が「あそこに赤い服の影がある！」と発見し、過去の記憶と照らし合わせて「あ、やっぱり犯人だ！」と確信します。

この 2 つを双方向で連携させることで、どちらか一方だけを使うよりも、はるかに正確に追跡できるようになります。

---

3. 核心技術：「RFE モジュール」という「記憶のメガネ」

OmniTracker がこの合体を実現するために使っているのが**「RFE（Reference-guided Feature Enhancement）」**という仕組みです。

• どんなもの？
  • これは、AI が動画を見る時に装着する**「記憶のメガネ」**のようなものです。
  • 普通のカメラ（検出器）は、今見ているフレームだけを淡々と見ます。
  • しかし、この「記憶のメガネ」をかけることで、**「前のフレームで追っていた対象の特徴（色、形、動き）」**が、現在の画像に重ねて表示されます。
• 効果：
  • 対象が少し隠れても、メガネが「前はここにあったよ」と教えてくれるので、AI は「あ、ここだ！」と正確に捉えられます。
  • 逆に、新しい対象が見つかったら、その情報を「記憶」に追加して、次のフレームで使い回します。

この仕組みのおかげで、**「特定の人物を追う」ことと「すべての歩行者を追う」**ことという、一見矛盾する 2 つの仕事を、**同じ脳（同じ AI モデル）**でこなせるようになりました。

---

4. 結果：「万能選手」の誕生

OmniTracker は、7 つの異なるテスト（ラズロット、MOT17、DAVIS など）で、それぞれの分野の「専門家（特定のタスクに特化したモデル）」と戦いました。

• 結果：
  • 多くの場合、専門家と同等か、それ以上の成績を収めました。
  • しかも、1 つのモデルで全てをこなすため、計算コストが安く、訓練も簡単です。
  • 従来の「専門家チーム」を解散させて、**「万能選手 1 人」**に任せるだけで済むようになったのです。

まとめ

OmniTracker は、「過去の記憶」と「現在の発見」を上手に組み合わせた、超・賢い追跡ロボットです。

• 昔： 「探偵用 AI」と「警察用 AI」を別々に作っていた。
• 今： 「記憶のメガネ」をかけた**「万能探偵 AI」**が、どちらの仕事も完璧にこなす。

これにより、自動運転、監視カメラ、AR（拡張現実）など、あらゆる分野で、より安く、より正確に「動くもの」を追跡できるようになることが期待されています。

技術概要

以下は、提示された論文「OmniTracker: Unifying Visual Object Tracking by Tracking-with-Detection」の技術的な要約です。

OmniTracker: 追跡と検出の統合による視覚的物体追跡の統一

1. 研究背景と課題 (Problem)

視覚的物体追跡（VOT）は、拡張現実、自動運転、インタラクティブシステムなど、多くの実世界応用において重要なタスクです。従来の VOT は、以下のように 2 つの異なるカテゴリに大別され、それぞれが異なるアプローチを採っていました。

1. インスタンス追跡 (Instance Tracking):
   • タスク: シングルオブジェクト追跡 (SOT)、ビデオオブジェクトセグメンテーション (VOS)。
   • 特徴: 1 フレーム目の注釈（バウンディングボックスまたはマスク）に基づき、特定のオブジェクトを追跡する。
   • 既存手法: 「追跡による検出 (Tracking-as-Detection)」が主流。テンプレートやメモリから検索領域を定義し、その中から検出を行う。
2. カテゴリ追跡 (Category Tracking):
   • タスク: マルチオブジェクト追跡 (MOT)、MOTS、ビデオインスタンスセグメンテーション (VIS)。
   • 特徴: 特定のクラスに属するすべてのオブジェクトを検出し、フレーム間で関連付ける。
   • 既存手法: 「検出による追跡 (Tracking-by-Detection)」が主流。各フレームで検出器がボックスを予測し、その後、外観や空間的類似性に基づいて追跡を行う。

課題:
これら 2 つのアプローチはアーキテクチャ、ハイパーパラメータ、トレーニングプロセスが異なり、それぞれに特化したモデルを開発する必要があります。これにより、トレーニングコストの重複やパラメータの無駄が生じています。また、既存の手法は「追跡が検出を支援する」か「検出が追跡を支援する」かのどちらか一方の方向性しか持っておらず、両者の相乗効果を十分に活用できていません。

2. 提案手法 (Methodology)

著者らは、追跡と検出を双方向的に補完し合う新しいパラダイム**「Tracking-with-Detection（追跡による検出）」を提案し、これに基づいた統一モデル「OmniTracker」**を開発しました。

2.1 核心となるパラダイム：Tracking-with-Detection

従来の「追跡による検出」や「検出による追跡」の両方の利点を統合します。

• 追跡による検出の支援: 追跡結果（外観の事前情報）を検出器に提供し、検出精度を向上させる。
• 検出による追跡の支援: 検出器が全画像から候補ボックスを生成し、追跡アルゴリズムがそれらを既存の軌道と関連付ける。

2.2 OmniTracker のアーキテクチャ

OmniTracker は、Deformable DETRをベースとした完全共有のネットワークアーキテクチャ、モデル重み、推論パイプラインを持っています。主要な構成要素は以下の通りです。

1. 参照ガイド付き特徴強化モジュール (Reference-guided Feature Enhancement: RFE):

   • 追跡フレームの特徴マップに、前フレームの追跡結果から得られた外観事前情報（Appearance Priors）を付加するモジュール。
   • インスタンス追跡 (SOT/VOS): 前フレームの追跡されたボックスの RoIAlign 特徴を Cross-Attention を用いて統合。
   • カテゴリ追跡 (MOT/MOTS/VIS): 前フレームのダウンサンプル化された特徴マップを使用（オブジェクトが隠蔽やぼやけに強いようにするため）。
   • これにより、検出器は特定の領域だけでなく、全画像に対して外観の事前情報を持った状態で物体検出を実行できます。

2. Deformable DETR ベースの検出器:

   • 強化された特徴マップを入力とし、物体のバウンディングボックス、クラス、マスクを予測します。
   • 学習可能なクエリと対応する RoI 特徴を結合し、インスタンスのアイデンティティ埋め込み（Identity Embedding）を生成します。

3. コントラスト学習による ReID ロス:

   • 異なるフレーム間での物体の関連付けを学習するため、コントラスト損失（Contrastive ReID Loss）を用いて、同じ物体の埋め込みを近づけ、異なる物体の埋め込みを遠ざけるように学習します。

4. 統一されたオンライン追跡パイプライン:

   • 各トラジェクトリごとにメモリバンク（履歴のアイデンティティ埋め込み）を維持し、カルマンフィルタと組み合わせて位置と外観の両方に基づいた双方向類似性を計算します。
   • ハンガリー法を用いてボックスの割り当てを行い、未マッチした高スコアボックスを新しいトラジェクトリとして初期化します。
   • 重要: SOT、VOS、MOT、MOTS、VIS のすべてのタスクに対して、同一の推論パイプラインを使用します。

3. 主な貢献 (Key Contributions)

1. 新しいパラダイムの提案: 「Tracking-with-Detection」を提案し、追跡と検出の双方向的な相乗効果をモデル化しました。
2. 完全な統一モデル (OmniTracker): 5 つの異なる追跡タスク（SOT, VOS, MOT, MOTS, VIS）を、単一の共有アーキテクチャと重みで解決する初のモデルの一つです。
3. RFE モジュール: 追跡結果から得られる外観事前情報を検出器に統合するモジュールを設計し、検出精度と追跡の安定性を同時に向上させました。
4. 広範な実験的検証: 7 つの主要なベンチマーク（LaSOT, TrackingNet, DAVIS16-17, MOT17, MOTS20, YTVIS19）で、タスク特化型モデルや既存の統一モデルを上回る、あるいは同等の性能を達成しました。

4. 実験結果 (Results)

OmniTracker は、SOT、VOS、MOT、MOTS、VIS のすべてのタスクにおいて SOTA（State-of-the-Art）またはそれに匹敵する性能を示しました。

• SOT (LaSOT, TrackingNet): 既存の統一モデル（Unicorn, UNINEXT）と比較して、特に TrackingNet で高い精度を達成。SOT 特化モデルとも競合する性能。
• VOS (DAVIS 16/17): 単一タスクモデルには及ばない部分もありますが、統一モデルの中では最高性能を記録（DAVIS 17 で Unicorn-L より J&F 1.8% 上回）。
• MOT (MOT17): MOTA 79.1%、IDF1 75.6% を達成し、Unicorn よりも 1.9% 上回る性能。
• MOTS (MOTS20): sMOTSA 67.5% を達成し、PointTrackV2 や Unicorn を大きく上回る性能。
• VIS (YTVIS 2019): 既存の統一モデル（UNINEXT など）と比較して、すべての指標で優れた性能を示しました。
• 効率性: 推論速度（FPS）においても、Unicorn よりも高速（Swin-Tiny ベースで 41.7 FPS vs 20.9 FPS）であり、計算コストの削減にも寄与しています。

5. 意義と結論 (Significance)

この論文は、視覚的物体追跡の分野において、「タスク特化型」から「統一型」へのパラダイムシフトを強力に推進するものです。

• 効率性と汎用性: 複数のタスクに対して個別のモデルを訓練・展開する必要がなくなり、リソースの無駄を省きつつ、高い汎用性を獲得しました。
• 人間の認知に近いアプローチ: 人間が追跡タスクを自然に処理する際、検出と追跡の情報を相互に活用しているように、OmniTracker も両者の情報を双方向的に統合することで、よりロバストな追跡を実現しています。
• 将来の展望: この「Tracking-with-Detection」のパラダイムは、基礎モデル（Foundation Models）や大規模マルチモーダルモデル（LMM）との統合を通じて、さらに高度な追跡能力や文脈理解への拡張が可能であることを示唆しています。

OmniTracker は、異なる追跡タスクの壁を取り払い、単一のモデルで多様な追跡課題を解決する可能性を実証した画期的な研究と言えます。