GOT-JEPA: Generic Object Tracking with Model Adaptation and Occlusion Handling using Joint-Embedding Predictive Architecture

この論文は、ジェネリックな物体追跡の汎用性と堅牢性を向上させるため、JEPA アーキテクチャを拡張して追跡モデル自体の予測を行う「GOT-JEPA」フレームワークと、オクルージョン（遮蔽）の細かなパターンを捉えて追跡精度を高める「OccuSolver」を提案し、複数のベンチマークでその有効性を示したものです。

要約

この論文は、**「AI に『物忘れ』や『隠れん坊』を克服させる新しいトレーニング方法」**について書かれています。

通常、AI が動画の中で特定の物体（例えば、走る犬や飛んでいるボール）を追いかける「追跡（トラッキング）」技術は、訓練データで見たことのあるものには強いですが、**「突然物陰に隠れて見えなくなったり（遮蔽）」や「背景に紛れて見分けがつかなくなったり（干渉）」**すると、すぐに追跡を失敗してしまいます。

この論文では、人間の脳がどうやって物体を追いかけているかをヒントに、2 つの新しいアイデアを組み合わせて、より賢くタフな追跡システム「GOT-JEPA」と「OccuSolver」を開発しました。

わかりやすくするために、**「探偵と助手」**の物語で説明しましょう。

---

1. 従来の問題点：「記憶力」が足りない探偵

これまでの AI 追跡システムは、**「過去にたくさん見た犬の姿を暗記している探偵」**のようなものでした。

• 弱点: 見慣れない犬が現れたり、犬がカーテンの裏に隠れて半分しか見えなくなると、「あれ？これは訓練した犬じゃないかも？」「どこに行った？」と混乱して、追跡を放棄してしまいます。
• 理由: 過去の経験（訓練データ）に頼りすぎていて、「今、何が見えていないか」を論理的に推理する力が不足していたのです。

2. 解決策①：「GOT-JEPA」＝ 悪魔の先生と生徒のトレーニング

まず、追跡システムの「頭脳（モデル）」を鍛えるために、**「JEPA（ジェパ）」**という新しいトレーニング法を使います。

• 設定:
  • 先生（Teacher）: きれいな映像を見て、「正解の追跡モデル（どう追えばいいかの答え）」を作ります。
  • 生徒（Student）: 先生と同じ過去の情報を持っていますが、現在の映像に「ノイズ」や「欠損（隠れ）」を混ぜた汚い映像を見せられます。
• 課題: 生徒は、「汚い映像」を見ながら、先生が「きれいな映像」から作った「正解のモデル」と同じものを作らなければなりません。
• 効果:
  • これを繰り返すことで、生徒は「映像が汚れても、隠れても、本質的な特徴（犬の動きや形）を見抜く力」を身につけます。
  • アナロジー: 就像**「暗闇で、耳障りなノイズが鳴っている中、先生が描いた完璧な絵を、生徒が記憶だけで再現する練習」**です。これにより、どんなに状況が悪くても、追跡を諦めないタフな頭脳が作られます。

3. 解決策②：「OccuSolver」＝ 隠れた部分を推理する「点の探偵」

次に、物体が隠れたとき、**「どこが見えていて、どこが隠れているか」**を細かく判断する仕組みを作ります。

• 従来の問題: 従来の AI は「物体全体」を一つの箱（四角い枠）として見ていました。「箱の半分が隠れている」とわかっても、「箱のどの部分が隠れているか」まではわかりません。
• 新しい方法（OccuSolver）:
  • 物体を「点（ドット）」の集まりとして捉えます。
  • **「点の探偵」**が、物体の表面に無数の点を配置し、「この点は見える？」「この点は壁に隠れて見えない？」を一つずつチェックします。
  • さらに、追跡システム（GOT）が「これは犬だ」という**「物体の知識（プリオ）」**を提供することで、点の探偵は「背景の点ではなく、犬の点だけを重視する」ように調整されます。
• 効果:
  • 物体が半分隠れても、「見えている部分の点」だけを使って追跡を続け、「隠れている部分」を論理的に補完できます。
  • アナロジー: 就像**「霧の中で、見えている部分の足跡（点）だけを頼りに、隠れている人の全体的な姿を推理する」**ようなものです。これにより、物体が完全に消えても、再出現した瞬間にすぐに「あ、あの犬だ！」と認識できるようになります。

4. 2 つの協力：最強のチームワーク

この 2 つの技術は、お互いに助け合っています。

1. GOT-JEPA が、どんなに状況が悪くても追跡を続ける「強い頭脳」を作る。
2. OccuSolver が、その頭脳に「今、どこが見えていて、どこが隠れているか」という**「詳細な地図」**を提供する。
3. その詳細な地図を使って、GOT-JEPA はさらに正確な追跡モデルを作り直し、次のフレームに活かす。

この**「良いループ」が回ることで、AI は人間のように、「隠れても、背景に紛れても、すぐに追跡を再開できる」**ようになります。

結論：何がすごいのか？

この研究では、7 つの異なるテスト（さまざまな難易度の動画）で、既存の最高の技術よりも優れた結果を出しました。

• 隠れん坊に強い: 物体が隠れても、再出現した瞬間に追跡を再開できる。
• 雑多な環境に強い: 背景がごちゃごちゃしていても、狙った物体を見失わない。
• 未知のものに強い: 訓練データにない新しい物体でも、柔軟に対応できる。

つまり、**「AI に『状況を見て、論理的に推理する力』を与えた」**ことで、動画追跡の精度と信頼性が飛躍的に向上したという画期的な研究です。

技術概要

論文「GOT-JEPA: Generic Object Tracking with Model Adaptation and Occlusion Handling using Joint-Embedding Predictive Architecture」の技術的サマリー

1. 背景と課題 (Problem)

汎用オブジェクト追跡（Generic Object Tracking: GOT）は、最初のフレームで指定されたバウンディングボックスに基づき、その後のフレームで任意のターゲットを追跡するタスクです。しかし、既存のアプローチには以下の重大な限界があります。

• 一般化能力の欠如: 既存の追跡器は、訓練データに含まれる特定のターゲットに最適化されがちです。そのため、訓練中に遭遇していないターゲット（Out-of-Distribution）や複雑な環境変化に対して、ロバスト性が低下します。
• オクルージョン（遮蔽）処理の粗さ: 従来の追跡手法は、ターゲット全体を一つのバウンディングボックスとして扱い、信頼度スコア（confidence score）に基づいてオクルージョンを判断します。しかし、これは「シーンレベル」または「ボックスレベル」の粗い判断であり、部分的な遮蔽において「どの部分が視認可能で、どの部分が隠れているか」という微細な（fine-grained）推論ができていません。
• 人間の視覚システムとのギャップ: 人間は過去の情報と現在の観測を統合し、オクルージョンの細かなパターンを推論しながら追跡しますが、現在の AI 追跡システムはこの抽象的な推論能力に欠けています。

2. 提案手法 (Methodology)

著者らは、これらの課題を解決するために、GOT-JEPAとOccuSolverという 2 つの主要コンポーネントからなる新しいフレームワークを提案しました。

A. GOT-JEPA: 追跡モデル予測のための JEPA 拡張

Joint-Embedding Predictive Architecture (JEPA) の概念を、画像特徴の予測から「追跡モデル（Tracking Model）の予測」へと拡張した事前学習フレームワークです。

• 教師 - 生徒アーキテクチャ:
  • 教師予測器 (t-Predictor): クリーンな現在のフレームから、擬似的な追跡モデル（pseudo-tracking models）を生成します。
  • 生徒予測器 (s-Predictor): 汚染（corruption）された現在のフレーム（オクルージョンやノイズが加えられたもの）から、同じ履歴情報に基づいて、教師が生成した同じ追跡モデルを予測しようと学習します。
• 学習の目的: 汚染された入力からでも安定した追跡モデルを生成できるようにすることで、ターゲットと背景の区別能力を向上させ、未知のターゲットや環境変化に対するロバスト性を高めます。
• 損失関数: 不変性損失（Invariant Loss: 教師と生徒のモデル出力の一致）と共分散損失（Covariance Loss: 予測モデル内の冗長性を削減し、多様性を促進）の組み合わせを使用します。

B. OccuSolver: 微細なオクルージョン推論の強化

GOT-JEPA で得られた追跡器の「オブジェクト事前知識（Object Priors）」を活用し、点追跡（Point Tracking）技術を適応させてオクルージョンを解決するモジュールです。

• 点追跡の適応: 既存の点追跡器（Cotracker など）はオブジェクトの文脈を考慮せず、ランダムにサンプリングされた点を追跡します。OccuSolver は、GOT 追跡器から得られるオブジェクトの事前情報（ラベル）を用いて点追跡器を微調整（Fine-tuning）し、ターゲットに特化した点追跡を行います。
• 可視性状態の推定: 各点の「可視（Visible）」または「不可視（Invisible）」の状態をピクセルレベルで推定します。
• 恩恵の循環:
  1. 追跡器が生成した高精度な事前知識が、OccuSolver に正確な点サンプリングを可能にする。
  2. OccuSolver が推定した詳細な可視性情報が、追跡モデルの適応（Model Adaptation）に用いられる高品質な参照ラベル（Reference Labels）としてフィードバックされる。
  3. これにより、追跡器は遮蔽後の再出現や複雑な遮蔽状況でも高精度な追跡を維持できる。

3. 主な貢献 (Key Contributions)

1. GOT-JEPA の提案: 画像特徴予測から「追跡モデル予測」へと JEPA パラダイムを拡張し、汚染された入力から安定した追跡モデルを学習する新しい事前学習枠組みを確立しました。
2. OccuSolver の開発: 高レベルのセマンティック情報（オブジェクト追跡）と低レベルの幾何学的手がかり（点追跡）を密結合させ、オクルージョンをピクセルレベルで推論・処理するメカニズムを実現しました。
3. 高い一般化性能: 既存の追跡器が苦手とする、未知のターゲットや過酷な環境（オクルージョン、変形、背景雑音）において、優れたロバスト性と一般化能力を実証しました。

4. 実験結果 (Results)

7 つの主要ベンチマーク（AVisT, NfS, OTB-100, GOT-10k, LaSOT, TrackingNet, VOT2022）での評価により、以下の成果が確認されました。

• SOTA 性能: 多くのデータセットで State-of-the-Art (SOTA) 追跡器を凌駕しました。
  • GOT-10k: 平均オーバーラップ（AO）で 79.6% を達成（LoRAT: 77.5%, PiVOT: 76.9% を上回る）。
  • AVisT (オクルージョン特化): 成功率（SUC）で 63.7%（PiVOT: 62.2% を上回る）。
  • LaSOT: 正規化精度（NPr）で 85.3%、成功率で 75.4% と、長期的追跡において高い性能を示しました。
  • VOT2022: ロバスト性と AUC において最高スコアを記録。
• アブレーション研究:
  • GOT-JEPA の事前学習と OccuSolver の組み合わせが、単独での使用よりも大幅な性能向上をもたらすことが確認されました。
  • 共分散損失（Covariance Loss）がモデルの多様性と一般化能力に寄与していることが示されました。
• 視覚的評価: 部分的な遮蔽や完全な遮蔽からの回復、小さなターゲット、変形に対する追跡精度が、ベースライン（ToMP-L など）よりも顕著に向上していることが可視化されました。

5. 意義と将来展望 (Significance)

この研究は、汎用オブジェクト追跡の分野において以下の点で重要な意義を持ちます。

• モデル予測の新たなパラダイム: 追跡器を「特徴マッチング」や「分類」のタスクとしてではなく、「追跡モデルそのものを予測・適応させる」タスクとして再定義し、JEPA の概念を適用することで、訓練データに依存しないロバストな追跡を実現しました。
• オクルージョン推論の革新: 従来の「ボックス全体」の判断から、「点レベル」の可視性推論へと視点を転換し、遮蔽時の追跡失敗を大幅に減少させました。
• 実用性: 複雑な実環境（監視カメラ、自動運転、ドローンなど）において、ターゲットが隠れたり、環境が急変したりしても安定して追跡できる技術を提供します。

将来的には、3D 幾何学的手がかりの導入や、より高度な 3D 情報との融合を通じて、さらに複雑な背景雑音や極端な条件下での追跡性能を向上させることが期待されます。