技術要約：GenTrack2 – 多物体追跡のための改良されたハイブリッド・アプローチ

問題提起

視覚的なマルチオブジェクト・トラッキング（MOT）は、ロボットの操作や自律走行といったタスクにおいて、依然として重要な課題となっている。現在のシステムは、主に3つの要因に苦慮している：オブジェクト間の高い類似性によるアイデンティティの混乱、部分的または完全な遮蔽（オクルージョン）による一時的なターゲットの喪失、そして不規則または予測不可能な動きによるフレーム間関連付けの複雑化である。

既存のアプローチには、以下のような具体的な限界がある：

• 検出ベースの追跡（Tracking-by-Detection）： （SORT、DeepSORT、ByteTrackなど）広く普及しているが、これらの手法はカルマンフィルタに依存することが多く、線形運動とガウスノイズを前提としている。これは、現実世界の非線形ダイナミクスや非ガウスノイズを捉えるには不十分である。
• 粒子フィルタ（パーティクルフィルタ）ベースの手法： 非線形性はうまく扱えるが、オブジェクト数が増加すると高次元の状態空間において課題に直面する。独立したフィルタはオブジェクト間の相互作用時に失敗し、マルチオブジェクト・フィルタは固定されたターゲット数を想定することが多い。可変的なターゲット数を扱う既存の手法は、計算効率の低下、重複するトラック、または頻繁なターゲット変化による信頼性の低下に陥ることがある。

手法

本論文では、未知かつ時変的なターゲット数に対し、非線形ダイナミクス下での識別子の一貫性を維持するために、確率論的メカニズムと決定論的メカニズムを統合したハイブリッドな視覚マルチオブジェクト・トラッキング・フレームワークであるGenTrack2を提案する。システムは、ターゲット識別子（$K_t$）と、位置、サイズ、速度、トラック・ペナルティ、および年齢を含む状態（$X_t$）で定義される状態に基づいて動作する。

フレームワークは、主に以下の3つの段階で構成される：

1. PSOガイダンスを用いた確率的粒子サンプリング

全事後分布のサンプリングを行う代わりに、状態分布のモードへ収束させるため、ターゲットごとに最適な粒子を生成する。

• 運動モデル： 不規則な自然の動きを扱うためにランダムな運動モデルを使用し、事前状態または以前の最適状態に基づき、摂動を加えた粒子を生成する。
• 粒子群最適化（PSO）： 粒子の拡散を防ぎ、収束を導くために、以下の3つのコンポーネントからなる新しい適合度関数（$f_{PSO}$）を用いて粒子位置を精緻化する。
  • 履歴適合度（$f^h_{PSO}$）： 現在の粒子と、前回の最適ターゲット状態との間の類似性を測定する。
  • 探索適合度（$f^p_{PSO}$）： 現在の粒子と、直前のPSO更新との間の類似性を測定する。
  • 社会的適合度（$f^i_{PSO}$）： 近傍ターゲット間の相互作用を考慮する。近傍探索を用いて社会的コンテキストを定義し、粒子が近接する状態から離れるよう促すことで、遮蔽時のIDスイッチを低減させる。
• 適合度指標： 類似度関数の中核は、HoG（Histogram of Oriented Gradients）の外観特徴のコサイン類似度と、運動ベースの距離コストを組み合わせたものである。

2. 決定論的データ関連付け

最適化された粒子セットは、提案されたターゲット指向のコスト行列（$C_{mat}$）を用いたハンガリアン法によって、現在の検出結果とマッチングされる。

• コスト構成要素： マッチングコストには以下が統合される：
  • 運動コスト： 粒子アンサンブルから導出されたIoU（Intersection over Union）と距離コストの組み合わせ。
  • 検出信頼度： 低信頼度の検出に対してペナルティを課す。
  • トラック・ペナルティ： 安定したトラックを優先するため、過去のトラック・ペナルティを組み込む。
• トラック管理：
  • 強いトラック（Strong Tracks）： マッチングに成功したトラックは直接更新される。
  • 弱いトラック（Weak Tracks）： マッチングされた検出がないトラックは、IDスイッチを防ぐために慎重に処理される。これらは、状態推定のためにPSOのグローバルベストおよび近傍情報（利用可能な場合）を利用する。
  • 新規トラック： 検出信頼度が閾値を超えた場合に開始される。
  • 期限切れトラック： 最大年齢制限に基づいて削除される。

3. 状態更新と速度回帰

• 弱いトラックの処理： 検出が得られない弱いトラックに対しては、長期間の遮蔽中に現実的ではない成長や縮小が起こるのを防ぐため、位置とサイズの更新を分離する。位置の更新は、近傍の合意（信頼できる場合）または反発力メカニズムに依存し、近傍との衝突を回避する。
• 速度回帰： 次のフレームの速度を予測するという課題（特に弱いトラックにおいて）に対処するため、システムは過去$H$個の状態のシーケンスにわたって速度回帰を行う。過去の状態からの傾きの増分ソート済みリストを分析することで、「トレンド・シード速度」を算出する。これにより、将来のフレームを必要とせずに堅牢な速度推定が可能となり、ライブストリーム上での動作を可能にする。

主な貢献

本論文は、主に3つの貢献を述べている：

1. ハイブリッド・フレームワーク： 確率的な粒子フィルタ（非線形ダイナミクス用）と決定論的な関連付け（アイデンティティの一貫性用）を統合し、未知かつ時変的なターゲット数を扱う新しいフレームワーク。これは、社会的相互作用とPSO最適化を取り入れた一般的なコスト行列とターゲット更新スキームを導入している。
2. 速度回帰： 遮蔽やノイズの多い検出器の下でも効果的に機能するように設計された、粒子サンプリングと状態更新を改善するための履歴状態を活用するメカニズム。これは、録画されたビデオとライブストリームの両方で動作する。
3. オープンソース実装： 提案手法および比較対象のトラッカーの両方のソースコード参照実装を提供し、再実装と公平な比較評価を容易にする。

実験結果

本手法は、人間追跡（弱くノイズの多い検出を含む）に焦に点を当てたMOT17-04シーケンス（1050フレーム、30 fps、1920×1080解像度）で評価された。比較は、同一の検出結果とグランドトゥルースを用いて、最先端のトラッカー（SORT、DeepSORT、ByteTrack、BoT-SORT、OC-SORT、SMILEtrack、ConfTrack）に対して行われた。

性能指標：

• 平均追跡精度（ATA）： 66.903（提案手法） vs 56.174（SORT）および 52.241（ConfTrack）。
• IDF1： 93.878（提案手法） vs 90.302（ConfTrack）。
• HOTA： 70.044（提案手法） vs 68.345（ConfTrack）。
• MOTA： 85.717（提案手法） vs 82.778（ConfTrack）。
• IDスイッチ（IDSW）： 3（提案手法） vs 58（ConfTrack）および 103（SORT）。

結果は、GenTrack2が複数の指標において既存の手法を凌駕していることを示しており、特に追跡精度（ATA）とアイデンティティの一貫性（低いIDSW）において顕著な改善が見られた。本システムは、ターゲットあたりわずか8個の粒子を使用してこれらの結果を達成しており、CPUのみのハードウェアでのリアルタイム適用を可能にしている。

重要性

本論文は、GenTrack2が、従来のマルチオブジェクト・パーティクルフィルタの計算負荷を負うことなく、非線形ダイナミクス、非ガウスノイズ、および可変的なターゲット数を効果的に扱うことで、現実世界のMOTアプリケーションに対する堅牢なソリューションを提供すると主張している。長時間の遮蔽や相互作用の間もターゲットのアイデンティティを維持することに成功し、録画されたビデオとライブストリームの両方で柔軟に動作することにより、本手法は現在のトラッキング・パラダイムにおける重要なギャップを埋めている。著者らは、本手法がパラメータ設定に対して概して鈍感であり、最小限の計算リソースで強力な性能を発揮することを指摘している。