技術サマリー：OneTrackerV2 – 二重の混合専門家（Dual Mixture-of-Experts）による統合マルチモーダル視覚トラッキング

1. 問題定義

視覚的物体追跡（VOT）は、通常、入力モダリティに基づいて RGB 追跡と RGB+X 追跡（Depth、Thermal、Event、または言語データの組み込み）に分類されます。既存のアプローチは、スケーラビリティ、効率性、ロバスト性の面で重大な制限を有しています：

• 分離型トラッカー: 各モダリティの組み合わせに対してタスク固有のアーキテクチャを設計・訓練するため、計算コストが高く、汎化能力が欠如しています。
• 適応型トラッカー: 事前学習済みの RGB トラッカーをダウンストリームのマルチモーダルタスクに対して微調整します。この多段階訓練は、しばしば最適化されていない収束をもたらし、タスク依存の重みに依存します。
• 初期の統合型トラッカー: 単一モデルで複数のモダリティを処理しようとしますが、しばしば単純なトークン連結に依存します。これにより、**特徴の絡み合い（feature entanglement）**が発生し、時空間的な運動とモダリティ固有のパターンといった異質な情報が共有空間内で衝突し、最適化の干渉を引き起こします。
• 欠損モダリティへの脆弱性: ほとんどの統合モデルは、推論時に特定の入力モダリティ（例：Depth または Thermal）が欠落している場合、失敗するか著しく性能が低下します。これは、固定された入力構成に依存しているためです。

2. 手法：OneTrackerV2

著者は、単一のアーキテクチャ、共有パラメータ、およびワンステップのエンドツーエンド訓練を通じて多様なマルチモーダル追跡タスクを処理するように設計された統合フレームワークOneTrackerV2を提案します。コアアーキテクチャは、3 つの主要なコンポーネントで構成されます：

2.1 メタマージャー（Meta Merger）

特徴の絡み合いなしに異質な入力を統合するという課題に対処するため、著者はメタマージャーを導入します。

• 機能: 学習可能なメタ埋め込み（$F_{meta}$）を使用して、RGB および補助モダリティ特徴（例：Depth、Thermal）を統合された埋め込み空間にマッピングします。
• メカニズム: 直接連結の代わりに、メタ埋め込みはグローバルな仲介役として機能します。これは、軽量な畳み込み変換を介して強化された RGB 特徴（$F'_{rgb}$）および補助特徴（$F'_{x}$）と相互作用します。
• 利点: これにより、コンパクトでモダリティに依存しない意味表現が作成されます。重要なのは、融合が固定された入力連結ではなくメタ埋め込みを中心に配置されているため、このモジュールは特定のモダリティが欠落している場合でもロバスト性を維持することです。

2.2 二重の混合専門家（Dual Mixture-of-Experts: DMoE）

メタマージャーに続き、統合された特徴は、**二重の混合専門家（DMoE）**モジュールを備えたビジョントランスフォーマーバックボーンによって処理されます。単一の目的に焦点を当てる標準的な MoE 設計とは異なり、DMoE は 2 つの明確な学習タスクを明示的に分離します：

1. T-MoE（Temporal-MoE）: 複雑な時空間マッチングパターンと運動の手がかりの捕捉に専念します。
2. M-MoE（Multimodal-MoE）: マルチモーダル知識の融合とモダリティ固有の特徴の処理に専念します。
3. 共有専門家（Shared Expert）: 一般的な表現を処理する共通の専門家（$E_{shared}$）。

分離メカニズム:
T-MoE と M-MoE が重複するパターンに収束するのを防ぐため、著者は 2 つの特定の損失関数を採用します：

• 専門家分離損失（$L_{dis}$）: T-MoE の出力（$y_T$）と M-MoE の出力（$y_M$）間のコサイン類似性を罰則化し、それらを直交する機能部分空間に強制します。
• ルータークラスタ損失（$L_{cluster}$）: M-MoE ルーターが、同一モダリティからのサンプルに対して一貫した専門家選択を生成しつつ、異なるモダリティ間では識別的なルーティングを維持することを強制します。これにより、M-MoE は汎用的な特徴ではなく、モダリティ固有の抽象化を学習することが保証されます。

2.3 最適化戦略

• 確率的モダリティ摂動: 訓練中、モデルはランダムなモダリティ置換（RGB と補助入力の入れ替え）およびランダムなモダリティマスキングを採用します。これにより、メタマージャーが多様な構成にさらされ、欠損データに対するロバスト性が向上し、特定のセンサーへの過度な依存が防止されます。
• 損失関数: 全体の目的関数は、分類、IoU、L1 などの標準的な追跡損失と、提案された分離およびクラスタリング損失を組み合わせたものです。

3. 主要な貢献

1. 統合フレームワーク: 共有パラメータによるワンステップ訓練を通じて多様なマルチモーダル追跡タスク（RGB、RGB+D、RGB+T、RGB+E、RGB+N）をサポートする単一のフレームワークOneTrackerV2の導入。タスク固有のアーキテクチャや多段階微調整の必要性を排除します。
2. メタマージャーモジュール: 異質な特徴を統合空間に集約し、効率的なクロスモーダル相互作用を可能にする新規モジュール。欠損モダリティ条件下でもロバスト性を維持します。
3. 二重の混合専門家（DMoE）: 時空間関係モデリングとマルチモーダル特徴埋め込みを分離することで、異質な目的間の競合を解決する構造的解決策。これにより、表現空間が拡大し、計算オーバーヘッドをほぼ増やすことなく性能が向上します。
4. 包括的な評価: 5 つの追跡タスクと 12 のベンチマークにわたる最先端（SOTA）性能の提示。欠損モダリティシナリオにおける著しいロバスト性と、モデル圧縮下での高い効率性を含みます。

4. 実験結果

本論文では、12 のベンチマークにおける SOTA トラッカーに対する OneTrackerV2 の評価を行います：

• RGB 追跡: 統合マルチモーダルデータセットで訓練されているにもかかわらず、OneTrackerV2 は LaSOT、TrackingNet、GOT-10k などのベンチマークにおいて、既存の RGB 専用トラッカー（ODTrack、ARTrackV2 など）を上回ります。これは、統合設計が単一モダリティの性能を損なわないことを証明しています。
• RGB+X 追跡: Depth、Thermal、Event、および言語追跡ベンチマーク（DepthTrack、RGBT234、VisEvent、TNL2K など）において、OneTrackerV2 はタスク固有のアーキテクチャや微調整に依存する手法（SUTrack、ViPT、STTrack など）を凌駕します。
• 欠損モダリティへのロバスト性: 補助モダリティが欠落しているシナリオ（例：DepthTrack$_{miss}$）において、OneTrackerV2 は以前の統合手法（SUTrack、SeqTrackv2 など）を著しく上回り、メタマージャーと確率的訓練の有効性を検証しています。
• 効率性と圧縮: このモデルは高い推論速度を維持しています（B224 変種で最大 72.4 FPS）。6 層変種に圧縮した場合でも、性能はわずかに低下するのみ（約 2%）で 159 FPS を達成し、速度と精度の両面で圧縮されたベースライン（SuTrack-T224 など）を上回ります。

5. 意義と主張

著者は、OneTrackerV2 がスケーラビリティ、ロバスト性、汎化性を効率性や精度を犠牲にすることなく達成できることを実証することで、マルチモーダル追跡におけるパラダイムシフトを表していると主張します。

• 統合訓練: 共有アーキテクチャによるワンステップ訓練プロセスは、しばしば最適化されていない収束をもたらす多段階微調整よりも優れていると論じています。
• 分離学習: 運動モデリング（T-MoE）とモダリティ融合（M-MoE）を明示的に分離することで、単純な統合モデルに内在する「特徴の競合」を解決し、モデルが明確で相補的な特徴を学習することを可能にします。
• 実用的ロバスト性: このフレームワークは、センサーの可用性が変化する現実世界のアプリケーション（例：サーマルカメラの故障）において特に重要であると強調されています。なぜなら、アーキテクチャの変更や再訓練を必要とせずに性能を維持するからです。

著者は、OneTrackerV2 が高精度、推論効率、入力変動への耐性をバランスさせたスケーラブルな解決策を提供し、統合マルチモーダル追跡の新たな基準を設定すると結論付けています。