技術的概要：ハイパースペクトル物体追跡のためのマテリアルプロンプトを用いたエンドツーエンドの混合分離

1. 問題定義

ハイパースペクトル物体追跡は、高密度なスペクトル測定を活用して、外観の曖昧さ、照明変化、背景の雑音に対する堅牢性を向上させることを目指す。しかし、既存のアプローチは以下の 2 つの根本的な限界に直面している：

1. 固有の物質特性の軽視：多くの手法は、空間的またはチャネル融合戦略を用いて RGB ベースの追跡器を適応させ、スペクトルシグネチャに符号化された固有の物質特性を利用するのではなく、ハイパースペクトルデータを単なる補助的手がかり（例えば、偽色画像）として扱う。これにより、背景ノイズに支配されたプロンプトや、スペクトル的に冗長な応答が生じやすい。
2. 非結合の混合分離パイプライン：ハイパースペクトル混合分離を利用する物質認識型手法は、通常、ターゲットの局在化ではなくスペクトル再構成に最適化された外部の非結合パイプラインに依存している。これらのパイプラインは顕著な計算遅延を導入し、背景物質やノイズで汚染されがちな豊度マップを生成するため、追跡のための識別表現を提供できない。さらに、結合最適化の欠如により、混合分離プロセスがターゲット局在化という特定の目標と整合しない。

2. 手法：E2E-MPT

著者は、統一された結合最適化目的の下でハイパースペクトル混合分離と物体追跡を密に統合する最初のフレームワークであるE2E-MPT（End-to-End Material Prompt Tracking：エンドツーエンド物質プロンプト追跡）を提案する。このフレームワークは、以下の 3 つの中核コンポーネントから構成される：

A. 物質表現分解モジュール（MRDM）

MRDM は、外部の混合分離パイプラインに代わり、追跡ループ内で結合最適化される深層学習ベースの混合分離バックボーン（DAEU や CNNAEU などのオートエンコーダと互換性がある）を採用する。

• 混合分離ネットワーク：エンコーダ - デコーダ構造が、ハイパースペクトル入力を豊度マップ（$A$）にマッピングし、スペクトル信号を再構成する。
• 豊度マップ分解（AMD）：混合分離空間と追跡特徴空間の間の不一致に対処し、相補的な物質手がかりを解離するために、MRDM は以下の処理を適用する：
  1. 生豊度係数を追跡条件付きの物質基底に変換する1×1 チャネルアダプタ。
  2. 適応された豊度マップを 2 つの相補的なブランチに分解する1D ハールウェーブレット変換：
     • 低周波ブランチ（$M_L$）：支配的で滑らかな物質応答を集約し、安定したターゲット支援を提供する。
     • 高周波ブランチ（$M_H$）：チャネル間の対照的な変動を分離し、背景干渉を抑制して局所的な識別性を高める。

B. 双ブランチウェーブレット強化物質プロンプトモジュール（DWMPM）

このモジュールは、分解されたブランチから物質認識型プロンプトを生成し、トランスフォーマー層全体にわたって凍結された追跡バックボーン（OSTrack ベース）と相互作用する。

• 非対称融合設計：ブランチの固有の構造的性質を認識し、モジュールは以下の方式を採用する：
  • 低周波ブランチに対するクロスアテンション：グローバルに分散した物質応答をモデル化し、長距離特徴の条件付けを可能にする。
  • 高周波ブランチに対するグループ畳み込み：空間的に局所的で微細な物質変動を効率的に捉える。
• プロンプトは、トランスフォーマー層を通じて反復的に更新され、グローバルな文脈のためのクロスアテンションと、局所的な詳細の保持のための畳み込みを組み合わせる。

C. 周波数プロンプト融合モジュール（FPFM）

FPFM は、バックボーンに注入する前に、コンパクトな潜在空間で低周波および高周波ブランチのプロンプトを適応的に融合する。

• 単純な要素ごとの加算の代わりに、このモジュールは連結されたブランチプロンプトを共有潜在空間に射影し、残差接続を備えた軽量ボトルネックを通じてそれらを洗練させ、元の次元を回復する。
• 融合されたプロンプトは、バックボーン特徴に残差的に追加され、追跡器が事前学習された表現を乱すことなく相補的な物質手がかりを利用することを可能にする。

D. 訓練目的

フレームワークは、統一された損失関数を通じて最適化される：
$$\mathcal{L}_{total} = (1 - \lambda_u)\mathcal{L}_{tracking} + \lambda_u\mathcal{L}_{unmixing}$$

• $\mathcal{L}_{tracking}$：標準的な追跡損失（分類、オフセット回帰、スケール回帰）。
• $\mathcal{L}_{unmixing}$：重み付けターゲット指向混合分離損失。標準的な再構成損失とは異なり、これは追跡器の候補スコアから導出された二値空間マスクを導入する。これは、ターゲットに関連するスペクトル成分により高い重要性を割り当て、背景支配の応答を抑制し、分解目的を局在化精度と明示的に整合させる。

3. 主要な貢献

1. 最初のエンドツーエンドフレームワーク：E2E-MPT は、ハイパースペクトル混合分離と物体追跡を結合最適化し、物質分解とターゲット局在化を単一の目的の下で統一する最初の手法である。
2. 周波数分解された物質プロンプト：MRDM と FPFM の設計により、冗長性を抑制しつつ、複数のスペクトルスケール（低周波の安定性と高周波の対照性）にわたるターゲット関連の物質手がかりを利用可能にする。
3. 双ブランチ相互作用：DWMPM は、クロスアテンションと畳み込みの組み合わせを用いてハイパースペクトルトークンと物質表現を効果的にモデル化し、グローバルなスペクトル空間相互作用と局所的な構造的詳細のバランスを取る。
4. ターゲット指向損失：重み付け混合分離損失の導入により、物質分解を追跡目標と明示的に整合させ、識別表現を促進する。
5. 汎用性：このフレームワークはモデル非依存であり、異なる混合分離バックボーン（DAEU、CNNAEU）全体で有効性を示す。

4. 実験結果

3 つの標準ベンチマークであるHOTC2020、HOTC2023、およびHOTC2024において、広範な実験が行われた。

• 性能：E2E-MPT はすべてのベンチマークで最先端（SOTA）の性能を達成し、RGB ベースの追跡器（偽色入力を使用）および既存のハイパースペクトル追跡器を上回った。
  • HOTC2020において、距離精度（DP）は0.966、曲線下面積（AUC）は0.734を達成し、以前の最高記録（SSTtrack）を 1.1%/2.1% 上回った。
  • HOTC2023において、すべてのスペクトル領域（VIS、NIR、RedNIR）で先行し、非結合パイプラインに依存する最も近い物質認識型競合他社（MMF）に対して顕著な改善を示した（例：NIR で +6.3%/9.3%）。
  • HOTC2024において、NIR 領域で DP 0.939、AUC 0.758を記録し、SOTA 地位を維持した。
• 属性分析：この手法は、照明変動、低解像度、背景雑音といった困難な条件において特に堅牢であり、外観変化にもかかわらず物質レベルのスペクトル手がかりが安定している。
• 効率性：混合分離の追加的な複雑さにもかかわらず、E2E-MPT は基礎モデルと比較してパラメータ数の増加は moderate（約 1.78M 追加）でありながら、競争力のある推論速度（HOTC2020 で約 26 FPS）を維持している。
• アブレーション研究：
  • エンドツーエンド最適化の除去（外部混合分離の使用）は、性能を著しく低下させる。
  • 1D ハールウェーブレット分解は、ランダム分割や FFT よりも優れている。
  • 非対称演算子設計（低周波用クロスアテンション、高周波用畳み込み）は、対称設計よりも優れていることが検証された。

5. 意義と主張

本論文は、E2E-MPT の主な意義が非結合の前処理から結合最適化へのパラダイムシフトにあると主張する。混合分離を単独の再構成タスクではなく、ターゲット局在化のために直接最適化されるコンポーネントとして扱うことで、このフレームワークは本質的により識別性が高く堅牢な物質表現を生成する。

著者は以下を強調する：

• 物質手がかりは、分解プロセスが追跡目的（ターゲット指向損失を通じて）によって導かれた場合に最も効果的である。
• 周波数領域分解により、モデルは背景干渉から安定したターゲット支援を分離でき、低解像度ハイパースペクトル追跡で一般的な「混合ピクセル」問題に対処できる。
• このフレームワークは、RGB 入力が偽色画像に変換された場合でも、固有の物質特性が適切に利用されれば、ハイパースペクトル追跡が RGB ベースの手法を上回ることを示している。

認められた限界：
著者は、このフレームワークが混合分離モデルの品質に依存しており（未見の物質で失敗する可能性があり）、現在、明示的な時間的モデリングを欠いているため、単一フレームの物質手がかりが不十分な長期の遮蔽や極端な照明変化に対して脆弱であることを率直に指摘している。今後の課題として、時間的手がかりの組み込みが提案されている。