기술 요약: 물체 추적을 위한 물체 프롬프트를 활용한 종단간 분해

1. 문제 제기

초분광 물체 추적은 밀집된 스펙트럼 측정을 활용하여 외관 모호성, 조명 변화, 배경 혼란에 대한 강인성을 향상시키는 것을 목표로 합니다. 그러나 기존 접근법은 두 가지 근본적인 한계에 직면해 있습니다:

1. 고유한 물체 특성의 간과: 많은 방법들은 공간적 또는 채널 융합 전략을 사용하여 RGB 기반 추적기를 적응시키며, 스펙트럼 서명에 인코딩된 고유한 물체 특성을 활용하기보다는 초분광 데이터를 단순히 보조 단서 (예: 가색 이미지) 로 취급합니다. 이로 인해 종종 배경 잡음이나 스펙트럼적으로 중복된 응답이 지배적인 프롬프트가 생성됩니다.
2. 분리된 분해 파이프라인: 초분광 분해를 활용하는 물체 인지 방법들은 일반적으로 대상 위치 결정보다는 스펙트럼 재구성을 위해 최적화된 외부 분리 파이프라인에 의존합니다. 이러한 파이프라인은 상당한 계산 지연을 초래하며, 배경 물질이나 잡음에 오염된 풍부도 맵을 생성하여 추적을 위한 구별 가능한 표현을 제공하지 못합니다. 또한, 공동 최적화의 부재로 인해 분해 과정이 대상 위치 결정이라는 특정 목표와 정렬되지 못합니다.

2. 방법론: E2E-MPT

저자들은 E2E-MPT(종단간 물체 프롬프트 추적) 를 제안합니다. 이는 통합된 공동 최적화 목표 하에 초분광 분해와 물체 추적을 긴밀하게 통합한 최초의 프레임워크입니다. 이 프레임워크는 세 가지 핵심 구성 요소로 구성됩니다:

A. 물체 표현 분해 모듈 (MRDM)

MRDM 은 DAEU 또는 CNNAEU 와 같은 오토인코더와 호환되는 심층 학습 기반 분해 백본을 외부 분해 파이프라인 대신에 도입하여 추적 루프 내에서 공동 최적화합니다.

• 분해 네트워크: 인코더 - 디코더 구조가 초분광 입력을 풍부도 맵 ($A$) 으로 매핑하고 스펙트럼 신호를 재구성합니다.
• 풍부도 맵 분해 (AMD): 분해 공간과 추적 특징 공간 간의 정렬 불일치를 해결하고 상호 보완적인 물체 단서를 분리하기 위해, MRDM 은 다음을 적용합니다:
  1. 1×1 채널 어댑터: 원시 풍부도 계수를 추적 조건부 물체 기저로 변환합니다.
  2. 1D Haar 웨이블릿 변환: 적응된 풍부도 맵을 두 개의 상호 보완적인 분기로 분해합니다:
     • 저주파 분기 ($M_L$): 지배적이고 부드러운 물체 응답을 집계하여 안정적인 대상 지지를 제공합니다.
     • 고주파 분기 ($M_H$): 채널 간 대비 변이를 분리하여 배경 간섭을 억제하고 국소적 구별력을 향상시킵니다.

B. 이중 분기 웨이블릿 강화 물체 프롬프트 모듈 (DWMPM)

이 모듈은 트랜스포머 레이어를 통해 고정된 추적 백본 (OSTrack 기반) 과 상호작용하여 분해된 분기들로부터 물체 인지 프롬프트를 생성합니다.

• 비대칭 융합 설계: 분기들의 고유한 구조적 특성을 인식하여, 모듈은 다음을 사용합니다:
  • 교차 어텐션 (Cross-Attention): 저주파 분기에 적용되어 전역적으로 분포된 물체 응답을 모델링하고 장거리 특징 조건화를 가능하게 합니다.
  • 그룹 컨볼루션 (Group Convolution): 고주파 분기에 적용되어 공간적으로 국소적이고 세밀한 물체 변이를 효율적으로 포착합니다.
• 프롬프트는 트랜스포머 레이어를 통해 반복적으로 업데이트되며, 전역 컨텍스트를 위한 교차 어텐션과 국소 세부 사항 보존을 위한 컨볼루션을 결합합니다.

C. 주파수 프롬프트 융합 모듈 (FPFM)

FPFM 은 백본에 주입하기 전에 컴팩트한 잠재 공간에서 저주파 및 고주파 분기 프롬프트를 적응적으로 융합합니다.

• 단순한 요소별 덧셈 대신, 모듈은 연결된 분기 프롬프트를 공유 잠재 공간으로 투영하고, 잔차 연결이 있는 경량 병목 구조를 통해 이를 정제한 후 원래 차원을 복원합니다.
• 융합된 프롬프트는 백본 특징에 잔차적으로 추가되어, 사전 학습된 표현을 방해하지 않으면서 추적기가 상호 보완적인 물체 단서를 활용할 수 있게 합니다.

D. 학습 목표

프레임워크는 통합된 손실 함수를 통해 최적화됩니다:
$$\mathcal{L}_{total} = (1 - \lambda_u)\mathcal{L}_{tracking} + \lambda_u\mathcal{L}_{unmixing}$$

• $\mathcal{L}_{tracking}$: 표준 추적 손실 (분류, 오프셋 회귀, 크기 회귀).
• $\mathcal{L}_{unmixing}$: 가중치 대상 지향 분해 손실. 표준 재구성 손실과 달리, 이는 추적기의 후보 점수에서 유도된 이진 공간 마스크를 도입합니다. 이는 대상 관련 스펙트럼 구성 요소에 더 높은 중요도를 부여하고 배경 지배적 응답을 억제하여, 분해 목표를 위치 결정 정확도와 명시적으로 정렬시킵니다.

3. 주요 기여

1. 최초의 종단간 프레임워크: E2E-MPT 는 초분광 분해와 물체 추적을 공동 최적화하여 단일 목표 하에 물체 분해와 대상 위치 결정을 통합한 최초의 프레임워크입니다.
2. 주파수 분해 물체 프롬프트: MRDM 과 FPFM 의 설계를 통해 저주파 안정성과 고주파 대비와 같은 다중 스펙트럼 스케일에서 대상 관련 물체 단서를 활용하고 중복성을 억제할 수 있습니다.
3. 이중 분기 상호작용: DWMPM 은 교차 어텐션과 컨볼루션의 조합을 사용하여 초분광 토큰과 물체 표현을 효과적으로 모델링하며, 전역 스펙트럼 - 공간 상호작용과 국소 구조적 세부 사항 사이의 균형을 맞춥니다.
4. 대상 지향 손실: 가중치 분해 손실의 도입은 물체 분해를 추적 목표와 명시적으로 정렬시켜 구별 가능한 표현을 장려합니다.
5. 일반화 능력: 이 프레임워크는 모델에 구애받지 않으며 다양한 분해 백본 (DAEU, CNNAEU) 에서 효과성을 입증합니다.

4. 실험 결과

HOTC2020, HOTC2023, HOTC2024 의 세 가지 표준 벤치마크에서 광범위한 실험이 수행되었습니다.

• 성능: E2E-MPT 는 모든 벤치마크에서 최첨단 (SOTA) 성능을 달성하여, 가색 입력을 사용하는 RGB 기반 추적기와 기존 초분광 추적기 모두를 능가합니다.
  • HOTC2020에서 거리 정밀도 (DP) 는 0.966, 곡선 아래 면적 (AUC) 은 0.734를 기록하여 이전 최상위 모델 (SSTtrack) 보다 각각 1.1%/2.1% 향상되었습니다.
  • HOTC2023에서 VIS, NIR, RedNIR 의 모든 스펙트럼 도메인에서 선두를 차지하며, 분리된 파이프라인에 의존하는 가장 가까운 물체 인지 경쟁자 (MMF) 보다 상당한 개선을 보였습니다 (예: NIR 에서 +6.3%/9.3%).
  • HOTC2024에서 NIR 도메인에서 DP 0.939와 AUC 0.758로 SOTA 상태를 유지합니다.
• 속성 분석: 이 방법은 조명 변화, 저해상도, 배경 혼란과 같은 까다로운 조건에서 특히 강인성을 보이며, 외관 변화에도 불구하고 물체 수준의 스펙트럼 단서가 안정적으로 유지됩니다.
• 효율성: 분해로 인한 추가 복잡성에도 불구하고, E2E-MPT 는 기초 모델 대비 매개변수가 약 1.78M 만 증가하는 moderate 한 수준으로 HOTC2020 에서 약 26 FPS 의 경쟁력 있는 추론 속도를 유지합니다.
• 절대 실험 (Ablation Studies):
  • 종단간 최적화를 제거하고 외부 분해를 사용할 경우 성능이 현저히 저하됩니다.
  • 1D Haar 웨이블릿 분해는 무작위 분할 및 FFT 보다 우수한 성능을 보입니다.
  • 비대칭 연산자 설계 (저주파용 교차 어텐션, 고주파용 컨볼루션) 는 대칭 설계보다 우월함이 검증되었습니다.

5. 중요성 및 주장

이 논문은 E2E-MPT 의 주요 중요성이 분리된 전처리에서 공동 최적화로의 패러다임 전환에 있다고 주장합니다. 분해를 대상 위치 결정을 위해 직접 최적화된 구성 요소로 취급함으로써, 이 프레임워크는 본질적으로 더 구별 가능하고 강인한 물체 표현을 생성합니다.

저자들은 다음을 강조합니다:

• 분해 과정이 추적 목표 (대상 지향 손실을 통해) 에 의해 안내될 때 물체 단서가 가장 효과적입니다.
• 주파수 도메인 분해는 모델이 배경 간섭으로부터 안정적인 대상 지지를 분리할 수 있게 하여, 저해상도 초분광 추적에서 흔히 발생하는 "혼합 픽셀" 문제를 해결합니다.
• 이 프레임워크는 고유한 물체 특성이 적절히 활용된다면, RGB 입력이 가색 이미지로 변환되더라도 초분광 추적이 RGB 기반 방법을 능가할 수 있음을 보여줍니다.

인정된 한계:
저자들은 겸손하게도 이 프레임워크가 분해 모델의 품질에 의존하며 (예상치 못한 물질에서 실패할 가능성), 현재 명시적인 시간적 모델링이 부족하여 단일 프레임 물체 단서가 불충분한 장기 가림 및 극단적인 조명 변화에 취약하다고 지적합니다. 향후 작업에서는 시간적 단서를 통합할 것을 제안합니다.