기술 요약: OneTrackerV2 – 이중 혼합 전문가 (Dual Mixture-of-Experts) 를 활용한 통합 멀티모달 시각 추적

1. 문제 제기

시각 객체 추적 (VOT) 은 일반적으로 입력 모달리티에 따라 RGB 추적과 RGB+X 추적 (Depth, Thermal, Event 또는 Language 데이터 포함) 으로 분류됩니다. 기존 접근법들은 확장성, 효율성 및 강건성 측면에서 상당한 한계를 겪고 있습니다:

• 분리된 추적기 (Separated Trackers): 각 모달리티 조합마다 작업별 아키텍처를 설계하고 훈련하여 높은 계산 비용과 일반화 부재를 초래합니다.
• 적응 기반 추적기 (Adaptation-Based Trackers): 사전 훈련된 RGB 추적기를 하위 멀티모달 작업에 맞게 미세 조정합니다. 이러한 다단계 훈련은 종종 최적 수렴을 저해하고 작업 의존적 가중치에 의존합니다.
• 초기 통합 추적기 (Preliminary Unified Trackers): 단일 모델에서 여러 모달리티를 처리하려 시도하지만, 종종 단순한 토큰 연결 (naive token concatenation) 에 의존합니다. 이는 공유 공간 내에서 이질적인 정보 (시공간 운동 대 모달리티별 패턴) 가 충돌하는 '특성 얽힘 (feature entanglement)'을 초래하여 최적화 간섭을 유발합니다.
• 결손 모달리티에 대한 취약성: 대부분의 통합 모델은 추론 시 특정 입력 모달리티 (예: Depth 또는 Thermal) 가 누락될 경우 실패하거나 성능이 크게 저하됩니다. 이는 고정된 입력 구성에 의존하기 때문입니다.

2. 방법론: OneTrackerV2

저자들은 단일 아키텍처, 공유 파라미터, 그리고 원스텝 엔드 - 투 - 엔드 훈련을 통해 다양한 멀티모달 추적 작업을 처리하도록 설계된 통합 프레임워크인 OneTrackerV2를 제안합니다. 핵심 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

2.1 메타 머거 (Meta Merger)

이질적인 입력을 특성 얽힘 없이 통합하는 과제를 해결하기 위해, 저자들은 메타 머거를 도입합니다.

• 기능: 학습 가능한 메타 임베딩($F_{meta}$) 을 사용하여 RGB 및 보조 모달리티 특성 (예: Depth, Thermal) 을 통합된 임베딩 공간으로 매핑합니다.
• 메커니즘: 직접 연결 대신, 메타 임베딩은 글로벌 중재자 역할을 합니다. 경량 합성곱 변환을 통해 강화된 RGB 및 보조 특성 ($F'_{rgb}$ 및 $F'_{x}$) 과 상호작용합니다.
• 효과: 이는 컴팩트하고 모달리티에 구애받지 않는 의미적 표현을 생성합니다. 특히, 융합이 고정된 입력 연결이 아닌 메타 임베딩을 중심으로 이루어지기 때문에, 특정 모달리티가 누락되더라도 모듈은 강건하게 유지됩니다.

2.2 이중 혼합 전문가 (Dual Mixture-of-Experts, DMoE)

메타 머거 이후, 통합된 특성은 이중 혼합 전문가 (DMoE) 모듈이 장착된 비전 트랜스포머 백본에서 처리됩니다. 단일 목표에 집중하는 표준 MoE 설계와 달리, DMoE 는 두 가지 명확한 학습 작업을 명시적으로 분리합니다:

1. T-MoE (Temporal-MoE): 복잡한 시공간 매칭 패턴과 운동 단서를 포착하는 데 전념합니다.
2. M-MoE (Multimodal-MoE): 멀티모달 지식을 융합하고 모달리티별 특성을 처리하는 데 전념합니다.
3. 공유 전문가 (Shared Expert): 일반적인 표현을 처리하는 공통 전문가 ($E_{shared}$) 입니다.

분리 메커니즘:
T-MoE 와 M-MoE 가 중복된 패턴으로 수렴하는 것을 방지하기 위해, 저자들은 두 가지 특정 손실 함수를 사용합니다:

• 전문가 분리 손실 (Expert Decoupling Loss, $L_{dis}$): T-MoE 출력 ($y_T$) 과 M-MoE 출력 ($y_M$) 간의 코사인 유사도를 패널티하여, 이를 직교하는 기능적 부분 공간으로 강제합니다.
• 라우터 클러스터 손실 (Router Cluster Loss, $L_{cluster}$): M-MoE 라우터가 동일한 모달리티의 샘플에 대해서는 일관된 전문가 선택을 생성하도록 강제하면서, 서로 다른 모달리티 간에는 구별되는 라우팅을 유지하도록 합니다. 이를 통해 M-MoE 가 일반적인 특성이 아닌 모달리티별 추상화를 학습하도록 보장합니다.

2.3 최적화 전략

• 확률적 모달리티 교란 (Stochastic Modality Perturbation): 훈련 중 무작위 모달리티 교체 (RGB 와 보조 입력 교환) 와 무작위 모달리티 마스킹을 적용합니다. 이는 메타 머거를 다양한 구성에 노출시켜 누락된 데이터에 대한 강건성을 향상시키고 특정 센서에 대한 과도한 의존을 방지합니다.
• 손실 함수: 전체 목적 함수는 분류, IoU, L1 과 같은 표준 추적 손실과 제안된 분리 및 클러스터링 손실을 결합합니다.

3. 주요 기여

1. 통합 프레임워크: 공유 파라미터를 통한 원스텝 훈련으로 RGB, RGB+D, RGB+T, RGB+E, RGB+N 등 다양한 멀티모달 추적 작업을 지원하는 단일 프레임워크 OneTrackerV2를 도입하여, 작업별 아키텍처나 다단계 미세 조정의 필요성을 제거했습니다.
2. 메타 머거 모듈: 이질적인 특성을 통합 공간으로 집계하여 효율적인 교차 모달 상호작용을 가능하게 하면서, 결손 모달리티 조건 하에서도 강건성을 유지하는 새로운 모듈입니다.
3. 이중 혼합 전문가 (DMoE): 시공간 관계 모델링과 멀티모달 특성 임베딩을 분리하여 이질적인 목표 간 충돌을 해결하는 구조적 솔루션입니다. 이는 표현 공간을 확장하고 계산 오버헤드를 거의 증가시키지 않으면서 성능을 향상시킵니다.
4. 종합 평가: 5 가지 추적 작업과 12 개의 벤치마크에서 최첨단 (SOTA) 성능을 입증했으며, 특히 결손 모달리티 시나리오에서의 강건성과 모델 압축 하의 높은 효율성을 보여주었습니다.

4. 실험 결과

본 논문은 12 개의 벤치마크에서 OneTrackerV2 를 최첨단 추적기들과 비교 평가했습니다:

• RGB 추적: OneTrackerV2 는 통합 멀티모달 데이터셋으로 훈련되었음에도 불구하고 LaSOT, TrackingNet, GOT-10k 와 같은 벤치마크에서 기존 RGB 전용 추적기 (예: ODTrack, ARTrackV2) 보다 우수한 성능을 발휘했습니다. 이는 통합 설계가 단일 모달리티 성능을 저해하지 않음을 입증합니다.
• RGB+X 추적: Depth, Thermal, Event, Language 추적 벤치마크 (예: DepthTrack, RGBT234, VisEvent, TNL2K) 에서 OneTrackerV2 는 작업별 아키텍처나 미세 조정에 의존하는 방법들 (예: SUTrack, ViPT, STTrack) 을 능가했습니다.
• 결손 모달리티에 대한 강건성: 보조 모달리티가 누락된 상황 (예: DepthTrack$_{miss}$) 에서 OneTrackerV2 는 기존 통합 방법들 (예: SUTrack, SeqTrackv2) 보다 크게 우수한 성능을 보였으며, 메타 머거와 확률적 훈련의 효과를 검증했습니다.
• 효율성 및 압축: 모델은 높은 추론 속도를 유지합니다 (B224 변형의 경우 최대 72.4 FPS). 6 레이어 변형으로 압축되었을 때에도 강력한 성능을 유지하며 (~2% 감소), 159 FPS 를 달성하여 속도 및 정확도 측면에서 SuTrack-T224 와 같은 압축 베이스라인을 능가했습니다.

5. 의의 및 주장

저자들은 OneTrackerV2 가 확장성, 강건성, 일반화를 효율성이나 정확성을 희생하지 않고 달성할 수 있음을 입증함으로써 멀티모달 추적의 패러다임 전환을 이루었다고 주장합니다.

• 통합 훈련: 공유 아키텍처를 통한 원스텝 훈련 과정이 종종 최적 수렴을 저해하는 다단계 미세 조정보다 우월하다고 논증합니다.
• 분리된 학습: 운동 모델링 (T-MoE) 과 모달리티 융합 (M-MoE) 을 명시적으로 분리함으로써, 단순한 통합 모델에 내재된 '특성 충돌'을 해결하고 모델이 서로 다른 보완적 특성을 학습하도록 합니다.
• 실용적 강건성: 센서 가용성이 변할 수 있는 실제 응용 분야 (예: 열화상 카메라 고장) 에서 특히 중요하게 부각되며, 아키텍처 변경이나 재훈련 없이도 성능을 유지합니다.

저자들은 OneTrackerV2 가 높은 정확도, 추론 효율성, 입력 변동에 대한 복원력을 균형 있게 갖춘 확장 가능한 솔루션을 제공함으로써 통합 멀티모달 추적의 새로운 기준을 설정했다고 결론지었습니다.