기술 요약: 강건한 다중 객체 추적을 위한 불확실성 유도 삼중 메모리 융합 (Uncertainty-Guided Triple-Memory Fusion for Robust Multi-Object Tracking)

문제 정의

복잡한 동적 장면에서의 다중 객체 추적(MOT)은 비선형 운동, 빈번한 폐쇄(occlusion), 외형 변화 등으로 인해 상당한 어려움에 직면해 있습니다. "탐지 기반 추적(Tracking-by-Detection)" 패러다임이 지배적이지만, 기존 방식들은 다음과 같은 몇 가지 한계를 가집니다:

1. 부적절한 운동 모델링: 전통적인 칼만 필터(Kalman filter)는 균일한 선형 운동을 가정하므로, 스포츠나 무용과 같은 시나리오에서 발견되는 복잡하고 비선형적인 역학을 포착하는 데 실패합니다. 학습 기반 모델(RNN, Transformer, SSM)이 유연성을 개선하긴 하지만, 종종 운동 단서(motion cues)를 고립된 상태로 모델링하는 경향이 있습니다.
2. 적응형 융합의 부재: 대부분의 방법론은 단서(운동, 외형, 범주)에 대해 고정되거나 단순한 선형 가중치 융합에 의존합니다. 이들은 장면 조건(예: 폐쇄, 블러 현상)에 따라 이러한 단서들의 신뢰도를 동적으로 평가하는 메커즘이 부족합니다.
3. 불확실성 미정량화: 학습 기반 추적기들은 예측 불확실성을 명시적으로 정량화하지 못하는 경우가 많습니다. 이러한 기능이 없으면 시스템이 신뢰할 수 없는 관측 상황에서 저품질의 단서에 대한 가중치를 적절히 낮출 수 없으며, 이는 ID 전환(identity switches)과 궤적 단절로 이어집니다.

방법론: Tri-Mem UAT

본 논문은 YOLO 검출기를 기반으로 구축된 온라인 프레임워크인 Tri-Mem UAT(Triple-Memory Uncertainty-Aware Tracker)를 제안합니다. 핵심 혁신은 **불확실성 인지 동적 융합 메커즘(Uncertainty-Aware Dynamic Fusion Mechanism)**에 의해 제어되는 운동(Motion), 외형(Appearance), 범주(Category) 메모리를 통합하는 협업 다중 메모리 시스템입니다.

1. 삼중 메모리 협업 모델링

프레임워크는 각 궤적에 대해 세 가지 별도의 메모리 표현을 유지합니다:

• 운동 메모리 (Probabilistic Mamba):

  • 결정론적 예측기 대신 Probabilistic Mamba(선택적 상태 공간 모델, Selective State Space Model)를 사용합니다.
  • 운동 진화를 시퀀스로 모델링하며, 단일 점 추정치가 아닌 미래 바운딩 박스에 대한 확률 분포를 출력합니다.
  • 불확실성 분해: 불확실성을 알레아토리 불확실성(Aleatoric uncertainty, 데이터 의존적 노이즈, 로그 분산을 통해 추정)과 에피스테믹 불확실성(Epistemic uncertainty, 모델의 무지, Monte Carlo Dropout을 통해 추정)으로 명시적으로 분리합니다.
  • 이를 통해 시스템이 데이터 연관(data association)을 가이드할 수 있도록 보정된 불확실성 추정치를 생성할 수 있게 합니다.

• 외형 메모리:

  • ROI Align을 사용하여 검출기의 중간 특징 맵(특히 FPN 백본의 P5 레벨)에서 특징을 추출합니다.
  • 각 궤적에 대해 **모멘텀 업데이트 프로토타입(momentum-updated prototype)**을 유지합니다. 이는 시간적 변동을 완화하고 노이즈나 누락된 검출이 장기적인 외형 표현을 오염시키는 것을 방지합니다.
  • 유사도는 현재 검출 특징과 모멘텀 업데이트된 프로토타입 사이의 코사인 유사도를 사용하여 계산됩니다.

• 범주 메모리:

  • 특정 객체 범주에 특화된 장기적인 의미적 안정성과 기하학적 사전 정보(크기/scale)를 포착합니다.
  • 범주 신뢰도 벡터(클래스에 대한 확률 분포)와 전형적 크기 표현(너비/높이)을 유지합니다.
  • 두 요소 모두 모멘텀을 통해 업데이트되지만, 크기 업데이트는 검출된 객체의 주요 범주가 궤적의 주요 범주와 일치할 때만 발생합니다.
  • 이는 운동 및 외형 단서가 충돌할 때 모호성을 해결하기 위한 저주파수 제약 조건을 제공합니다.

2. 불확실성 인지 동적 융합

시스템은 고정된 가중치 대신, 추정된 불확실성에 따라 각 메모리의 기여도를 동적으로 조정합니다:

• 불확실성 지표:
  • 운동: 예측 공분산 행렬의 트레이스(trace)로부터 도출됩니다.
  • 외형: 시간적 노후화(temporal staleness, 성공적인 연관이 없었던 프레임 수)의 함수로 모델링됩니다.
  • 범주: 범주 확률 분포의 정보 엔트로피를 사용하여 정량화됩니다.
• 융합 메커니즘:
  • 가중치는 불확실성의 지수 감소 함수로 계산됩니다. 불확실성이 높을수록 가중치는 낮아집니다.
  • 최종 연관 비용은 운동, 외형, 범주 유사도의 가중 합계입니다.
  • 적응형 동작: 운동이 신뢰할 수 있을 때(낮은 불확실성), 시스템은 운동 연속성에 의존합니다. 운동이 불안정할 때(예: 폐쇄, 급격한 크기 변화), 시스템은 자동으로 외형 및 범주 단서에 대한 의존도를 높입니다.

3. 추론 파이프라인

추적기는 프레임 단위로 온라인 방식으로 작동합니다:

1. 예측(Prediction): Probabilistic Mamba가 모든 활성 궤적에 대해 다음 상태와 불확실성을 예측합니다.
2. 연관(Association): 세 가지 메모리의 불확실성 가중 융합을 사용하여 비용 행렬을 구성합니다. 헝가리안 알고리즘(Hungarian algorithm)이 전역 최적 할당을 해결합니다.
3. 업데이트(Update): 매칭된 궤적은 세 가지 메모리를 모두 업데이트합니다. 매칭되지 않은 고신뢰도 검출은 새로운 궤적을 초기화합니다. 매칭되지 않은 궤적은 종료 임계값에 도달할 때까지 운동 메모리를 통해 전파됩니다.

주요 기여

1. 삼중 메모리 아키텍처: 시간적, 시각적, 의미적 차원에서 타겟 상태를 상호 보완적으로 모델링하는 운동, 외형, 범주 메모리를 통합한 새로운 프레임워크를 제시합니다.
2. 운동을 위한 Probabilistic Mamba: MOT를 위해 확률적 출력을 모델링하는 선택적 SSM(Mamba)을 최초로 적용하여, 알레아토리 및 에피스테믹 불확실성을 명시적으로 분해할 수 있게 했습니다.
3. 불확실성 유도 융합: 실시간 불확실성 추정, 궤적 생애 주기 및 시간 감쇠를 기반으로 단서 가중치를 적응적으로 조절하는 동적 메커니즘을 통해 수동 가중치 튜닝의 필요성을 제거했습니다.
4. 통합 온라인 프레임워크: 이러한 구성 요소들을 오프라인 후처리나 다단계 재식별(re-identification) 전략 없이 단일 온라인 추적기로 통합했습니다.

실험 결과

본 방법론은 세 가지 도전적인 벤치마크인 VisDrone, DanceTrack, SportsMOT에서 평가되었습니다.

• DanceTrack: **HOTA 58.2%**를 달성하여, 최상의 칼만 기반 방법(SparseTrack, 55.7%)과 기타 학습 기반 운동 모델(MambaTrack 56.8%, ByteSSM 57.7%)을 능가했습니다. IDF1(58.0%)과 AssA(41.4%)에서도 안정적인 향상을 보였습니다.
• SportsMOT: **HOTA 74.8%**를 달성하여, 강력한 칼만 베이스라인인 OC-SORT(73.7%)와 SSM 기반인 ByteSSM(74.4%)을 넘어섰습니다. 빠르고 비선형적인 운동을 처리하는 데 탁적한 성능을 입증했습니다.
• VisDrone: 동일한 실험 설정 하에서 MambaTrack(45.7%)과 ByteSSM(47.5%)보다 우수한 **HOTA 48.5%**를 기록했습니다.

**절제 연구(Ablation Studies)**를 통해 다음을 확인했습니다:

• 범주 메모리를 제거하면 AssA와 IDF1이 2% 포인트 이상 감소했습니다.
• 외형 메모리를 제거하면 HOTA(54.9%로 하락)와 IDF1이 크게 떨어졌습니다.
• 동적 융합 메커니즘(고정 가중치)을 제거하면 심각한 성능 저하(HOTA 51.0%로 하락)가 발생했습니다.
• 운동 전용 베이스라인은 낮은 성능(HOTA 46.2%)을 보여, 다중 단서 융합의 필요성을 강조했습니다.

의의 및 주장

본 논문은 Tri-Mem UAT가 전통적인 방법들이 실패하는 밀집되고 역동적인 시나리오에서 ID 보존과 추적 안정성을 크게 향상시킨다고 주장합니다. 불확실성을 명시적으로 모델링함으로써, 이 프레임워크는 폐쇄나 모호한 관측 상황에서 오류 축적을 억제할 수 있는 "자신이 모른다는 것을 아는(know when it doesn't know)" 능력을 갖추게 합니다.

저자들은 이 연구가 더 강건한 자율 인지 및 감시 시스템을 향한 단계라고 위치시킵니다. 또한 현재의 운동 메모리가 궤적을 독립적으로 모델링한다는 점(객체 간 상호작용 무시)과 범주 메모리가 주로 크기 일관성에 의존한다는 점 등 한계점을 인정했습니다. 향후 연구로는 타겟 간 상호작용 포함, 모든 메모리 유형에 대한 확률적 공식의 통합, 그리고 UAV 및 저고도 보안 애플리케이션을 위한 엣지 배포 최적화 등을 제안하였습니다.