기술 요약: 다중 객체 추적을 위한 선택적 마스크 전파 (Selective Mask Propagation)

1. 문제 정의

다중 객체 추적(MOT)은 비디오 프레임 전반에 걸쳐 일관된 ID를 유지하는 데 의존한다. 현대적인 탐지 기반 추적(tracking-by-detection) 방식은 일반적으로 공간, 모션 또는 외형 단서를 사용하여 비용 행렬(cost matrix)을 구성하고 헝가리안 알고리즘(Hungarian algorithm)을 통해 할당 문제를 해결한다. 이러한 방식은 하나의 할당이 명확하게 우월할 때는 효과적이지만, 대안들이 "비등한(near-tied)" 상태일 때는 실패한다. 이는 추적기에 사용되는 특징 공간에서 객체들이 서로 가까이 있을 때 흔히 발생하는 현상이다. 이러한 경우, 추적기는 미미한 비용 차이에 근거하여 ID를 결정하게 되며, 이는 시간이 흐름에 따라 ID 스위치(identity switch)로 이어지는 결과를 초래한다.

기존 솔루션들은 다음과 같은 한계를 지닌다:

• 엔드 투 엔드(End-to-end) 추적기: 방대한 학습 데이터가 필요하며 도메인 전이 능력이 부족하다.
• SORT 계열 확장 모델: 비용 행렬을 개선하지만, 모든 단서가 동시에 모호해지는 경우에는 문제를 해결할 수 없다.
• 마스크 기반 추적기: 비디오 객체 분할(VOS)을 통합하지만, 기본 추적기가 정상적으로 작동하는 프레임에서도 마스크를 매 프레임 전파하므로 높은 계산 비용이 발생한다.
• VOS 모델 (예: SAM 계열, Cutie): 폐쇄(occlusion) 상황에서 ID를 보존하는 데 탁월하지만, 모든 프레임에 균일하게 적용될 경우 계산 비용이 매우 높고 드리프트(drift)나 붕괴(collapse)가 발생하기 쉽다.

핵심 과제는 경량화된 기본 추적기가 이미 충분히 잘 작동하고 있는 프레임에서는 전체 계산 비용을 들이지 않으면서, VOS 모델의 ID 보존 능력을 어떻게 활용할 것인가 하는 점이다.

2. 방법론

본 논문은 기본 추적기와 VOS 모델을 모두 블랙박스로 취급하는 학습 불필요(training-free) 알고리즘인 **선택적 마스크 전파(Selective Mask Propagation)**를 제안한다. 이 시스템은 대부분의 프레임은 경량 추적기에 "쉬운" 프레임인 반면, 극소수의 프레임은 "어렵고" ID 스위치가 발생하기 쉽다는 원리에 따라 작동한다.

2.1. 디스패치 메커니즘 (윈도우 생성)

시스템은 VOS 모델을 호출할 시점을 결정하기 위해 기본 추적기의 할당 신뢰도를 모니터링한다.

• 주요 신호 (할당 마진): 알고리즘은 매칭된 탐지에 대한 헝가리안 비용 행렬의 마진을 계산한다. 이는 최적의 할당 비용과 차순위 할당 비용의 차이($m_{j^*} = \min_{i \neq i^*} C_{i,j^*} - C_{i^*,j^*}$)로 정의된다.
  • 큰 마진은 확신 있는 할당을 나타낸다.
  • 작은 마진($\tau_{entry}$ 미만)은 모호함을 나타내며, 이를 통해 "윈도우(window)"를 연다.
• 추가 신호:
  • 갭 신호(Gap Signal): 트랙이 $G$ 프레임 동안 사라졌다가 다시 나타날 경우 발생하며, 이는 잘못된 객체에 재부착되었을 가능성을 나타낸다.
  • 증인 윈도우(Witness Windows): 주 윈도우가 열리면, 잠재적인 ID 스왑을 해결하기 위해 인접한 중첩 트랙들도 함께 시딩(seeding)된다.
• 시딩(Seeding): 각 윈도우에 대해, 시스템은 진입 프레임으로부터 역방향으로 이동하며 타겟 ID가 모호하지 않고(높은 마진) 공간적으로 격리된 "시드 프레임(seed frame)"을 찾는다. 여기서 VOS 모델이 초기화된다.

2.2. 마스크 전파 및 종료 조건

윈도우가 열리고 시딩되면, VOS 모델은 모호한 영역을 통해 마스크를 순방향으로 전파한다. 시스템은 비대칭 결정 규칙을 채택한다: VOS 모델이 기본 추적기의 ID와 상충하는 확신 있는 예측을 수행하는 경우에만 기본 추적기의 출력을 수정한다.

• 종료 조건: 다음 네 가지 조건이 $N_{exit}$ 프레임 동안 연속적으로 유지되면 윈도우가 닫힌다:
  1. 마스크가 단일 트랙 내에 포함됨 (높은 IoMA).
  2. 트랙의 할당 마진이 임계값($\tau_{exit}$) 위로 회복됨.
  3. 트랙이 공간적으로 격리됨.
  4. 마스크가 다른 활성 마스크들로부터 격리됨.
• 결과:
  • SWAP (교체): 마스크가 시드와 다른 트랙으로 안착하면, 시스템은 확신 있는 ID 교체를 수행한다.
  • CLEAN (정상): 마스크가 원래의 트랙으로 돌아오면, 아무런 변경을 하지 않는다.
  • Discarded (폐기 - STALE, DEGRADED, EDGE, END): 마스크가 수렴하지 못하거나, 저하되거나, 프레임을 벗어나는 경우, 기본 추적기의 출력을 변경 없이 그대로 유지한다. 이는 V-S 모델이 매우 높은 확신을 가질 때만 수정을 수행하도록 함으로써, 기본 추적기의 성능을 해치지 않도록 보장한다.

2.3. 글로벌 트랙 결합 (스포츠 특화)

스포츠 분석을 위해, 본 방법은 화면 밖 재식별을 처리하기 위해 **글로벌 트랙 결합(Global Track Association, GTA)**을 통해 확장된다. 이 모듈은 유니폼 번호(OCR 활용), 팀 분류, 외형 임베딩을 사용하여 프레임 경계 밖으로 나갔다가 돌아온 트랙렛들을 연결한다. 이는 선수가 경기장을 나갔다 들어오는 상호 보완적인 실패 모드를 해결하며, 선택적 마스크 전파는 화면 내 폐쇄 상황을 처리한다.

3. 주요 기여

1. 학습 불필요 알고리즘: 할당 불확실성에 따라 경량 기본 추적기에서 VOS 모델로 선택적으로 디스패치하며, VOS 모델이 확신 있게 상충하는 경우에만 기본 출력을 수정하는 방법이다.
2. 모듈형 설계: 본 접근 방식은 기본 추적기와 VOS 모델을 블랙박스로 취급하므로, 기본 추적기를 재학습시키지 않고도 더 강력한 모델(예: SAM 2에서 SAM 3로 업그레이드)로 VOS 컴포넌트를 교체할 수 있다.
3. 최첨단 성능:
   • DanceTrack: 동일한 디스패치 메커니즘을 사용하여 세 가지 서로 다른 기본 추적기(SORT, ByteTrack, Deep-EIoU)에서 유의미한 성능 향상을 달ian했다.
   • SportsMOT: SAM 3-Deep-EIoU와 글로벌 트랙 결합을 사용하여 87.2 HOTA라는 새로운 SOTA(State-of-the-Art)를 달성했다.

4. 결과

• 일반화: DanceTrack 검증 세트에서 선택적 마스크 전파는 SORT, ByteTrack, Deep-EIoU에 대해 HOTA 및 AssA 점수를 일관되게 개선했다. 이러한 개선은 통계적으로 유의미했으며, 특히 ID 스위치 교정에 직접 반영되는 AssA(연관 정확도)에서 가장 큰 폭의 상승이 관찰되었다.
• 모델 업그레이드: VOS 컴포넌트를 SAM 2에서 SAM 3로 업그레이드했을 때, 디스패치 로직을 재학습시키지 않고도 추가적인 성능 향상이 나타나 본 접근 방식의 모듈성을 입증했다.
• SportsMOT 벤치마크: 제안된 시스템(SAM 3-Deep-EIoU + GTA)은 SportsMOT 테스트 세트의 HOTA, AssA, IDF1, MOTA 전 지표에서 발표된 모든 방법론을 능가했다.
  • GTA 전용 베이스라인(81.0 HOTA) 대비 차이는 선택적 마스크 전파 컴포넌트에 기인한다.
  • 어블레이션 연구(Ablation studies)를 통해 선택적 마스크 전파와 GTA가 서로 다른 에러 모드(화면 내 폐쇄 vs 화면 밖 재식별)를 다룬다는 것을 확인했으며, 두 방식의 결합된 개선 효과는 각각의 기여도의 합과 거의 일치했다.
• 효율성 분석: 윈도우 결과 분석에 따르면, 열린 윈도우의 대다수(DanceTrack 74.5%, SportsMOT 94.7%)는 기본 추적기의 출력을 변경하지 않은 채 유지되었다. 이는 디스패치 신호가 "쉬운" 프레임을 효과적으로 필터링하고 있음을 확인시켜 주지만, 더 정밀한 신호를 사용한다면 계산 비용을 더욱 줄일 수 있을 것이다.

5. 의의 및 주장

본 논문은 선택적 마스크 전파가 추적 정확도와 계산 비용 사이의 트레이드오프에 대한 실질적인 해결책을 제공한다고 주장한다. 할당 마진을 통해 "본질적으로 어려운" 프레임을 식별함으로써, 본 방법은 일반적인 경우에는 경량 추적기가 처리하도록 하고, ID 보존이 결정적인 모호한 윈도우 상황에서만 값비싼 VOS 계산을 예약하여 사용할 수 있게 한다.

저자들은 이 방법이 학습이 필요 없고(training-free) **강건하다(robust)**는 점을 강조한다. VOS 모델이 확신을 가질 때만 기본 추적기의 출력을 수정하므로, 알고리즘의 실패 모드를 잘못된 ID 스위치(false-positive identity switch)로 제한하면서 그 외의 모든 시나리오에서는 기본 출력을 보존하기 때문이다. 이 접근 방식은 효율적인 탐지 기반 추적과 고정밀 비디오 객체 분할 사이의 간극을 성공적으로 메우며, 도전적인 스포츠 추적 벤치마크에서 최첨단 성능을 달성했다.