기술 요약: GenTrack3 – 하이브리드 확률론적-결정론적 온라인 다중 객체 추적

문제 정의

다중 객체 추적(MOT)은 폐쇄(occlusion), 비선형 운동 패턴, 높은 객체 간 유사성 속에서 일관된 타겟 식별성을 유지하는 데 상당한 어려움을 겪고 있다. 기존의 접근 방식은 일반적으로 두 가지 범주로 나뉘며, 각각 뚜렷한 한계를 가진다:

• 결정론적 방법 (Tracking-by-Detection): SORT, DeepSORT, ByteTrack과 같은 방식은 계산 효율적이고 재현 가능하지만, 선형 운동 모델(예: 칼만 필터)과 가우시안 노이즈 가정에 크게 의존한다. 이들은 노이즈가 섞인 탐지(detection)에 민감하며 복잡한 비선형 역학을 처리하는 데 어려움을 겪는다.
• 확률론적 방법: 입자 필터(Particle filters)는 불확실성을 명시적으로 모델링하고 비선형 역학을 잘 처리한다. 그러나 MOT에 적용할 경우 객체 수에 따라 증가하는 고차원 상태 공간으로 인해 계산 비용이 매우 높다. 또한, 순수 확률론적 프레임워크 내에서 시변 타겟 수(트랙의 생성/소멸)를 관리하는 것은 여전히 어려우며, 이는 종종 확장성 문제나 중복 트랙 발생으로 이어진다.

본 논문은 현재의 온라인 MOT 방법론에서 발생하는 공백, 즉 타겟 수가 변하는 시나리오에서 스케일링 문제를 유지하면서 동시에 비선형 역학, 비가우시안 노이즈, 그리고 객체 식별성 보존을 동시에 처리하지 못하는 능력을 지적한다.

방법론

GenTrack3는 결정론적 및 확률론적 원칙을 통합하는 온라인 MOT 프레임워크를 제안한다. 핵심 철학은 상태 추정을 위해 확률론적 샘플링을 사용하되, 출력의 일관성을 보장하기 위해 트랙 관리(개시 및 제거)에는 결정론적 데이터 연관(data association)에 의존하는 것이다.

1. 하이브리드 추적 파이프라인

시스템은 각 타겟 $i$를 시간 $t$에서의 식별자, 상태(bounding box), 속도, 페널티, age를 포함하는 트랙렛(tracklet)으로 표현한다. 파이프라인은 세 가지 주요 단계로 구성된다:

• 입자 샘플링 및 최적화 (Particle Sampling and Optimization):

  • 전체 사후 분포 샘플링 대신, 각 타겟은 무작위 운동 모델을 사용하는 마르코프 체인 몬테카를로(MCMC)를 통해 샘플링된 입자 집합으로 표현된다.
  • 이 입자들은 입자 군집 최적화(PSO)를 통해 정교화된다. PSO 적합도 함수는 다음을 결합한다:
    • 이력 적합도 (History Fitness): 입자를 이전의 최적 상태와 비교.
    • 탐색 적합도 (Exploration Fitness): 입자를 이전의 PSO 업데이트와 비교.
    • 사회적 적합도 (Social Fitness): 폐쇄 상황 등에서 식별자 전환(ID switch)을 줄이기 위해 인접한 상태(이웃)로부터 입자가 멀어지도록 유도.
  • 상태 업데이트는 폐쇄 시 스케일 드리프트(scale drift)를 방지하기 위해 위치와 크기 업데이트를 분리한다.

• 트랙-탐지 연관 (The Novel Contribution):

  • 글로벌 비용 행렬($O(T \times D)$)의 계산 병목 현상을 해결하기 위해, GenTrack3는 클러스터 인식 연관(Cluster-Aware Association) 전략을 도입한다.
  • 1단계: 클러스터링: 이전 타겟 상태를 기반으로 2-D 점유 격자 지도(occupancy grid map)를 구축한다. 연결 성분 레이블링(connected-component labeling)을 통해 점유된 셀들을 클러스터로 그룹화한다. 트랙은 고유한 클러스터에 할당되며, 탐지는 확장된 영역을 기반으로 (잠재적으로 여러 개의) 클러스터에 매핑된다.
  • 2단계: 국소 매칭: 글로벌 매칭 문제를 각 클러스터 내의 독립적인 소문제들로 분할한다. 유효 쌍 마스크(valid-pair mask)를 사용하여 공간적으로 떨어진 트랙-탐지 쌍에 대한 중복 비용 계산을 제거한다.
  • 3단계: 공유 탐지 처리: 단일 탐지가 여러 클러스터에 걸쳐 있을 수 있으므로, 최적의 매치(최저 비용)를 제공하는 클러스터로 공유 탐지를 재할당하는 후처리 단계를 거쳐 전역적으로 일대일 대응을 보장한다.
  • 4단계: 최종 연관: 각 클러스터 내에서 로컬 헝가리안 알고리즘(Hungarian algorithm) 할당을 수행한다.

• 트랙렛 업데이트:

  • 강한 트랙 (Strong Tracks): 매칭된 탐지는 상태를 직접 업데이트하며, 페널티와 age를 초기화한다.
  • 약한 트랙 (Weak Tracks): 매칭되지 않은 트랙은 PSO 글로벌 베스트와 신뢰할 수 있는 이웃(강한 트랙)을 사용하여 업데이트된다. 노이즈를 억제하기 위해 속도 유사성을 기반으로 하는 수정된 이웃 기반 정교화 메커니즘이 상태를 업데이트한다.
  • 새로운 트랙 (New Tracks): 매칭되지 않은 탐지는 새로운 트랙을 초기화한다.
  • 만료 (Expiration): 최대 age 임계값을 초과하는 트랙은 제거된다.

2. 복잡도 분석

제안된 클러스터링 접근 방식은 공간 및 시간 복잡도를 줄인다. 글로벌 비용 행렬은 $O(T \cdot D)$를 요구하는 반면, 클러스터링 접근 방식은 이를 $\sum O(T_l \cdot D_l)$로 분할한다 (여기서 $T_l$과 $D_l$은 클러스터 $l$ 내의 개수). 이는 특히 희소한 장면에서 계산 오버헤드를 크게 낮추지만, 공유 탐지 처리에 따른 복잡성을 도입한다.

주요 기여

1. 하이브리드 프레임워크: 비선형 역학 하에서 강건한 상태 추정을 위해 확률론적 입자 집합을 활용하는 동시에, 일관된 식별 관리를 위해 결정론적 연관을 사용하는 통합 온라인 MOT 프레임워크를 제공한다.
2. 클러스터 인식 연관: 점유 격자 지도를 사용하여 글로벌 비용 행렬을 국소 클러스터로 분할하는 새로운 트랙-탐지 매칭 전략을 제시한다. 이는 계산 복잡도를 줄이며, 공유 탐지 처리를 통해 근사 최적해(near-optimal solution)를 얻음으로써 그룹 추적을 지원한다.
3. 정교화된 약한 트랙 처리: 신뢰할 수 있는 이웃을 활용하여 약한 트랙의 상태를 업데이트하는 개선된 이웃 기반 정교화 메커니즘을 통해, 이전 버전(GenTrack/GenTrack2) 대비 혼잡한 환경에서의 모호성을 완화한다.
4. 확장성: 거대한 글로벌 비용 행렬을 구축하는 것을 피함으로써 이전 GenTrack 버전들의 확장성 제한 문제를 해결한다.

실험 결과

본 프레임워크는 MOT17(희소) 및 MOT20(혼잡) 데이터셋에서 최신 트래커들(SORT, DeepSORT, ByteTrack, BoT-SORT, OC-SORT, SMILEtrack, ConfTrack, BoostTrack, GenTrack Super, GenTrack2 Super)을 대상으로 평가되었다.

• MOT17-04 (희소): GenTrack2 Super가 가장 높은 IDF1 및 HOTA 점수를 달성했다. GenTrack2 Super+ (새로운 매칭 방법 사용)는 가장 높은 MOTA 및 ATA를 달성했다. GenTrack3 Super는 경쟁력 있는 성능(MOTA: 84.86, IDF1: 93.16)을 보여주었다.
• MOT20-05 (혼잡): 밀집된 시나리오에서 GenTrack3 Super는 가장 높은 MOTA(78.72)를 달성하여 GenTrack2 Super(77.45)와 ConfTrack(78.39)을 앞질렀다. 그러나 GenTrack2 Super가 GenTrack3 Super(IDF1: 88.23)보다 우수한 식별 일관성(IDF1: 91.88)을 유지했다.
• 트레이드오프: 저자들은 GenTrack2의 약한 트랙 정교화가 희소한 장면에서는 뛰어나지만, 혼잡한 환경에서는 상태 변화를 유발할 수 있다고 언급했다. GenTrack3의 새로운 매칭 전략은 계산 복잡도를 효과적으로 줄이지만, 매우 혼잡한 장면에서 이전 버전과 비교했을 때 식별 일관성 측면에서 약간의 트레이드오프를 보인다.
• 에지 케이스: 본 논문은 타겟 밀도가 극도로 높은 시나리오(예: 한 프레임에 188개의 타겟)에서 점유 기반 클러스터링이 하나의 큰 클러스터를 형성하여 계산적 이점이 사라질 수 있음을 인정한다. 이러한 경우, 단순 공간 이미지 분할을 대안으로 제시하지만, 이는 공유 탐지 복잡도를 증가시킨다.

의의 및 주장

본 논문은 GenTrack3가 불확실성 하에서 온라인 MOT를 위한 강건하고 확장 가능한 솔루션을 제공한다고 주장한다. 비선형 역학 처리를 위한 확률론적 원칙과 결정론적 클러스터 인식 연관을 통합함으로써, 프레임워크는 추적 정확도와 계산 효율성 사이의 균형을 달성한다.

저자들은 이 방법이 그룹 추적이 필수적인 희소 환경(예: 로봇 내비게이션, 인간-로봇 상호작용)에 적합하다고 위치시킨다. 혼잡한 장면에서도 경쟁력 있는 성능을 보여주지만, 저자들은 글로벌 마스킹 비용 행렬(이전 버전에서 사용됨)이 밀집된 시나리오에서 성능 면에서 더 나은 균형을 제공할 수 있다는 점을 언급하며, 제안된 트랙-탐지 매칭 방법이 확장성을 위한 중요한 진전이지만 다양한 밀도 영역에 대한 추가 분석이 필요함을 시사한다. 이 연구는 실용적인 MOT 시스템의 발전을 목표로 하는 VelKoTek 프로젝트의 일환으로 제시된다.