기술 요약: GenTrack – 차세대 다중 객체 추적(Multi-Object Tracking)

문제 정의

다중 객체 추적(MOT)은 불규칙한 움직임, 빈번한 폐쇄(occlusion), 그리고 대상 간의 시각적 유사성 조건 하에서 견고한 성능을 유지해야 하는 상당한 과제에 직면해 있습니다. 기존의 접근 방식은 크게 두 가지 범주로 나뉩니다. 첫째는 탐지 기반이 아닌(detection-free) 방법으로, 시퀀스 중에 나타나는 객체를 처리하는 데 어려움을 겪습니다. 둘째는 탐지 기반(detection-based) 방법으로, 객체 탐지기의 품질에 크게 의존하며 종종 가우시안 노이즈를 가진 선형 운동 모델을 가정합니다. 또한, 많은 입자 필터(particle filter) 기반 방법들은 고차원 상태 공간, 가중치 퇴화(weight degeneracy), 그리고 시간에 따라 변하는 대상 수를 관리하는 데 따르는 계산 비용 문제로 어려움을 겪습니다. 특히 탐지기가 약하거나 노이즈가 심할 때, 비선형 역학 및 비가우시안 노이즈를 처리하면서 실행 간 일관된 대상 ID를 보장하는 데 있어 결정적인 격차가 존재합니다.

방법론

본 논문은 이러한 한계를 해결하기 위해 확률적(stochastic) 접근 방식과 결정론적(deterministic) 접근 방식을 통합한 하이브리드 추적 프레임워크인 GenTrack을 제안합니다. 방법론은 다음과 같은 핵심 구성 요소로 구축되었습니다.

1. 하이브리드 추적 프레임워크

GenTrack은 확률적 방법(불확실성 및 비선형 역학 처리)의 강점과 결정론적 방법(일관된 대상 ID 보장)의 강점을 결합합니다.

• 확률적 구성 요소: 입자 필터 접근 방식을 사용하여 대상 상태를 모델링하며, 자연계의 엔티티(예: 인간, 동물)에서 흔히 발생하는 예측 불가능한 움직임을 처리하기 위해 무작위 운동 모델을 채택합니다.
• 결정론적 구성 요소: 트랙렛(tracklet)과 탐지 사이의 결정론적 데이터 연관(data association)을 통해 대상의 생성 및 소멸(트랙 개시 및 제거)을 관리합니다. 이는 전역적인 출력 일관성을 보장하고 순수 확률적 실행에서 자주 발생하는 ID 전환(ID switches)을 방ك합니다.

2. PSO 기반 입자 최적화

정밀한 운동 모델에 의존하지 않고 입자를 최적의 대상 분포 모드로 유도하기 위해, GenTrack은 **입자 군집 최적화(Particle Swarm Optimization, PSO)**를 사용합니다.

• 적합도 측정(Fitness Measures): 입자의 품질을 평가하기 위해 맞춤형 적합도 함수를 도입합니다:
  • 이력 적합도 ($f^h_{PSO}$): 현재 입자와 대상의 이전 최적 상태 사이의 정렬도.
  • 탐색적 적합도 ($f^p_{PSO}$): 이전 PSO 반복에서의 자신의 업데이트와 현재 입자 사이의 편차.
  • 사회적 적합도 ($f^{i,s}_{PSO}$): 입자와 인접한 대상 간의 상호작용. 이 구성 요소는 입자가 인접한 상태로부터 벗어나도록 도와 폐쇄 상황에서의 혼란을 줄입니다.
• 최적화: 입자들은 개인별 최적값(personal bests)과 전역 최적값(global bests)을 기반으로 반복적으로 업데이트되어, 약한 탐지기 환경에서도 입자 군집을 높은 가능성 영역으로 유도합니다.

3. 사회적 상호작용 및 상태 업데이트

프레임워크는 추적의 연속성을 개선하기 위해 대상 간의 상호작용을 명시적으로 모델링합니다.

• 이웃 탐색(Neighborhood Search): 적응형 최근 이웃 탐색을 통해 상호작용하는 대상을 식별합니다.
• 상태 업데이트:
  • 강한 트랙(Matched): 쌍을 이룬 탐지 데이터를 사용하여 직접 업데이트됩니다.
  • 약한 트랙(Unmatched): PSO, 속도 및 이웃과의 사회적 상호작용을 통한 전역 최적 추정치를 사용하여 업데이트됩니다. 이 메커니즘은 폐쇄 중 트랙을 복구하고 ID 전환을 줄이는 데 도움을 줍니다.

4. GenTrack 변체(Variants)

본 논문은 복잡도와 성능 측면에서 유연성을 제공하기 위해 세 가지 변체를 정의합니다.

• GenTrack Simple: PSO 정교화 없이 무작위 운동 모델을 사용하여 입자를 샘플링합니다.
• GenTrack Strengthen: 입자를 정교화하고 약한 트랙을 업데이트하기 위해 이력 및 탐색적 적합도 측면을 포함하는 PSO를 적용합니다.
• GenTrack Super: 가장 진보된 변체로, 사회적 적합도 측면을 PSO 과정에 통합하여 복잡한 상호작용 중 입자 행동과 상태 업데이트를 더욱 정교하게 수행합니다.

5. 시각적 MOT 베이스라인 및 구현

저자들은 공간 일관성, 외형(HoG 특징), 탐지 신뢰도, 트랙 페널티, 그리고 사회적 점수를 가능도(likelihood) 및 적합도 함수에 포함시켜 시각적 MOT 베이스라인을 재정의합니다.

• 데이터 연관: 운동 비용, 탐지 신뢰도 및 트랙 이력 페널티의 균형을 맞추는 비용 행렬을 사용하는 헝가리안 알고리즘(Hungarian algorithm)을 활용합니다.
• 구현: 세 가지 변체를 지원하고 사전 녹화된 데이터와 실시간 센서 스트림을 모두 지원하는 최소 의존성의 오픈 소스 참조 구현을 제공합니다.

주요 기여

본 논문은 다섯 가지 주요 기여를 설명합니다:

1. 하이브리드 프레임워크: 알려지지 않은 가변적 대상 수와 비선형 역학을 견고하게 처리하면서 ID 일관성을 유지하는 새로운 방식의 확률적 및 결정론적 방법 결합.
2. PSO 통합: 입자를 대상 모드로 유도하기 위해 제안된 적합도 측면을 갖춘 입자 군집 최적화를 사용하여, 약하고 노이즈가 심한 탐지기에서도 효과적인 추적을 가능하게 함.
3. 사회적 상호작용 통합: PSO 유도 입자를 향상시키고, 특히 폐쇄 중 ID 전환 및 트랙 손실을 줄이기 위해 강한 트랙과 약한 트랙 모두에 대한 업데이트를 개선하는 사회적 상호작용 포함.
4. MOT 베이스라인 재정의: 체계적인 대상 업데이트를 위해 공간 일관성, 외형, 탐지 신뢰도, 트랙 페널티 및 사회적 점수에 기반한 포괄적인 상태 및 관측 모델 구축.
5. 오픈 소스 참조: 세 가지 변체(Simple, Strengthen, Super)를 제공하고 유연한 재구현 옵션을 갖춘, 최소 의존성의 첫 번째 공개 소스 코드 구현 제공.

실험 결과

방법론은 최첨단 추적기(SORT, DeepSORT, ByteTrack, BoT-SORT, OC-SORT, SMILEtrack, ConfTrack)와 공정한 비교를 보장하기 위해 표준 탐지 모델을 사용하여 두 가지 별도의 시나리오에서 평가되었습니다.

• 인간 추적 (MOT17-04): 약하고 노이즈가 심한 탐지기를 사용한 1050프레임 시퀀스에서 평가되었습니다.
  • GenTrack Super는 ATA 62.946, IDF1 93.593, HOTA 68.601, MOTA 85.111의 최고 성능을 달 기록했습니다.
  • 단 4회의 ID 전환만을 기록하여, ConfTrack(58회) 및 DeepSORT(11회)를 포함한 모든 비교 대상 추적기를 능가했습니다.
• 소(Cow) 추적 (MooTrack360): 예측 불가능한 동물의 움직임과 어안 왜곡이 포함된 1시간(53,920프레임) 분량의 비디오 시퀀스에서 평가되었습니다.
  • GenTrack Simple, Strengthen, Super 모두 MOTA > 99.98, IDF1 > 99.99, ID 전환 0회의 완벽에 가까운 점수를 달성했습니다.
  • 반면, 다른 추적기들은 어려움을 겪었습니다(가장 우수한 비-GenTrack 모델인 ConfTrack은 1회의 ID 전환과 더 낮은 ATA/IDF1 점수를 기록함).
• 지연 시간(Latency): GenTrack은 실시간 처리 능력을 입증했습니다. 소 추적 시나리오에서 CPU 기준 지연 시간은 3.67ms(Simple), 6.35ms(Strengthen), 6.74ms(Super)였습니다. 더 복적으로 인간 추적 시나리오에서는 각각 56ms, 64ms, 92ms였습니다. 주목할 점은, 시스템이 매우 적은 수의 입자(6~8개)만으로도 견고한 성능을 유지한다는 것입니다.

의의 및 주장

본 논문은 GenTrack이 확률적 유연성과 결정론적 일관성 사이의 절충안을 성공적으로 해결함으로써 MOT의 "새로운 세대"를 대표한다고 주장합니다. 그 의의는 다음과 같습니다:

• 약한 탐지기에 대한 견고성: 많은 탐지 기반 방법들이 노이즈가 있는 입력에서 성능이 저하되는 것과 달리, GenTrack은 PSO를 사용하여 입자를 유도함으로써 최적화되지 않은 탐지 환경에서도 성능을 유지합니다.
• 확장성 및 효율성: 최소한의 입자 수로 우수한 결과를 달성하여 계산 효율성이 높고 실시간 애플리케이션에 적합합니다.
• 가변적 대상 수 처리: 하이브리드 접근 방식은 이전의 가변 대상 입자 필터에서 나타나는 높은 계산 비용이나 트랙 중복 문제 없이 대상의 진입과 퇴장을 효과적으로 관리합니다.
• 재현성: 여러 변체를 갖춘 최소 의존성의 오픈 소스 구현을 제공함으로써, 저자들은 MOT 커뮤니티의 체계적인 비교와 추가 발전을 촉진합니다.

저자들은 현재 구현체가 무작위 운동 모델을 사용하고 있지만, 프레임워크는 적응형 설계가 되어 있다고 결론짓습니다. 향-후 특정 외형 모델, 노이즈 적응형 샘플링 전략, 그리고 개선된 운동 모델링(예: 경로 기반 클러스터링)의 통합을 통해 성능 향상이 기대됩니다. 이 프레임워크는 보행자 추적부터 축산물 모니터링에 이르기까지 다양한 응용 분야를 위한 유연한 토대로 제시됩니다.