GenTrack2: An Improved Hybrid Approach for Multi-Object Tracking

기술 요약: GenTrack2 – 개선된 하이브리드 방식의 다중 객체 추적(Multi-Object Tracking)

문제 정의

시각적 다중 객체 추적(MOT)은 로봇의 객체 조작 및 자율 주행과 같은 로봇 작업에서 여전히 중요한 과제로 남아 있다. 현재의 시스템들은 세 가지 주요 요인으로 인해 어려움을 겪는다: 객체 간의 높은 유사성으로 인한 식별자 혼동, 부분적 또는 완전한 폐쇄(occlusion)로 인한 일시적인 타겟 상실, 그리고 프레임 간 연관을 복잡하게 만드는 불규칙하거나 예측 불가능한 움직임이다.

기존의 접근 방식들은 다음과 같은 구체적인 한계에 직면해 있다:

• 탐지 기반 추적(Tracking-by-Detection): SORT, DeepSORT, ByteTrack 등이 대표적이며, 이러한 방법들은 종종 선형 운동과 가우시안 노이즈를 가정하는 칼만 필터(Kalman filter)에 의존한다. 이는 실제 세계의 비선형 역학 및 비가우시안 노이즈를 포착하는 데 실패한다.
• 입자 필터 기반 방식(Particle Filter-Based Methods): 비선형성은 잘 처리하지만, 객체 수가 증가함에 따라 고차원 상태 공간에서 어려움을 겪는다. 독립적인 필터들은 객체 간 상호작용 중에 실패하며, 다중 객체 필터는 종종 고정된 타겟 수를 가정한다. 가변적인 타겟 수를 다루는 기존 방식들은 계산 효율성 저하, 중복 트랙 발생, 또는 빈번한 타겟 변화 시 신뢰도 감소 등의 문제를 겪는다.

방법론

본 논문은 미지의 수와 시변하는 타겟 수 하에서도 비선형 역학에 대해 식별자 일관성을 유지하기 위해 확률적(stochastic) 메커니즘과 결정론적(deterministic) 메커니즘을 통합한 하이브리드 시각 다중 객체 추적 프레임워크인 GenTrack2를 제안한다. 시스템은 타겟 식별자($K_t$)와 위치, 크기, 속도, 트랙 페널티, 연령을 포함하는 상태($X_t$)로 정의된 상태 위에서 작동한다.

프레임워크는 세 가지 주요 단계로 구성된다:

1. PSO 가이드를 통한 확률적 입자 샘플링

전체 사후 분포 샘플링 대신, 이 방법은 상태 분포의 모드(mode)로 수렴하기 위해 타겟당 최적의 입자를 생성한다.

• 운동 모델(Motion Model): 예측 불가능한 자연스러운 움직임을 처리하기 위해 무작위 운동 모델을 사용하여, 이전의 최적 상태 또는 이전 최적 상태에 섭동(perturbation)을 더해 입자를 생성한다.
• 입자 군집 최적화(Particle Swarm Optimization, PSO): 입자를 유도하고 발산을 완화하기 위해, PSO 알고리즘은 세 가지 구성 요소로 이루어진 새로운 적합도 함수($f_{PSO}$)를 사용하여 입자의 위치를 정교화한다:
  • 이력 적합도($f^h_{PSO}$): 현재 입자와 이전 최적 타겟 상태 사이의 유사성을 측정한다.
  • 탐색 적합도($f^p_{PSO}$): 현재 입자와 이전 PSO 업데이트 사이의 유사성을 측정한다.
  • 사회적 적합도($f^i_{PSO}$): 인접한 타겟 간의 상호작용을 고려한다. 근접 이웃 탐색을 사용하여 사회적 맥락을 정의하며, 이는 폐쇄 시 ID 스위치를 줄이기 위해 입자가 인근 상태로부터 멀어지도록 유도한다.
• 적합도 지표: 핵심 유사도 함수는 HoG(Histogram of Oriented Gradients) 외형 특징의 코사인 유사도와 운동 기반 거리 비용을 결합한다.

2. 결정론적 데이터 연관(Deterministic Data Association)

최적화된 입자 집합은 제안된 타겟 지향적 비용 행렬($C_{mat}$)을 사용하는 헝가리안 알고리즘(Hungarian algorithm)을 통해 현재의 탐지 결과와 매칭된다.

• 비용 구성 요소: 매칭 비용은 다음을 통합한다:
  • 운동 비용(Motion Cost): 입자 앙상블에서 도출된 IoU(Intersection over Union)와 거리 비용의 조합.
  • 탐지 신뢰도(Detection Confidence): 낮은 신뢰도의 탐지에 페널티를 부여한다.
  • 트랙 페널티(Track Penalties): 안정적인 트랙을 우선시하기 위해 역사적 트랙 페널티를 포함한다.
• 트랙 관리:
  • 강한 트랙(Strong Tracks): 성공적으로 매칭된 트랙은 직접 업데이트된다.
    // * 약한 트랙(Weak Tracks): 매칭된 탐지가 없는 트랙은 ID 스위치를 방지하기 위해 주의 깊게 처리된다. 이들은 상태 추정을 위해 PSO의 글로벌 베스트 값과 이웃 정보를 활용한다.
  • 새로운 트랙(New Tracks): 탐지 신뢰도가 임계값을 초과할 때 생성된다.
  • 만료된 트랙(Expired Tracks): 최대 연령 제한에 따라 제거된다.

3. 상태 업데이트 및 속도 회귀(Velocity Regression)

• 약한 트랙 처리: 탐지가 부족한 약한 트랙의 경우, 장기간의 폐쇄 동안 비현실적인 성장이나 축소를 방지하기 위해 위치와 크기를 분리하여 상태를 업데이트한다. 위치 업데이트는 이웃의 합의(신뢰할 수 있는 경우) 또는 반발력 메커니즘에 의존하여 이웃과의 충돌을 피한다.
• 속도 회귀: 다음 프레임을 위한 속도를 예측하는 문제(특히 약한 트랙의 경우)를 해결하기 위해, 시스템은 $H$개의 과거 상태 시퀀스에 대해 속도 회귀를 수행한다. 시스템은 과거 상태들의 기울기를 점진적으로 정렬된 리스트로 분석하여 "트렌드 시드 속도(trend-seed velocity)"를 계산한다. 이는 미래 프레임 없이도 견고한 속도 추정치를 제공하여 라이브 스트림에서도 작동할 수 있게 한다.

주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

1. 하이브리드 프레임워크: 비선형 역학 하에서 미지 및 시변하는 타겟 수를 처리할 수 있도록 확률적 입자 필터(비선형 역학용)와 결정론적 연관(식별자 일관성용)을 통합한 새로운 프레임워크를 제한다. 또한 사회적 상호작용과 PSO 최적화를 포함하는 일반화된 비용 행렬과 타겟 업데이트 체계를 도입한다.
2. 속도 회귀: 폐쇄 및 노이즈가 있는 탐지 환경에서도 효과적으로 작동하도록 설계된, 입자 샘플링 및 상태 업데이트를 개선하기 위한 역사적 상태 활용 메커니즘을 제안한다. 이는 녹화된 비디오와 라이브 스트림 모두에서 기능한다.
3. 오픈 소스 구현: 제안된 방법과 비교 대상 트래커 모두에 대한 소스 코드 참조 구현을 제공하여 재구현과 공정한 비교 평가를 용이하게 한다.

실험 결과

본 방법은 인간 추적(약하고 노이즈가 있는 탐지 상황)에 초점을 맞추어 MOT17-04 시퀀스(1050 프레임, 30 fps, 1920×1080 해상도)에서 평가되었다. 동일한 탐지 결과와 정답(ground truth)을 사용하여 최신 트래커들(SORT, DeepSORT, ByteTrack, BoT-SORT, OC-SORT, SMILEtrack, ConfTrack)과 비교하였다.

성능 지표:

• 평균 추적 정확도 (ATA): 66.903 (제안 방식) vs 56.174 (SORT) 및 52.241 (ConfTrack).
• IDF1: 93.878 (제안 방식) vs 90.302 (ConfTrack).
• HOTA: 70.044 (제안 방식) vs 68.345 (ConfTrack).
• MOTA: 85.717 (제안 방식) vs 82.778 (ConfTrack).
• ID 스위치 (IDSW): 3 (제안 방식) vs 58 (ConfTrack) 및 103 (SORT).

결과는 GenTrack2가 여러 지표에서 기존 방법들을 능가하며, 특히 추적 정확도(ATA)와 식별 일관성(낮은 IDSW)에서 상당한 개선을 보였음을 나타낸다. 본 시스템은 타겟당 단 8개의 입자만을 사용하여 이러한 결과를 달-성하였으며, 이를 통해 CPU 전용 하드웨어에서도 실시간 적용이 가능하다.

의의

본 논문은 GenTrack2가 전통적인 다중 객체 입자 필터의 계산적 부담 없이 비선형 역학, 비가우시안 노이즈, 가변적인 타겟 수를 효과적으로 처리함으로써 실제 세계의 MOT 응용 분야를 위한 견고한 솔루션을 제공한다고 주장한다. 장기간의 폐쇄 및 상호작용 중에도 타겟 식별자를 성공적으로 유지하고, 녹화된 비디오와 라이브 스트림 모두에서 유연하게 작동함으로써, 이 방법은 현재의 추적 패러다임의 핵심적인 격차를 해소한다. 저자들은 이 방법이 파라미터 설정에 크게 민합하지 않으며 최소한의 계산 자원으로 강력한 성능을 달성한다고 언급하였다.