Hypergraph-State Collaborative Reasoning for Multi-Object Tracking

1. 연구 배경 및 문제 정의 (Problem)

다중 객체 추적 (Multi-Object Tracking, MOT) 의 핵심은 프레임 간 일관된 타겟 연결을 가능하게 하는 **운동 추론 (Motion Reasoning)**입니다. 기존 운동 추정 접근법은 다음과 같은 두 가지 주요 한계를 겪고 있습니다.

1. 노이즈 및 불안정성 (Instability): 학습 기반의 운동 추정기는 복잡한 비선형 운동을 모델링할 수 있지만, 확률적 예측으로 인해 노이즈와 진동이 발생하여 선형 운동 시나리오에서 칼만 필터 (Kalman Filter) 보다 불안정할 수 있습니다.
2. 가림 (Occlusion) 에 대한 취약성: 타겟이 가려지면 시각적 단서가 사라져 궤적이 끊기거나 식별이 전환 (Identity Switch) 되는 문제가 발생합니다. 기존 방법들은 가려진 상태에서의 운동 연속성을 유지하는 데 어려움을 겪습니다.

기존의 쿼리 기반 (Query-based) 방법은 객체 수의 변화에 약하고, 기존 운동 기반 (Motion-based) 방법은 개별 객체를 독립적으로 추정하여 객체 간의 상호작용을 활용하지 못한다는 문제가 있습니다.

2. 제안 방법론 (Methodology)

저자들은 HyperSSM이라는 통합 아키텍처를 제안하여, 상관관계가 있는 여러 객체 간의 **공동 추론 (Collaborative Reasoning)**을 통해 운동 추정을 개선합니다. 이 방법은 **하이퍼그래프 (Hypergraph)**와 **상태 공간 모델 (State Space Model, SSM)**을 결합하여 공간적 및 시간적 추론을 동시에 수행합니다.

핵심 구성 요소:

• 하이퍼그래프 구성 (Hypergraph Construction):
  • 각 객체를 정점 (Vertex), 객체 간의 운동 상태 (속도, 방향) 유사도에 따라 형성된 그룹을 하이퍼엣지 (Hyperedge) 로 정의합니다.
  • 운동 특성이 유사한 객체들을 'e-볼 (e-ball)'로 그룹화하여 하이퍼엣지를 생성합니다.
• 하이퍼 컨볼루션 (Hyper Convolution, HConv):
  • Gathering (수집): 정점 (객체) 에서 하이퍼엣지 (그룹) 로 정보를 수집하여 그룹 내 운동 특성을 공유합니다.
  • Scattering (분산): 그룹의 정보를 다시 개별 정점으로 분산시켜, 노이즈가 있는 개별 운동 추정을 그룹의 합의 (Consensus) 를 통해 정제합니다.
  • 이를 통해 개별 객체의 노이즈를 억제하고, 가려진 객체의 운동을 관측 가능한 유사 운동 패턴의 객체들을 통해 추론할 수 있습니다.
• SSM 통합 (HConv-embedded SSM):
  • 전통적인 SSM(상태 공간 모델) 의 상태 전이 과정에 하이퍼그래프 연산을 내장합니다.
  • 입력 운동 특징 $X_t$에 HConv 를 적용하여 객체 간 상호작용을 반영한 상태로 변환한 후, 학습 가능한 전이 행렬을 통해 시간적 연속성을 유지합니다.
  • 잔차 연결 (Residual Connection) 을 통해 원본 운동 특징을 보존하면서 정제된 상태를 출력합니다.

추적 파이프라인:

1. 탐지 (Detection): YOLOX 를 사용하여 프레임별 후보 검출.
2. 운동 추정 (Motion Estimation): HyperSSM 모듈을 통해 기존 트랙의 미래 위치 예측.
3. 연관 (Association): 다단계 적응형 전략을 사용하여 탐지 결과와 기존 트랙 매칭 (칼만 필터 대신 학습된 운동 추정 활용).
4. 초기화/종료: 매칭되지 않은 고신뢰도 탐지로 새 트랙 생성 또는 기존 트랙 종료.

3. 주요 기여 (Key Contributions)

1. 협력적 운동 추정 프레임워크: 상관관계 있는 객체 간의 공동 추론을 통해 노이즈 진동을 억제하고, 가림 상황에서 객체 간 정보 공유를 통해 강인성을 향상시켰습니다.
2. HyperSSM 아키텍처 설계: 하이퍼그래프 계산과 SSM 을 통합하여 공간적 (객체 간 상관관계) 및 시간적 (운동 연속성) 추론을 동시에 최적화하는 새로운 패러다임을 제시했습니다.
3. 성능 입증: 선형 (MOT17, MOT20) 및 비선형 (DanceTrack, SportsMOT) 운동 패턴을 모두 아우르는 다양한 벤치마크에서 SOTA(State-of-the-Art) 성능을 달성했습니다.

4. 실험 결과 (Results)

전통적인 4 가지 주요 벤치마크 (MOT17, MOT20, DanceTrack, SportsMOT) 에서의 실험 결과는 다음과 같습니다.

• MOT17 (선형 운동): HOTA 66.9, MOTA 81.5 를 기록하여 기존 학습 기반 방법 및 칼만 필터 기반 방법 (Bytetrack, StrongSORT 등) 을 능가했습니다.
• MOT20 (선형 운동): HOTA 65.2, MOTA 80.0 으로 최상위 성능을 보였습니다.
• DanceTrack (비선형/복잡한 운동): HOTA 65.7, IDF1 68.0 으로, 복잡한 비선형 운동과 가림이 빈번한 환경에서도 우수한 성능을 발휘했습니다.
• SportsMOT (스포츠 환경): HOTA 78.5 로 다른 모든 추적기를 압도하며, 다양한 운동 패턴과 비선형 움직임에 대한 적응력을 입증했습니다.
• Ablation Study:
  • 하이퍼그래프 구조를 제거한 일반 SSM 이나 칼만 필터보다 HyperSSM 이 모든 시나리오에서 우수한 성능을 보였습니다.
  • 하이퍼엣지 형성 임계값 ($\theta$) 은 0.8 일 때 최적의 성능을 보였습니다.
  • 8 층의 HyperSSM 레이어와 5 프레임의 시퀀스 길이가 효율성과 정확도 사이의 최적 균형을 이루었습니다.

5. 의의 및 결론 (Significance)

이 논문은 다중 객체 추적에서 개별 객체의 독립적 예측을 넘어, 객체 간의 고차원적 (High-order) 관계를 활용하는 협력적 추론의 중요성을 강조합니다.

• 기술적 혁신: 하이퍼그래프를 통해 객체 간의 복잡한 상호작용을 모델링하고, 이를 SSM 의 시간적 모델링과 결합함으로써 운동 추정의 안정성과 가림 복원 능력을 동시에 해결했습니다.
• 실용성: 선형 운동뿐만 아니라 복잡한 비선형 운동 환경에서도 일관된 성능을 보여주어, 실제 응용 분야 (감시, 스포츠 분석, 자율 주행 등) 에 적용 가능한 강력한 솔루션을 제공합니다.
• 미래 방향: 객체 간의 관계를 명시적으로 모델링하는 접근법은 향후 더 복잡한 추적 시나리오 및 다양한 모달리티 통합을 위한 새로운 방향성을 제시합니다.

요약하자면, HyperSSM은 노이즈와 가림이라는 MOT 의 고질적인 문제를 해결하기 위해, 객체 간의 운동 상관관계를 하이퍼그래프로 구조화하고 상태 공간 모델로 시간적 흐름을 제어하는 혁신적인 프레임워크입니다.