Occlusion-Aware SORT: Observing Occlusion for Robust Multi-Object Tracking

이 논문은 부분 가려짐으로 인한 위치 비용 혼란을 해결하기 위해 가려짐 상태 분석, 오프셋 보정, 그리고 편향 감지 모멘텀을 결합한 'Occlusion-Aware SORT(OA-SORT)'라는 새로운 플러그인 및 학습 불필요 프레임워크를 제안하고, 다양한 데이터셋에서 기존 추적기들의 성능을 향상시키는 것을 입증합니다.

핵심

🎬 배경: 비디오 속의 혼란스러운 숨바꼭질

비디오에서 여러 사람을 추적하는 작업 (Multi-Object Tracking) 은 마치 복잡한 무도회장에서 여러 커플을 한 명도 놓치지 않고 따라가는 일과 같습니다.

하지만 문제는 **서로가 서로를 가리는 상황 (Occlusion)**입니다.

• A 가 B 뒤에 숨으면, 카메라는 A 를 제대로 못 봅니다.
• 이때 기존 추적 프로그램들은 "아, A 가 사라졌구나"라고 생각하거나, "저건 B 가 아니었나?"라고 헷갈려서 **실수 (ID Switch)**를 합니다.
• 마치 가려진 사람을 찾으려다 다른 사람과 이름을 바꿔치기 하는 것과 같습니다.

💡 해결책: "OA-SORT" (가려짐을 아는 추적 시스템)

이 논문은 OA-SORT라는 새로운 시스템을 제안합니다. 이 시스템은 단순히 "사람이 어디 있나?"만 보는 게 아니라, **"누가 누구를 가리고 있나?"**를 먼저 파악하고 대응합니다.

이 시스템은 크게 세 가지 핵심 도구로 이루어져 있습니다.

1. OAM (가려짐 감지기): "누가 누구를 가리고 있나?"

• 역할: 카메라 화면을 보며, "저기 A 가 B 뒤에 숨었구나. A 의 30% 는 가려져 있네"라고 정확히 계산합니다.
• 재미있는 비유: 마치 투명한 유리에 그려진 그림을 상상해 보세요. 보통은 유리에 그려진 그림 (배경) 까지 다 포함해서 가려진 정도를 재지만, 이 시스템은 유리 중앙의 그림 (사람) 에만 집중하고 가장자리의 배경 잡음은 무시합니다. 이를 통해 "진짜 가려진 정도"를 정확히 파악합니다.

2. OAO (가려짐 보정기): "가려졌을 때는 믿지 말자"

• 역할: 가려진 상태에서는 카메라가 찍은 위치가 틀릴 확률이 높습니다. 이 시스템은 "아, 지금 가려졌으니 카메라가 찍은 위치는 믿을 수 없구나. 과거의 움직임을 더 믿자"라고 판단합니다.
• 재미있는 비유: 안개 낀 날 운전을 한다고 상상해 보세요. 앞이 잘 안 보이면 (가려짐), 갑자기 핸들을 꺾지 않고 이전까지의 진행 방향을 더 신뢰하며 부드럽게 운전합니다. 이렇게 하면 갑자기 차가 튀거나 다른 차와 부딪히는 (ID 가 바뀌는) 일을 막을 수 있습니다.

3. BAM (오차 방지기): "잘못된 정보에 흔들리지 않기"

• 역할: 가려진 상태에서 카메라가 엉뚱한 위치를 찍어올 때 (예: 가려진 사람의 발만 찍힘), 시스템이 그 엉뚱한 정보에 너무 큰 영향을 받지 않도록 조절합니다.
• 재미있는 비유: 무거운 배를 생각하세요. 작은 파도 (잘못된 정보) 가 와도 배가 쉽게 흔들리지 않죠. 이 시스템은 가려진 상황에서도 추적기의 움직임이 너무 급격하게 변하지 않도록 무게추 (관성) 역할을 하여 안정성을 줍니다.

---

🏆 결과: 왜 이것이 중요한가?

이 시스템을 적용한 결과, DanceTrack이라는 춤추는 사람들이 많이 나오는 복잡한 비디오 데이터에서 기존 방식보다 훨씬 뛰어난 성능을 보였습니다.

• 기존 방식: 사람들이 서로 뒤섞이면 "누가 누구지?"라고 헷갈려서 ID 를 자주 바꿉니다.
• OA-SORT: "아, 지금 가려진 상태구나. 가려진 상태에서는 과거의 움직임을 더 믿고, 가려진 정도를 계산해서 위치를 보정하자"라고 생각하므로, 사람의 이름을 (ID) 잘 지켜냅니다.

🚀 요약: 이 기술의 핵심 가치

1. 학습 불필요 (Training-free): 이 시스템은 별도의 복잡한 학습 과정 없이, 기존 추적 프로그램에 바로 끼워 넣을 수 있는 (Plug-and-play) 도구입니다.
2. 범용성: 춤추는 사람들, 스포츠 경기, 길거리 보행자 등 어떤 상황에서도 서로 가려지는 문제를 해결해 줍니다.
3. 현실적인 접근: "가려짐"이라는 문제를 무시하거나 복잡하게 모델링하는 대신, "누가 누구를 가리고 있는지"를 직관적으로 파악하여 해결책을 제시했습니다.

한 줄 요약:

"비디오 속의 숨바꼭질에서, 가려진 사람을 찾으려다 이름을 헷갈리지 않도록 '누가 누구를 가리고 있는지'를 먼저 파악하는 똑똑한 감시관 시스템을 만들었습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

다중 객체 추적 (MOT, Multi-Object Tracking) 은 비디오 시퀀스에서 객체의 궤적을 분석하고 객체 수를 세는 작업입니다. 그러나 2D MOT 은 **부분 가림 (Partial Occlusion)**으로 인한 **위치 비용 혼란 (Positional Cost Confusion)**이라는 심각한 문제에 직면해 있습니다.

• 검출 오류: 가림이 발생하면 객체의 외관 특징이 손실되어 검출기 (Detector) 가 배경과 객체를 구분하기 어려워지고 부정확한 검출 (Inaccurate Detection) 이 발생합니다.
• 예측 불안정: 칼만 필터 (KF) 와 같은 선형 위치 예측기는 빈번한 부정확한 검출에 의해 크게 영향을 받으며, 특히 비선형 운동이나 자세 변화 시 예측이 불안정해집니다.
• 비용 혼란 (Cost Confusion): 검출 (Detection) 과 추적 (Trajectory) 간의 매칭을 위해 사용되는 위치 비용 행렬 (Position Cost Matrix) 이 모호해집니다. 이로 인해 헝가리안 알고리즘 (Hungarian Algorithm) 이 잘못된 매칭을 수행하여 객체의 식별자 (ID) 가 자주 바뀔 수 있습니다.
• 기존 방법의 한계: 외관 특징 (Appearance), 운동 방향, 검출 신뢰도 (Confidence) 등을 추가한 기존 방법들은 가림으로 인한 검출 오류가 심할 경우 이러한 추가 정보의 신뢰성도 떨어뜨려 근본적인 해결이 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 **Occlusion-Aware SORT (OA-SORT)**라는 새로운 프레임워크를 제안했습니다. 이는 학습이 필요 없으며 (Training-free), 기존 추적기에 플러그 앤 플레이 (Plug-and-play) 방식으로 적용 가능한 구조입니다. 핵심은 객체의 가림 상태를 관찰하고 이를 추적 과정에 반영하는 것입니다.

2.1. 주요 구성 요소

OA-SORT 은 세 가지 핵심 모듈로 구성됩니다:

1. Occlusion-Aware Module (OAM, 가림 인식 모듈):

   • Depth Ordering: 2D 이미지에서 객체의 바운딩 박스 하단 엣지 (Bottom Edge) 의 y 좌표를 비교하여 깊이 순서 (Depth Ordering) 를 추정합니다. (바닥에 가까운 객체가 카메라에 더 가깝다는 가정).
   • Occlusion Coefficient (Oc): 깊이 순서를 기반으로 겹치는 영역 (Overlap Region) 을 계산하여 각 객체의 가림 정도를 수치화합니다.
   • Gaussian Map (GM): 바운딩 박스 내부의 배경 픽셀 영향을 줄이기 위해 가우시안 맵을 도입합니다. 객체 중심에 가까운 픽셀에 높은 가중치를 주어 가림 계수를 정제 (Refine) 합니다.

2. Occlusion-Aware Offset (OAO, 가림 인식 오프셋):

   • 목적: 위치 비용 혼란을 완화합니다.
   • 작동 원리: OAM 에서 계산된 가림 계수를 위치 일관성 지표 (Spatial Consistency Metric, 예: IoU) 에 통합합니다.
   • 적용: KF(칼만 필터) 가 예측한 궤적의 위치를 기반으로 가림 계수를 산출하고, 이를 검출과의 매칭 비용 계산에 반영합니다. 가림이 심한 경우 위치 비용의 신뢰도를 낮추어 잘못된 매칭을 방지합니다.

3. Bias-Aware Momentum (BAM, 편향 인식 모멘텀):

   • 목적: 부정확한 검출로 인한 KF 예측의 불안정성을 억제합니다.
   • 작동 원리: 낮은 신뢰도 (Low-score) 를 가진 검출이 들어왔을 때, 해당 검출과 최신 관측 (Latest Observation) 간의 가림 계수를 활용하여 KF 업데이트 단계의 가중치를 동적으로 조절합니다.
   • 효과: 검출과 예측 간의 차이가 크거나 가림이 심할 경우, KF 가 새로운 검출보다 기존 예측을 더 신뢰하도록 하여 운동 파라미터의 급격한 변동을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 가림 상태의 정량적 관찰: OAM 을 통해 객체의 가림 상태를 계수화하고, GM 을 도입하여 배경 간섭을 줄여 정확한 가림 평가를 가능하게 했습니다.
2. 비용 혼란 및 예측 불안정성 해결: OAO 와 BAM 을 설계하여 가림으로 인한 위치 비용 혼란을 완화하고, KF 예측의 강건성을 높였습니다.
3. 범용성과 재사용성: 제안된 프레임워크는 별도의 학습 없이 다양한 기존 추적기 (ByteTrack, OC-SORT, PD-SORT 등) 에 통합 가능하며, 다양한 추적 전략에서 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

저자들은 DanceTrack, SportsMOT, MOT17 등 주요 벤치마크에서 OA-SORT 를 평가했습니다.

• DanceTrack (비선형 운동 및 빈번한 가림):
  • 베이스라인인 Hybrid-SORT 대비 HOTA 63.1%, **IDF1 64.2%**를 기록하여 각각 0.9%p, 1.2%p 향상되었습니다.
  • 가림 심도가 높은 시퀀스에서 성능 향상이 두드러졌습니다 (Fig. 1 참조).
• SportsMOT (가변 속도 및 카메라 운동):
  • 카메라 운동 보상 (CMC) 없이도 상대적 위치 기반의 가림 평가가 효과적이었음을 입증했습니다.
• MOT17 (보행자 밀집 장면):
  • 기존 Hybrid-SORT 대비 HOTA 와 IDF1 에서 지속적인 개선을 보였습니다.
• 일반화 능력:
  • OA-SORT 프레임워크를 4 가지 다른 추적기 (ByteTrack, OC-SORT, SparseTrack, PD-SORT) 에 적용했을 때, 평균 HOTA 2.08%p, IDF1 3.05%p의 향상을 보였습니다.
• Ablation Study:
  • OAO, BAM, GM 각 구성 요소가 모두 포함되었을 때 가장 높은 성능을 보였으며, 특히 GM 은 HOTA 를 약 2.1%p 향상시키는 데 기여했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • MOT 분야에서 가림 (Occlusion) 을 명시적으로 모델링하고 추적 로직에 통합함으로써, 기존에 외관 특징이나 운동 정보에만 의존하던 접근법의 한계를 극복했습니다.
  • 복잡한 비선형 운동과 빈번한 가림이 발생하는 환경 (댄스, 스포츠 등) 에서 추적의 강건성을 크게 향상시켰습니다.
  • 학습이 필요 없는 경량화된 모듈로 기존 시스템에 쉽게 적용 가능하여 실용성이 높습니다.
• 한계:
  • 객체의 하단부가 가려지거나 공중에 뜬 경우 (점프 등) 에는 바운딩 박스 하단 엣지 기반의 깊이 추정 (Depth Ordering) 이 부정확해져 성능이 저하될 수 있습니다.
  • 장기적인 가림 (Long-term Occlusion) 에 대한 모델링이 부족하여, 가림 상태가 장시간 지속될 경우 추적 불안정성이 발생할 수 있습니다.

결론

이 논문은 다중 객체 추적에서 가림으로 인한 핵심 문제인 '비용 혼란'을 해결하기 위해, 객체의 가림 상태를 실시간으로 관찰하고 이를 위치 매칭 및 상태 업데이트 과정에 통합하는 OA-SORT를 제안했습니다. 실험을 통해 다양한 시나리오에서 기존 최첨단 추적기들을 능가하는 성능을 입증했으며, MOT 시스템의 강건성을 높이는 중요한 기여를 했습니다.