⚡ electrical engineering

Occlusion-Aware Multi-Object Tracking via Expected Probability of Detection

이 논문은 다중 물체 간 가림 현상을 고려하여 각 물체의 존재 조건 하에서 감지 확률의 기댓값을 도출함으로써, 기존 방법보다 체계적으로 불확실성을 처리하는 새로운 다중 물체 추적 기법을 제안합니다.

원저자: Jan Krejčí, Oliver Kost, Yuxuan Xia, Lennart Svensson, Ondřej Straka

게시일 2026-03-04

📖 3 분 읽기☕ 가벼운 읽기

원저자: Jan Krejčí, Oliver Kost, Yuxuan Xia, Lennart Svensson, Ondřej Straka

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎬 비유: 혼잡한 파티와 눈가린 친구들

상상해 보세요. 여러분은 혼잡한 파티에 있습니다. 파티에는 많은 사람들이 (물체들) 춤을 추고 있고, 여러분은 카메라 (센서) 를 들고 그들을 모두 찍으려 합니다.

하지만 문제는 사람들이 서로 겹쳐서 (가려서) 한 명을 볼 수 없게 만든다는 점입니다.

기존의 문제점: 기존의 추적 프로그램들은 "아, 저 친구가 안 보이네? 그럼 저 친구는 사라진 거야!"라고 생각하거나, "아직도 저 친구가 있을 거야"라고 막연히 추측만 합니다. 이렇게 되면 가려진 친구가 다시 나타났을 때 "누구지?"라고 헤매거나, 아예 추적에서 놓쳐버립니다.
이 논문의 해결책: 이 논문은 **"가려진 친구가 실제로 얼마나 잘 보일지 (확률)"**를 수학적으로 정확하게 계산하는 새로운 방법을 개발했습니다.

🔍 핵심 아이디어 3 가지

1. "나만 보면 안 되고, 주변도 봐야 해" (상호작용 고려)

기존 방법은 각 사람을 따로따로 추적했습니다. "A 는 잘 보이고, B 는 안 보인다" 식이죠.
하지만 이 논문은 **"A 가 B 뒤에 숨어 있다면, A 가 카메라에 잡힐 확률은 B 의 위치와 크기에 따라 달라진다"**는 사실을 인정합니다. 마치 안개 낀 날에 앞사람이 뒤사람을 가리면, 뒤사람이 얼마나 잘 보이는지 앞사람의 위치를 알아야 계산할 수 있는 것과 같습니다.

2. "가장 가능성 높은 시나리오"를 계산하다 (기대 확률)

가장 어려운 점은 "지금 B 가 A 를 얼마나 가리고 있을까?"를 정확히 알 수 없다는 것입니다. B 의 위치도 불확실하니까요.
이 논문은 **"B 가 있을 수 있는 모든 가능한 위치를 상상해 보고, 그 모든 경우를 평균낸 '기대되는 가림 확률'"**을 계산합니다.

비유: 비가 올 확률이 30% 라면 우산을 챙깁니다. 하지만 이 논문은 "비가 올 확률 30%, 안 올 확률 70% 를 모두 고려해서, 우산을 챙길지 말지 결정하는 가장 합리적인 기준"을 만듭니다. 이를 **기대 탐지 확률 (Expected Probability of Detection)**이라고 부릅니다.

3. "수학적으로 깔끔한 규칙" (모델 기반 접근)

기존의 많은 방법들은 "가려지면 이렇게 처리하자"라는 **임의의 규칙 (Ad-hoc)**을 사용했습니다. 이는 안전이 중요한 상황 (자율주행 등) 에서는 위험할 수 있습니다.
이 논문은 **수학적 원리 (베이지안 추론)**에 기반하여, 모든 불확실성을 체계적으로 계산하는 완전한 모델을 만들었습니다. 마치 "임의의 감으로 운전하는 것" 대신 "정확한 물리 법칙으로 설계된 자율주행 시스템"을 만드는 것과 같습니다.

🚀 이 방법이 왜 좋은가요? (실험 결과)

연구진은 이 방법을 실제 **거리의 보행자 추적 (카메라 영상)**에 적용해 보았습니다.

더 잘 보임: 가려진 사람도 더 잘 찾아냈습니다. (기존 방법보다 가려진 사람을 놓치는 경우가 적음)
더 정확함: 가려지지 않은 사람들도 더 정확하게 추적했습니다.
약간의 단점: 아주 가끔은 "아마 저기에 있을 거야"라고 너무 많은 가상의 사람을 만들어내기도 했습니다 (오경보). 하지만 전체적인 추적 성능은 기존 최고의 방법들보다 뛰어났습니다.

💡 한 줄 요약

이 논문은 **"서로 가려지는 상황에서도, 수학적으로 모든 가능성을 계산해 가려진 물체의 '보일 확률'을 미리 예측함으로써, 카메라가 물체들을 놓치지 않고 정확하게 따라가게 만든 방법"**입니다.

마치 **어둠 속에서 친구들을 찾을 때, "저 친구가 저기 있을 수도 있고, 여기 있을 수도 있으니, 그 모든 경우를 고려해서 가장 확률이 높은 곳을 먼저 찾아보자"**는 지혜로운 전략을 컴퓨터에게 가르친 것과 같습니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 다중 객체 추적 (MOT, Multi-Object Tracking) 은 항공, 해군 보안, 자율 주행 등 다양한 분야에서 핵심 기술입니다. 기존 추적 알고리즘은 주로 센서가 객체를 명확하게 식별할 수 있는 '선형 시야 (Line of Sight)'를 가정합니다.
문제점: 실제 환경에서는 객체들이 서로를 가리는 가림 (Occlusion) 현상이 빈번하게 발생합니다. 가려진 객체는 센서에 의해 검출되지 않을 확률이 높아지는데, 기존 방법들은 이를 처리하는 데 한계가 있습니다.
- Ad-hoc 접근법: 가림 상태를 임의의 변수로 계산하거나 재식별 (Re-ID) 기술을 사용하는 등 물리 모델과 일관성이 없는 휴리스틱 방법을 사용합니다.
- 기존 모델 기반 접근법의 한계: 검출 확률 (Probability of Detection, PoD) 을 다른 객체의 존재에 의존하게 만들 경우, 수학적으로 다루기 어렵게 (intractable) 됩니다. 기존 연구들은 다른 객체의 상태를 단순히 '추정값'으로 치환하거나 근사화하여 가림을 처리했는데, 이는 객체의 위치 및 존재 불확실성 (uncertainty) 을 체계적으로 고려하지 못한다는 문제가 있습니다.
목표: 가림 현상을 물리적으로 일관성 있게 (principled manner) 모델링하면서도, 계산적으로 처리 가능한 (tractable) 추적 알고리즘을 개발하는 것입니다.

2. 제안된 방법론 (Methodology)

이 논문은 베이지안 프레임워크 내에서 가림을 처리하기 위해 기대 검출 확률 (Expected Probability of Detection, EPoD) 개념을 도입했습니다.

핵심 아이디어: EPoD 및 축소 팜 밀도 (Reduced Palm Density)

기존 방식의 수정: 기존 방식은 특정 객체의 가림 상태를 고정된 추정값으로 대체했습니다. 반면, 제안된 방법은 모든 다른 객체의 불확실성을 고려하여 EPoD 를 계산합니다.
수학적 정의:
- 특정 객체 $x$ 가 존재한다는 조건 하에서, 나머지 객체 집합 $\Theta = \Xi \setminus \{x\}$ 의 확률 분포를 축소 팜 밀도 (Reduced Palm Density, RPD) 라고 합니다.
- 제안된 방법은 RPD 에 대해 가림에 따른 PoD 의 조건부 기대값 (Conditional Expectation) 을 계산합니다.
- 즉, $P^*(x) = E_{\Theta|x} [ P_D(x, \Theta) ]$ 로 정의됩니다. 이는 객체 $x$ 가 존재할 때, 다른 모든 객체들의 가능한 상태와 존재 확률을 고려하여 $x$ 가 검출될 확률을 평균낸 값입니다.

알고리즘 구현 (MBM-PRO)

P (Palm Conditioning): 사전 분포 (Prior) 에 대해 팜 조건부 (Palm conditioning) 를 적용하여, 특정 객체가 존재할 때의 다른 객체들의 분포 (RPD) 를 유도합니다.
R (Reduce): SPO-D (Standard Point-Object with Dependency) 모델을 단순화합니다. 복잡한 상호 의존성을 EPoD 를 계산하여 단일 객체 모델 (SPO) 로 근사화합니다.
O (Obey): 계산된 EPoD 를 매개변수로 사용하여 기존 다중 베르누이 혼합 (Multi-Bernoulli Mixture, MBM) 필터의 추적 recursions 을 수행합니다.
- 이를 통해 기존 MBM 필터 구조를 유지하면서도 가림을 고려한 최적의 검출 확률을 적용할 수 있게 됩니다.
- 계산 효율성을 위해 가림 확률이 낮은 객체들은 제외하거나, 존재 확률이 높은 객체들에 대해서만 EPoD 를 근사화하는 전략을 사용합니다.

3. 주요 기여 (Key Contributions)

일관된 가림 처리 전략: 기존 Ad-hoc 방식이나 불완전한 근사를 넘어, 모든 객체의 불확실성을 체계적으로 고려하는 완전한 모델 기반 (Fully Model-Based) 가림 처리 전략을 제시했습니다.
EPoD 계산 및 RPD 유도: 다중 객체 밀도 (Bernoulli, Poisson, PMB 등) 에 대해 축소 팜 밀도 (RPD) 를 분석적으로 유도하고, 이를 기반으로 EPoD 를 계산하는 방법을 제시했습니다.
MBM 필터 적용: EPoD 계산이 가능한 표시된 (Marked) MBM 필터를 제안했습니다. 여기서 '표시 (Mark)'는 객체의 고유 식별자 (Label) 역할을 하며, 각 객체별로 최적화된 EPoD 를 부여합니다.
시각 추적 검증: MOT-17 데이터셋을 이용한 시각 추적 실험을 통해 제안된 MBM-PRO 알고리즘이 기존 방법들 (MBM-ESO, SORT, FastTracker 등) 보다 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

데이터셋: MOT-17 데이터셋 (MOT17-02, 04, 09) 을 사용하며, 보행자 추적 시나리오에서 평가했습니다.
비교 대상:
- MBM-PRO: 제안된 방법.
- MBM-ESO: 기존 Ad-hoc 방식 (추정값 치환) 을 적용한 MBM.
- Basic MBM: 가림을 고려하지 않은 고정 PoD 사용 MBM.
- SORT, FastTracker: 컴퓨터 비전 (CV) 기반의 기존 추적기.
성능 지표: TGOSPA (Trajectory Generalized Optimal Subpattern Assignment) 메트릭을 주된 평가 기준으로 사용했으며, MOTA, HOTA, IDF1 등 CV 점수도 함께 비교했습니다.
주요 발견:
- 가림 처리 능력: MBM-PRO 는 가려진 객체 (Occluded) 를 더 많이 성공적으로 추적하여 False Negative (FN) 를 줄였습니다.
- 가시 객체 추적: 가려지지 않은 객체 (Visible) 에 대해서도 MBM-PRO 는 MBM-ESO 보다 더 많은 객체를 정확하게 추적했습니다.
- 모델 기반 우위: 동일한 입력 데이터 (BB 검출기 출력) 를 사용했을 때, 제안된 모델 기반 접근법 (MBM-PRO) 이 Ad-hoc 기반의 SORT 알고리즘보다 전반적인 성능이 우수했습니다.
- Trade-off: MBM-PRO 는 가림 처리 능력과 FN 감소에서 탁월하지만, 가림된 객체에 대한 예측이 오래 지속되어 False Positive (FP) 가 약간 증가하는 경향이 있었습니다. 그러나 이는 FastTracker 와 같은 고급 Ad-hoc 알고리즘에서도 관찰되는 현상이며, 전체적인 추적 정확도 (TGOSPA) 는 향상되었습니다.

5. 의의 및 결론 (Significance)

안전성 및 신뢰성: 제안된 방법은 확률론적 모델을 기반으로 하여 가림 상황에서의 불확실성을 정량화할 수 있으므로, 자율 주행이나 감시와 같은 안전-중요 (Safety-Critical) 분야에서 기존 Ad-hoc 방법보다 신뢰성이 높습니다.
범용성: 카메라뿐만 아니라 LiDAR, 레이더 등 다양한 센서 데이터에 적용 가능한 프레임워크를 제공합니다.
이론적 발전: 다중 객체 추적 이론에서 가림을 처리하는 데 있어 '팜 조건부 (Palm Conditioning)'와 '기대 검출 확률 (EPoD)'을 결합한 새로운 접근법을 정립했습니다.

결론적으로, 이 논문은 객체 간의 가림 현상을 단순한 휴리스틱이 아닌 엄밀한 확률론적 모델로 처리하여, 다중 객체 추적의 정확도와 신뢰성을 크게 향상시킨 획기적인 연구입니다.