Tractable Approximation of Labeled Multi-Object Posterior Densities

당신이 어두운 숲속에서 춤추는 혼란스러운 반딧불이 떼를 추적하려고 한다고 상상해 보십시오. 과학의 세계에서 이것은 "다중 객체 추정(multi-object estimation)"이라고 불립니다. 이것은 대상이 보이지 않거나, 사라지거나, 서로 똑같이 생겼을 때도 그것들이 어디에 있는지, 어디로 가고 있는지, 그리고 누구인지를 파악하는 기술입니다. 보통 과학자들은 "필터링(filtering)"이라는 방법을 사용하는데, 이는 현재의 반딧불이를 빠르게 스냅샷으로 찍어 그들이 어디에 있는지 추측하는 것과 같습니다. 이 방법은 반딧불이들이 차분하고 직선 운동을 할 때는 아주 잘 작동합니다. 하지만 만약 반딧불이들이 서로 부딪히고, 충돌을 피하기 위해 방향을 바꾸며, 하나의 빛나는 덩어리로 합쳐지는 친구들의 모임이라면 어떨까요? 이러한 무질서한 현실 세계의 상황에서는 기존의 "스냅샷" 방식은 처참하게 실패합니다. 누가 누구인지 놓치게 되어, 컴퓨터의 마음속에서 반딧불이들의 정체성이 바뀌거나 서로 충돌하게 만듭니다. 이를 해결하기 위해 과학자들은 현재의 프레임만이 아니라, 춤의 전체 이야기, 즉 전체 역사를 보아야 합니다. 이것을 "사후 확률 추정(posterior estimation)"이라고 부르지만, 객체들이 서로 상호작용할 때 이를 계산하는 것은 매우 어렵기로 악명 높습니다.

이 논문은 바로 그 골칫거리를 다룹니다. 저자인 Thi Hong Thai Nguyen, Ba-Ngu Vo, Ba-Tuong Vo는 수학적 미로에 빠지지 않고 상호작용하는 객체들의 "전체 이야기"를 근사할 수 있는 새롭고 영리한 방법을 개발했습니다. 그들은 "트랙터블 멀티 스캔 일반화 레이블드 멀티 버누리(tractable multi-scan Generalized Lamed Multi-Bernoulli, GLMB) 근사법"이라 불리는 방법을 제안합니다. 쉬운 말로 설명하자면, 그들은 컴퓨터가 객체(예: 보행자나 드론)의 전체 경로 이력을 기억하면서도 실제로 실행 가능할 만큼 빠르게 작동하도록 하는 지름길을 만들어낸 것입니다. 그들은 자신들의 방법이 객체의 수를 보존하고 특정 클래스의 모델에서 오류를 최소화하는 데 있어 가능한 최선의 추측임을 증명했습니다. 그들은 "사회적 힘 모델(social force model)"—사람들이 충돌을 피하기 위해 서로 밀어내는 수학적 규칙—을 사용하여 시뮬레이션된 군중을 대상으로 테스트했으며, 광장에서 걷고 있는 보행자의 실제 비디오 데이터로도 테스트했습니다. 결과는 그들의 새로운 방법이 트랙(궤적)을 매끄럽고 정확하게 유지하는 반면, 기존 방법들은 보행자들이 벽을 통과해 걷거나 정체가 바뀌는 현상을 일으켰음을 보여주었습니다.

문제점: 기계 속의 "유령"

당신이 붐비는 공원에서 술래잡기를 하는 친구 무리를 지켜보고 있다고 상상해 보십시오. 그들이 멀리 떨어져 있다면 따라가기 쉽습니다. 하지만 그들이 가까워지면, 서로를 피하고, 인파 사이를 헤집고 다니며, 때로는 당신의 관점에서 두 명이 한 명처럼 보일 수도 있습니다. 만약 당신이 한 번에 1초씩만 공원을 본다면(즉, "필터링" 접근법을 사용한다면), 혼란에 빠질 수 있습니다. 친구 A가 갑자기 친구 B가 되었다고 생각하거나, 두 친구가 하나의 거대한 덩어리로 합쳐졌다고 생각할 수도 있습니다.

신호 처리의 세계에서 이러한 혼란은 악몽입니다. 표준 컴퓨터 모델은 모든 객체가 벽을 통과하는 유령처럼 서로를 의식하지 않고 독립적으로 움직인다고 가정합니다. 하지만 현실에서 사람, 자동차, 동물은 상호작용합니다. 그들은 충돌을 피합니다. 그들은 그룹으로 움직입니다. 컴퓨터가 이러한 상호작용을 무시하면 "오류 궤적 교차(erroneous trajectory crossings)"를 발생시킵니다. 기본적으로 사람들이 서로를 통과해 걷는 것처럼 선을 그리거나, 그들의 이름을 바꿔버리는 것입니다. 논문은 객체들이 가까워질 때 표준적인 "스냅샷" 방식이 무너져 트랙이 뒤섞인 엉망진창이 된다는 것을 보여줍니다.

해결책: 이야기를 다시 쓰다

저자들은 이를 해결하기 위해 단순히 현재를 보는 것이 아니라, 과거와 미래를 함께 보아야 한다는 것을 깨달았습니다. 그들은 이를 "사후 확률(posterior)"이라고 부르는데, 이는 객체들의 삶의 전체 일기를 현재 시점까지 읽는 것과 같습니다. 그러나 상호작용하는 전체 그룹에 대한 정확한 일기를 계산하는 것은 컴퓨터가 빠르게 수행하기에는 수학적으로 불가능합니다. 마치 만질 때마다 모양이 변하는 퍼즐 조각을 맞추려는 것과 같습니다.

그래서 팀은 "트랙터블 근사법(tractable approximation)"을 발명했습니다. 이것은 매우 똑똑한 요약본이라고 생각하면 됩니다. 모든 불가능한 세부 사항을 계산하려고 노력하는 대신, 그들은 중요한 사실들을 모두 유지하면서도 "최선의 추측" 버전의 일기를 만드는 방법을 찾아냈습니다:

1. 객체 수를 정확히 유지합니다: 그룹에 몇 명의 사람이 있는지 정확히 압니다 ("궤적 기수성").
2. 혼란을 최소화합니다: "쿨백-라이블러 발산(Kullback-Leibler divergence)"이라는 수학적 규칙을 사용하여 그들의 추측이 진실에 최대한 가깝도록 보장합니다. 즉, "이것이 이야기를 요약하는 가장 틀리지 않은 방법이다"라고 말하는 것입니다.
3. 상호작용을 처리합니다: 그들은 수학 안에 특정 "사회적 힘" 모델을 구축했습니다. 이 모델은 보이지 않는 척력 장처럼 작동합니다. 두 객체가 너무 가까워지면, 실제 사람들처럼 수학이 그들을 밀어냅니다.

실험: 시뮬레이션에서 실제 거리까지

그들의 아이디어가 작동함을 증명하기 위해, 저자들은 두 가지 유형의 테스트를 수행했습니다.

테스트 1: 가상 군중
그들은 네 개의 "객체"(디지털 보행자로 생각하십시오)가 움직이는 컴퓨터 시뮬레이션을 만들었습니다. 그들은 이 객체들이 "사회적 힘 모델"을 사용하도록 프로그래밍하여, 서로 부딪히지 않도록 자연스럽게 방향을 틀게 했습니다.

• 기존 방식: 상호작용을 무시하는 표준 방식을 사용했을 때, 디지털 보행자들은 서로를 통과해 걸어갔고, 컴퓨터는 누가 누구인지 혼동했습니다.
• 새로운 방식: 새로운 근사법을 사용했을 때, 디지털 보행자들은 성공적으로 서로를 피해 돌아갔으며, 정체를 유지하고 경로가 겹치지 않았습니다. 컴퓨터는 "회피"를 포착하고 이를 완벽하게 추적했습니다.

또한 센서가 "눈이 멀어" 두 명을 하나의 흐릿한 점으로 합쳐버리는 더 어려운 버전(병합된 측정값)에서도 테스트했습니다. 이 지저한 시나리오에서도 새로운 방법은 트랙을 곧게 유지한 반면, 기존 방법은 대상을 놓치거나 이름을 바꿔버렸습니다.

테스트 2: 실제 세상
그 후, 그들은 실제 광장에서 걷고 있는 사람들의 데이터셋(BIWI Walking Pedestrian 데이터셋)을 사용하여 실제 세상에서 이 방법을 적용했습니다. 그들은 친구들과 가까이 있으면서도 충돌을 피하며 그룹으로 걷고 있는 6명의 실제 보행자를 추적했습니다.

• 결과: 상호작용을 무시하는 표준 방식은 그룹을 올바르게 유지하는 데 실패하여, 종종 보행자들이 서로를 통과해 걷거나 추적을 완전히 놓쳤습니다.
• 새로운 방식: 사회적 힘 규칙과 과거에 대한 스마트한 요약을 결합한 이들의 접근 방식은 모든 보행자를 성공적으로 추적했습니다. 그룹의 응집력을 유지하고 "유령 같은" 충돌을 방지했습니다.

트레이드오프: 속도 대 정확도

물론 대가가 있습니다. 이 상세한 이력 기록 수학을 수행하는 데는 더 많은 시간이 걸립니다. 논문은 이 새로운 방법이 기존의 단순한 방법보다 느리다고 보고합니다.

• 기존의 "표준 GLMB 필터"는 가장 빨랐으며, 프레임당 단 7.5밀리초가 걸렸습니다.
• 새로운 "SFA-then-UA" 방식은 프레임당 336.0밀리초가 걸렸습니다.

하지만 저자들은 이 추가적인 시간이 가치가 있다고 주장합니다. 객체들이 서로 가깝고 상호작용하는 상황(예: 붐비는 거리나 붐비는 방)에서는 답이 틀린다면 속도는 중요하지 않습니다. 그들의 방법은 정확성을 크게 얻기 위해 약간의 속도를 희생하며, 컴퓨터가 가장 혼란스러운 군중 속에서도 정확히 누가 누구인지 알 수 있게 해줍니다.

이것이 의미하는 바

이 논문은 우주의 모든 추적 문제를 해결했다고 주장하는 것이 아닙니다. 이 논문은 객체가 상호작용하고 표준 수학이 실패하는 까다로운 경우를 구체적으로 다룹니다. 그들의 근사법이 오류를 최소화하고 정확한 객체 수를 보존한다는 것을 증명함으로써, 그들은 복잡하고 상호작용하는 군중을 이해해야 하는 엔지니어들에게 신뢰할 수 있는 도구를 제공했습니다. 붐비는 교차로를 항해하는 자율주행 자동차든, 대형을 이루어 비행하는 드론이든, 이 연구는 움직임의 현재 순간만이 아니라 "전체 이야기"를 보는 것이 혼돈을 추적하는 열쇠라는 것을 시사합니다.