ATLASFusion: Aggregation Tracking with Location-Aware Sparse Fusion for Robust Spatio-Temporal Multi-View Pedestrian Tracking

탐정의 딜레마: 전체 그림을 보는 법

당신은 번화한 도시 광장을 통과하는 군중을 추적하려는 탐정이라고 상상해 보세요. 하지만 당신은 사람들 사이를 걸어 다닐 수 없습니다. 대신, 서로 다른 각도에서 장면을 바라보는 건물들에 설치된 보안 카메라 팀에 의존해야 합니다. 이것이 바로 **다중 뷰 다중 객체 추적(Multi-View Multi-Object Tracking, MVMOT)**의 세계입니다. 이는 인공지능이 여러 대의 카메라 영상으로부터 동시에 보행자나 자동차 같은 여러 객체를 추적하는 컴퓨터 비전의 한 분야입니다.

목표는 간단합니다. 사람들이 나무 뒤로 사라지거나 한 카메라의 시야에서 벗어나 다른 카메라의 시야로 들어갈 때도, 모든 사람에게 일관된 "이름표"를 유지하는 것입니다. 하지만 까다로운 문제가 하나 있습니다. 다양한 각도를 이해하기 위해, 컴퓨터는 종종 3D 세상을 **버드스아이 뷰(Bird's-Eye-View, BEV)**라고 불리는 하나의 단일한 탑다운(top-down) 지도로 평면화하려고 시듭니다. 이것은 마치 구겨진 종이를 테이블 위에 평평하게 펼치려는 것과 같습니다. 중심부 근처의 부분은 길게 늘어나고, 가장자리 부분은 찌그러지게 됩니다. 디지털 세계에서 이러한 "늘어남" 현상은 멀리 있는 사람들의 특징을 왜곡시켜, 컴퓨터가 누가 누구인지 구별하기 어렵게 만듭니다. 만약 컴퓨터가 사람의 형태나 위치를 혼동하게 되면, 그 사람의 ID 태그를 놓치거나 다른 사람과 혼동할 수 있습니다. 이 논문은 바로 이 왜곡 문제를 해결하여 컴퓨터가 사람을 더 안정적으로 추적할 수 있도록 돕습니다.

---

ATLASFusion: 스마트한 지도 제작자

이 연구를 이끄는 케이스케 토이다(Keisuke Toida)와 동료 연구진은 ATLASFusion이라는 새로운 시스템을 선보였습니다. 이 시스템은 "늘어남" 문제가 최종 결과물을 망치도록 내버려 두지 않는 매우 똑똑한 지도 제작자라고 생각하면 됩니다. ATLASFusion은 모든 카메라 뷰를 무작정 뭉뚱그려 합치는 대신, 추적을 정확하고 견고하게 유지하기 위해 세 가지 영리한 기술을 사용합니다.

1. "늘어나지 않는" 규칙 (희소 투영 변환, Sparse Perspective Transform)
당신이 도시의 지도를 그리려고 하는데, 건물을 나타낼 점이 몇 개밖에 없다고 상상해 보세요. 만약 점들을 고무줄로 연결하려고 한다면(기존 방식들이 하는 방식입니다), 멀리 있는 건물들은 길고 흐릿한 줄무늬로 늘어날 것입니다. ATLASFusion은 이렇게 말합니다. "안 돼." 늘리는 대신, 이 시스템은 **희소 투영 변환(Sparse Perspective Transform)**을 사용합니다. 카메라로부터 유효하고 선명한 점들만을 골라내어, 빈 공간을 흐릿한 추측으로 채우려 하지 않고 지도상의 정확한 위치에 배치합니다. 이를 통해 사람의 형태를 콤팩트하고 뚜렷하게 유지하며, 멀리 있을 때도 다른 시스템을 혼란스럽게 만드는 "흐릿한 줄무늬" 효과를 방지합니다.

2. 근거리 데이터 신뢰하기 (밀도 인식 가중 합산, Density-Aware Weighted Aggregation)
군중을 볼 때, 바로 앞에 있는 사람들은 매우 명확하게 보이지만, 멀리 있는 사람들은 작고 흐릿하게 보입니다. 기존 방식들은 흐릿한 먼 곳의 픽셀을 명확한 가까운 곳의 픽셀과 동일하게 취급하여 최종 지도를 망치곤 했습니다. ATLASFusion은 이 점에서 더 똑똑합니다. 이 시스템은 **밀도 인식 가중 합산(Density-Aware Weighted Aggregation)**을 사용하여, 모든 정보에 "신뢰도 점수"를 부여합니다. 즉, "카메라 바로 앞에 서 있는 사람들의 상세 정보가 군중 뒤쪽의 흐릿한 정보보다 더 믿을만하다"라고 판단하는 것입니다. 신뢰할 수 있는 근거리 특징에는 더 많은 가중치를 주고, 흔들리는 원거리 특징에는 적은 가중치를 줌으로써, 단순히 모든 것을 평균 내었을 때 발생하는 이상한 빈 공간이나 오보 없이 더 매끄럽고 정확한 지도를 만들어냅니다.

3. "개인 연습" 훈련 (뷰별 BEV 감독, Per-View BEV Supervision)
스포츠 팀이 큰 경기를 치르기 전, 각 선수는 자신의 움직임이 날카로운지 확인하기 위해 개인적으로 연습합니다. 이와 유사하게, 많은 기존 추적 시스템은 결합된 최종 지도가 올바른지만 확인했을 뿐, 각 개별 카메라가 제 역할을 잘하고 있는지는 무시했습니다. ATLASFusion은 규칙을 바꿉니다. 이 시스템은 **뷰별 BEV 감독(Per-View BEV Supervision)**을 사용하여, 각 카메라가 데이터를 결합하기 전에 스스로 좋은 지도를 만드는 법을 배우도록 강제합니다. 이는 모든 카메라가 강력하고 독립적인 플레이어가 되도록 보장합니다. 마침내 데이터를 융합할 때, 모든 카메라가 이미 정확하게 훈련되었기 때문에 그 결과는 훨씬 더 강력해집니다.

결과: 더 날카로운 눈, 더 안정적인 손

연구팀은 ATLASFusion을 두 가지 유명한 데이터셋인 야외 광장의 7개 카메라 영상을 사용하는 WildTrack과 게임 엔진으로 생성된 합성 데이터셋인 MultiViewX에서 테스트했습니다. 결과는 인상적이었습니다.

WildTrack 데이터셋에서 ATLASFusion은 **95.9%**의 추적 점수(IDF1)를 달성하며 비교 대상 중 가장 높은 성적을 기록했습니다. 이는 보행자의 신원을 거의 완벽하게 유지했음을 의미합니다. MultiViewX 데이터셋에서는 사람의 위치 정밀도(MODP)를 **75.0%**에서 **89.2%**로 향상시켰습니다.

하지만 진짜 마법은 상황이 엉망이 되었을 때 일어났습니다. 연구진은 카메라 설정이 약간 어긋나는 경우(캘리브레이션 노이즈)와 같은 "노이즈"를 시스템이 어떻게 처리하는지 테스트했습니다. 카메라 설정에 심한 노이즈를 추가했을 때, 경쟁 시스템인 TrackTacular은 정확도가 **0.0%**로 떨어지며 완전히 실패했습니다. 반면 ATLASFusion은 **40.1%**의 정확도를 유지하며 굳건히 버텼습니다. 마찬가지로, 영상 해상도를 낮추어(이미지를 절반만큼 흐리게 함) 테스트했을 때, 또 다른 시스템인 MVTr은 완전히 무너졌지만, ATLASFusion은 정확도를 단 **1.1%**만 잃었습니다.

가장 중요한 점은, 이러한 모든 개선 사항이 컴퓨터의 속도에 거의 추가 비용을 발생시키지 않았다는 것입니다. ATLASFusion은 실시간 사용이 가능한 **9.90 FPS(초당 프레임 수)**로 작동했으며, 베이스라인 시스템과 동일한 양의 메모리를 사용했습니다.

이것이 의미하는 바

이 논문은 부자연스러운 늘림을 피하고, 흐릿한 데이터보다 신뢰할 수 있는 데이터를 더 믿으며, 각 카메라를 독립적으로 날카롭게 훈련함으로써 훨씬 더 견고한 추적 시스템을 구축할 수 있음을 시사합니다. 이 시스템은 여전히 지면이 평평하다고 가정하고 사전 캘리브레이션된 카메라를 필요로 하지만, 저자들은 이 세 가지 기술이 서로 다른 카메라 뷰를 병합할 때 발생하는 혼란을 크게 줄여준다는 것을 보여주었습니다. 이는 시야가 조금 흐려지거나 카메라가 완벽하게 정렬되지 않더라도 군중을 절대 놓치지 않는 AI 탐정을 만들기 위한 한 단계입니다.