💻 computer science

Multi-Camera Trajectory Forecasting with Trajectory Tensors

이 논문은 새로운 "궤적 텐서(trajectory tensors)"와 "어디서-언제-어디를(Which-When-Where)" 접근 방식을 활용하여 여러 카메라 뷰에 걸친 객체의 움직임을 예측하는 다중 카메라 궤적 예측 프레임워크를 소개하며, 대규모 다중 뷰 데이터셋에서 기존의 단일 카메라 방식보다 우수한 성능을 입증한다.

원저자: Olly Styles, Tanaya Guha, Victor Sanchez

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Olly Styles, Tanaya Guha, Victor Sanchez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 단 하나의 보안 카메라를 통해 북적이는 도시 광장을 지켜보고 있다고 상상해 보십시오. 당신은 한 사람이 화면 가장자리를 향해 빠르게 걸어가는 것을 봅니다. 컴퓨터 비전의 세계에서 이것은 고전적인 퍼즐입니다: "그들은 다음에 어디로 갈 것인가?" 과학자들은 컴퓨터가 이를 추측하도록 수년 동안 가르쳐 왔지만, 대개 한 번에 하나의 카메라만을 관찰합니다. 이는 마치 아주 작은 구멍을 통해 친구의 경로를 예측하려는 것과 같습니다. 친구가 시야에서 벗어나는 순간, 당신은 어둠 속에서 추측할 수밖에 없습니다. 이러한 한계는 사람을 장시간 또는 넓은 구역에 걸쳐 추적하는 것을 어렵게 만듭니다. 이를 해결하기 위해, 연구자들은 이제 여러 카메라 사이의 점들을 연결하여, 전체 그림을 한 번에 보는 "슈퍼 비전(super-vision)"을 만드는 데 주력하고 있습니다. 목표는 단순히 지금 무슨 일이 일어나고 있는지를 관찰하는 것이 아니라, 사람이 다른 카메라 구역 사이를 이동하더라도 다음에는 어느 방의 어느 시점에 나타날지를 예측하는 시스템을 구축하는 것입니다.

이 논문은 "다중 카메라 궤적 예측(Multi-Camera Trajectory Forecasting, MCTF)"이라 불리는 이 퍼즐을 해결하는 새로운 방법을 소개합니다. 저자인 올리 스타일스(Olly Styles), 타나야 구하(Tanaya Guha), 빅터 산체스(Victor Sanchez)는 GPS 핀처럼 단순한 X와 Y 좌표를 사용하는 기존의 움직임에 대한 사고방식이 여러 대의 카메라가 존재하는 세상에는 너무 경직되어 있다고 주장합니다. 그들은 "궤적 텐서(trajectory tensors)"라고 불리는 더 유연한 도구를 제안합니다. 좌표가 지도 위의 단일 점이라면, 궤적 텐서는 전체 격자를 덮는 빛나는 흐릿한 구름과 같습니다. 이 구름은 사람이 정확히 어디에 있는지, 크기가 얼마인지, 심지어 특정 지점에 있을 확률이 얼마나 되는지까지 보여줄 수 있으며, 동시에 그들이 한 카메라에서 사라졌다가 다른 카메라에서 다시 나타나는 상황도 처리할 수 있습니다.

연구진은 자신들이 직접 만든 방대한 데이터셋인 "워릭-NTU 다중 카메라 예측(WNMF)" 데이터셋을 통해 아이디어를 테스트했습니다. 이것은 단 몇 초의 영상이 아닙니다. 대학 건물 내에서 사람들이 복도를 이동하는 모습을 추적하며 15대의 서로 다른 카메라로 포착한 600시간 분량의 영상입니다. 그들은 하나의 도전 과제를 설정했습니다: 단 2초간의 과거 움직임만을 사용하여, 컴퓨터가 다음 12초 동안 그 사람이 어디에 있을지 예측할 수 있는가? 이 과제는 세 가지 질문으로 나뉩�니다: "어느 카메라에 나타날 것인가?" (어디에), "언제 도착할 것인가?" (언제), 그리고 "그 카메라의 시야 중 정확히 어디에 있을 것인가?" (어디에).

결과는 그들의 새로운 "텐서" 접근 방식이 기존 방식보다 우수함을 시사합니다. 단순한 좌표를 사용하는 전통적인 모델들은 여러 카메라의 복잡성을 처리하는 데 어려움을 겪었지만, 궤적 텐서 모델—특히 3D-CNN 구조를 사용하는 모델—이 가장 좋은 성능을 보였습니다. 이 모델들은 적절한 카메라, 적절한 시간, 그리고 적절한 위치를 맞추는 데 더 뛰어났습니다. 저자들은 카메라 네트워크를 별개의 구멍들이 모인 집합이 아니라 하나의 통합된 격자로 취급함으로써, 컴퓨터가 훨씬 더 효과적으로 패턴을 학습할 수 있음을 발견했습니다. 예를 들어, 한 사람을 여러 카메라에서 동시에 관찰하는 것(다중 뷰)이 단일 카메라만 보는 것보다 모델의 정확도를 크게 높여준다는 것을 보여주었습니다.

하지만 이 논문은 이것이 완벽하게 해결된 문제라고 주장하지 않도록 주의를 기울입니다. 저자들은 자신들의 모델이 기존의 기준점(baselines)들보다 성능이 뛰어나지만, 특히 일반적인 영역이 아닌 정확한 위치(Where)를 예측하는 작업은 여전히 매우 어렵다는 점을 언급합니다. 또한, 그들의 시스템은 현재 훈련과 테스트 사이에 카메라 네트워크가 동일하게 유지될 때 가장 잘 작동하며, 갑자기 카메라를 추가하거나 제거하면 모델이 혼란을 겪을 수 있다고 지적합니다. 나아가, 119개의 다인(multi-person) 시나리오를 통해 성공적으로 입증했음에도 불구하고, 전체 데이터셋에 비해 표본 크기가 작으므로 이러한 결과를 신중하게 다루어야 한다고 경고합니다.

본질적으로, 이 논문은 복잡한 다중 카메라 환경에서 인간의 움직임을 진정으로 예측하기 위해서는, 단일 점이 아니라 빛나는 다차원 구름으로 생각하기 시작해야 함을 시사합니다. 이러한 "궤적 텐서"를 사용함으로써, 컴퓨터는 사람이 다음에 어디에 있을지를 더 높은 확신을 가지고 예측할 수 있으며, 이는 감시 시스템이 더 똑똑하고 효율적으로 변하고, 카메라 사이의 공백에서 사람을 놓치는 일 없이 더 먼 거리까지 추적할 수 있도록 도울 수 있습니다.

기술 요약: 궤적 텐서를 이용한 다중 카메라 궤적 예측

문제 정의
본 논문은 비중첩 또는 부분적으로 중첩되는 카메라 네트워크를 가로질러 움직이는 객체의 미래 궤적을 예측하는 작업인 **다중 카메라 궤적 예측(Multi-Camera Trajectory Forecasting, MCTF)**이라는 과제를 다룹니다. 기존 문헌은 단일 카메라 궤적 예측(SCTF)에 크게 집중되어 있으나, 저자들은 단일 카메라 패러다임의 다음과 같은 결정적인 한계점을 식별했습니다:

제한된 시야(Field-of-View): SCTF는 객체가 카메라 시야를 빠르게 벗어나기 때문에 단기 예측(통상 1~5초)에 국한됩니다.
진입 예측 불가능: 단일 카메라 모델은 인접한 카메라로부터 새로운 객체가 언제, 어디로 진입할지 예측할 수 없습니다.
계산 효율성 문제: 고해상도 영상을 사용하여 탐지 및 추적을 수행하는 대규모 카메라 네트워크를 모니터링하는 것은 계산 비용이 많이 들며, 해상도나 프레임 레이트를 낮출 경우 탐지를 놓치는 경우가 빈번하게 발생합니다.

MCTF 문제는 하나의 또는 여러 뷰에서 관찰된 객체의 트랙릿(2초간의 이력)이 주어졌을 때, 전체 네트워크에 걸쳐 최대 12초 동안의 미래 위치를 예측하는 선제적 시스템으로 공식화됩니다. 이는 세 가지 계층적 작업으로 나뉩니다:

Which (어느 카메라인가): 객체가 다음에 나타날 카메라(들)는 어디인가?
When (언제인가): 해당 카메라들에 객체가 나타날 타임스텝은 언제인가?
Where (어디인가): 해당 카메라 뷰 내의 정확한 지점(공간 좌표)은 어디인가?

방법론
저자들은 **궤적 텐서(Trajectory Tensors)**라는 새로운 데이터 표현법을 중심으로 하는 딥 인코더-디코더 프레임워크를 제안합니다.

궤적 텐서: 폐쇄(occlusion), 다중 뷰 일반화, 불확실성 모델링에 어려움을 겪는 전통적인 좌표 기반 표현 방식( $(x, y)$ 좌표 시퀀스)과 달리, 궤적 텐서는 객체의 존재를 히트맵(heatmap) 형태로 인코딩합니다.
- 각 카메라 뷰는 $w \times h$ 그리드로 나뉩니다.
- 객체의 위치는 가우시안 커널을 통해 매끄럽게 처리된 그리드 셀 내의 이진 값(존재/부재)으로 표현됩니다.
- $k$ 개의 카메라가 $t$ 개의 타임스텝 동안 생성한 히트맵은 $k \times t \times w \times h$ 차원의 텐서로 쌓입니다.
- 이 표현 방식은 "널 궤적(null trajectories)"(특정 카메라에서 객체가 보이지 않는 상황)을 자연스럽게 처리하며, 단일 구조 내에서 다중 모드 미래(불확실성)를 모델링할 수 있습니다.
모델 아키텍처: 본 논문은 여러 인코더-디코더 모델을 평가합니다:
- 좌표 기반 베이스라인: 좌표 데이터에 적용된 적응형 SCTF 모델(GRU, LSTM, 1D-CNN)로, 각 카메라 뷰마다 별도의 모델이 필요합니다.
- 궤적 텐서 모델: 텐서 데이터를 직접 처리하는 통합 모델입니다. 여기에는 다음이 포함됩니다:
  - 3D-CNN: 시공간 특징을 동시에 추출하기 위해 3D 컨볼루션을 사용합니다.
  - 2D-1D-CNN: 파라미터 수를 줄이기 위해 공간적(2D) 특징과 시간적(1D) 특징 추출을 분리합니다.
  - CNN-GRU: 공간적 특징을 벡터로 압축하기 위한 CNN 오토인코더를 사용한 후, 이를 GRU로 처리하는 하이브리드 방식입니다.
평가 지표: 표준 변위 오차(ADE/FDE)가 다중 카메라 환경에 맞게 조정되었습니다. 저자들은 모든 작업에 대해 **평균 정밀도(Average Precision, AP)**를 도입하고, "When" 및 "Where" 작업의 확률적 특성을 더 잘 다루기 위해 Soft-Intersection-over-Union (SIOU) 지표를 제안합니다.

주요 기여

문제 공식화: 객체 궤적을 카메라 네트워크 전체에서 예측하기 위한 "Which-When-Where" 계층 구조를 명시적으로 정의하여 MCTF 프레임워크를 도입했습니다.
궤적 텐서: 폐쇄 및 다중 뷰 일반화와 관련된 좌표 기반 방식의 한계를 극복하기 위해, 다중 카메라 궤적과 그에 따른 불확실성을 인코딩하는 새로운 데이터 표현 기술을 제안했습니다.
통합 모델링: 좌표 기반 방식에서 요구되는 다중 모델 접근 방식과 대조적으로, 단일 통합 모델이 모든 카메라의 데이터를 동시에 처리할 수 있음을 입증했습니다.
데이터셋: 난양 공과대학교(NTU) 캠퍼스의 15개 카메라에서 수집되었으며, 다중 뷰포인트 이탈을 포함한 2.0K개의 정제된 교차 카메라 매치를 포함하는 Warwick-NTU Multi-camera Forecasting (WNMF) 데이터셋을 공개했습니다.

결과
실험은 WNMF 데이터셋을 사용하여 5-겹 교차 검증(5-fold cross-validation)으로 수행되었습니다.

성능: 궤적 텐서 기반 모델은 "Which", "When", "Where" 작업 모두에서 좌표 기반 베이스라인 및 수작업 특징(hand-crafted feature) 베이스라인보다 일관되게 우수한 성능을 보였습니다.
최적의 모델: 3D-CNN 아키텍처가 특히 "Which"와 "Where" 작업에서 전반적으로 가장 높은 성능을 달연했습니다.
다중 뷰의 이점: 어블레이션 연구(Ablation studies)를 통해 궤적 텐서와 함께 여러 카메라 뷰의 입력을 사용하는 것이 단일 뷰 입력에 비해 성능을 유의미하게 향상시킨다는 것을 확인했습니다.
다중 타겟 확장: 본 프레임워크는 배치 차원(batch dimension)을 따라 궤적을 쌓음으로써 여러 타겟을 동시에 처리할 수 있도록 확장되었으며, 통합 텐서 방식이 객체가 여러 개일 때도 효과적임을 보여주었습니다.

의의 및 주장
본 논문은 MCTF 프레임워크와 궤적 텐서 표현이 감시 애플리케이션을 위한 기존 SCTF 방법보다 상당한 진보를 이루었다고 주장합니다. 저자들은 자신들의 접근 방식이 다음과 같은 이점을 제공한다고 asserts 합니다:

단일 카메라 뷰의 제약을 제거함으로써 장기 예측을 가능하게 합니다.
모든 피드를 지속적으로 모니터링하는 대신, 객체가 나타날 것으로 예측되는 특정 카메라에 자원을 집중할 수 있게 하여 지능형 카메라 모니터링을 용이하게 합니다.
객체의 위치를 중복된 뷰를 통해 예측함으로써 **강건성(robustness)**을 제공합니다.
좌표 기반 방식에 비해 불확실성과 다중 모드 미래를 모델링하는 데 있어 더 직관적이고 우아한 방법을 제공합니다.

저자들은 자신들의 모델이 WNMF 데이터셋에서 유망한 결과를 보여주었으나, 다양한 환경에서 이 접근 방식을 완전히 평가하기 위해서는 더 많은 데이터셋이 필요하다고 결론지었습니다. 그들은 이 연구가 기존의 인물 재식별(person re-identification) 및 다중 카메라 추적 시스템을 보완할 것으로 기대하고 있습니다.

유사한 논문