기술 요약: 견고한 2D 추적과 깊이 기반 지연 집적을 통한 온라인 3D 다중 카메라 인식

문제 제기

다중 대상 다중 카메라 추적 (MTMC) 은 대규모 감시 자동화를 위한 핵심 컴퓨터 비전 작업입니다. 2D MTMC 는 뛰어난 성능을 달성했지만, 이러한 기능을 3D 공간으로 확장하는 것은 여전히 어렵습니다. 기존 3D MTMC 접근법은 종종 다중 뷰 데이터나 검출 결과를 추적 전에 통합된 3D 공간으로 융합합니다 (예: EarlyBird, BEV-SUSHI). 이러한 "조기 융합 (early fusion)" 접근법은 일반적으로 2D 추적 구성 요소를 처음부터 모두 교체해야 하므로, 이러한 개편의 복잡성과 비용으로 인해 기존 대규모 감시 시스템에는 종종 비현실적입니다. 또한 3D 추적은 다중 뷰 정보 융합, 부분 가림, 그리고 확장 가능한 객체 수준의 3D 기하학적 표현을 효과적으로 처리해야 합니다.

방법론

저자들은 **지연 3D 바운딩 박스 집적 (Late 3D Bounding Box Aggregation)**을 통해 기존 온라인 2D 다중 카메라 추적 시스템을 3D 공간으로 확장하는 새로운 프레임워크를 제안합니다. 파이프라인은 두 가지 주요 단계로 운영됩니다:

1. 향상된 온라인 2D 다중 카메라 추적

첫 번째 단계는 뷰 간 일관된 2D 바운딩 박스와 글로벌 ID 를 획득하는 데 중점을 둡니다.

• 검출 및 특징 추출: 시스템은 Transformer 기반의 Co-DETR 검출기를 사용합니다. 특징 추출을 위해 외관 임베딩에는 CLIP-ReID 를, 자세 추정 (14 개의 키포인트) 을 통해 발점을 식별하기 위해 RTMPose 를 사용합니다.
• 공간 데이터 연관: 각 시간 단계에서 검출된 2D 대상들은 ReID 외관 특징 (코사인 거리) 과 상단 위치 (호모그래피를 통한 유클리드 거리) 를 기반으로 클러스터링됩니다. 응집형 클러스터링 (Agglomerative clustering) 은 대상들을 고유한 개체로 그룹화합니다.
• 시간적 데이터 연관 (MOT ID 일관성): 글로벌 ID 를 할당하기 위해 저자들은 MOT ID 일관성 메커니즘을 도입합니다. 이 접근법은 연속된 프레임 간의 로컬 MOT ID 일관성을 활용합니다.
  • 일치 매칭: 클러스터의 로컬 ID 그룹이 이전 트랙의 로컬 ID 와 상당 부분 겹칠 경우, 해당 클러스터를 기존 트랙과 매칭합니다.
  • 트랙 분할: 클러스터에 "예상치 못한" 로컬 ID(이전 트랙에서 보지 못한 ID) 가 포함되어 있으며, 이러한 ID 들이 기존 로컬 ID 보다 예상된 트랙과 더 유사한 경우, 시스템은 트랙을 분할합니다. 이는 가림이나 노이즈가 있는 특징으로 인한 ID 전환을 방지합니다.
  • 상태 관리: 트랙들은 가설 (Tentative), 확인됨 (Confirmed), 손실됨 (Lost) 의 세 가지 상태로 관리되며, 재활성화 및 새 트랙 생성에 대한 구체적인 규칙이 적용됩니다.

2. 지연 3D 바운딩 박스 집적

2D 추적과 글로벌 ID 가 확립되면, 시스템은 2D 추적기를 수정하지 않고 3D 표현을 재구성합니다.

• 깊이에서 포인트 클라우드까지: 추적된 각 객체에 대해 시스템은 SAM2 를 사용하여 2D 바운딩 박스 내의 객체를 세그먼트합니다. 마스크 내 픽셀에 대해 제공된 깊이 맵에서 깊이 값을 추출합니다. 이러한 2D 픽셀은 3D 카메라 좌표로 투영된 후 외향 보정 파라미터를 사용하여 글로벌 월드 좌표계로 변환됩니다.
• 포인트 클라우드에서 3D 바운딩 박스까지: 결과적인 포인트 클라우드는 가림이나 투영 오류로 인해 종종 노이즈와 분열을 포함합니다.
  • 클러스터링: DBSCAN 을 적용하여 노이즈를 제거하고 객체의 포인트 클라우드를 분리합니다.
  • 박스 추정: 차원은 포인트 좌표의 백분위수를 사용하여 추정됩니다. 포인트 클라우드가 너무 희소하거나 노이즈가 많은 경우를 처리하기 위해, 시스템은 예측된 부피를 학습 세트의 해당 클래스 평균 부피와 비교하여 검증하며, 차원이 정의된 범위 ($\alpha_{lower}$에서 $\alpha_{upper}$) 를 벗어나면 제한합니다.
• 3D 바운딩 박스 융합: 2D 공간 연관에서의 잠재적 오류로 인해 단일 객체가 서로 다른 ID 를 가진 여러 3D 박스를 할당받을 수 있습니다. 시스템은 중첩된 박스들을 3D IoA 를 사용하여 가중치 융합하여 단일하고 정확한 3D 바운딩 박스로 병합합니다.
• 요 (Yaw) 정제: 방향 정확도를 향상시키기 위해 요 각도는 대상의 이동 궤적을 기반으로 정제됩니다. 각도는 $t-10$과 $t$ 프레임 사이의 변위 벡터로 계산되며, 이동이 특정 임계값을 초과할 때만 업데이트됩니다.

주요 기여

1. 유연한 프레임워크: 2D 구성 요소를 다시 구축할 필요 없이 지연 집적을 통해 기존 온라인 2D MTMC 시스템을 3D 추적 결과로 확장하는 방법.
2. 향상된 연관 메커니즘: 로컬 ID 일관성을 활용하여 프레임 간 글로벌 ID 를 전파하는 MOT ID 일관성을 사용한 온라인 연관 전략으로, 카메라 간 추적 성능을 향상시킴.
3. 3D 재구성 메커니즘: 세그멘테이션, 깊이 맵 추출, 포인트 클라우드 클러스터링, 기하학적 정제를 사용하여 ID 가 할당된 2D 바운딩 박스를 3D 공간으로 확장하여 3D 바운딩 박스를 생성하는 파이프라인.
4. 검증: 이 방법은 2025 AI City Challenge 3D MTMC 데이터셋에서 검증되었으며, 공개 리더보드에서 3 위를 달성했습니다.

결과

제안된 시스템은 AIC25 MTMC 데이터셋 (23 개의 합성 장면, 최대 50 개 카메라) 에서 평가되었습니다.

• 2D 성능: 검증 세트에서 MOT ID 일관성 매칭은 HOTA 점수를 20.46% (48.63 에서 69.09 로) 향상시켰으며, 이는 주로 연관 정확도 (AssA) 의 29.03% 증가에 기인합니다.
• 3D 성능: 공개 테스트 세트에서 전체 파이프라인은 **HOTA 점수 28.75%**를 달성했습니다.
  • MOT ID 일관성 모듈은 탐지 정확도 (DetA) 를 약 5% 증가시키고 AssA 를 7% 증가시키는 데 기여했습니다.
  • 지연 3D 집적 모듈이 가장 큰 향상을 제공하여 DetA 를 13% 증가시키고 HOTA 를 10% 높였습니다.
  • 요 정제는 위치 정확도 (LocA) 를 추가로 개선하여 최종 HOTA 를 28.75% 로 끌어올렸습니다.
• 리더보드 순위: 이 시스템은 2025 AI City Challenge 트랙 1 에서 3 위를 차지하여 UTE AI Lab(25.39 HOTA) 및 SKKU-AutoLab(다른 맥락에서 63.13 HOTA, 하지만 논문은 특정 3D 트랙에 대해 TeamQDT 를 28.75 HOTA 로 나열함) 등 다른 팀들을 능가했습니다.

중요성과 주장

이 논문은 기존 감시 인프라를 업그레이드하기 위한 실용적이고 비용 효율적인 솔루션을 제공한다는 점을 주요 중요성으로 주장합니다. "지연 집적"을 활용함으로써 저자들은 확립된 2D 추적 구성 요소를 교체하는 데 드는 막대한 비용과 복잡성 없이 고품질 3D 인식을 달성할 수 있음을 입증했습니다. 이 프레임워크는 깊이 정보와 견고한 ID 일관성을 활용하여 가림 및 다중 뷰 과제를 처리함으로써 2D 추적과 3D 위치 결정 사이의 간극을 효과적으로 메우며, 이는 엄격한 벤치마크에서의 경쟁력 있는 성능으로 입증되었습니다.