기술 요약: MVDGC – 이중 기하학적 제약을 통한 결합된 3D 및 2D 다중 뷰 보행자 탐지

1. 문제 정의

다중 뷰 보행자 탐지(Multi-View Pedestrian Detection, MVPD)의 핵심 과제는 혼잡한 장면에서의 폐쇄(occlusion)를 추론하기 위해 서로 다른 관점으로부터 시각적 특징을 효과적으로 집계하는 것입니다. 기존 방식은 일반적으로 다음 두 가지 범주로 나뉘며, 두 방식 모두 상당한 한계를 가집니다:

• 앵커 기반 방식(Anchor-based methods): 각 뷰에서 독립적으로 2D 탐지를 수행한 후 기하학적 근접성과 외형을 기반으로 탐지 결과들을 연관시킵니다. 효율적이긴 하지만, 조기 특징 정렬(early feature alignment)의 부재로 인해 폐쇄, 탐지 누락 및 취약한 교차 뷰 연관성에 노출됩니다.
• 중앙 집중형 방식(Centralized-based methods): 이미지 특징을 공유된 Bird's Eye View(BEV) 맵에 투영하여 조밀한 점유 탐지(dense occupancy detection)를 수행합니다. 그러나 이 투영에 필요한 원근 변환은 심각한 기하학적 왜곡을 유발하여 특징을 불균일하게 늘립니다. 이는 공간 구조의 붕괴, 특징 흐림, 그리고 이산화된 BEV 히트맵으로부터 발생하는 양자화 오차를 초래하여, 특히 밀집된 군중 속에서 위치 정밀도를 저하시킵니다.

나아가, 현재의 방법들은 BEV 지면 점(ground points)과 2D 이미지 바운딩 박스 사이의 강력한 상호 관계를 활용하지 못하고, 2D 탐지를 주된 BEV 위치 추정 작업과 함께 최적화해야 할 대상이 아닌 단순히 보조적인 신호로만 취급하는 경점이 있습니다.

2. 방법론: MVDGC

저자들은 밀집한 BEV 특징 맵에 의존하지 않고, BEV 평면상의 보행자 위치와 이미지 뷰에서의 2D 바운딩 박스를 공동으로 추정하는 통합된 엔드 투 엔드 쿼리 기반 프레임워크인 MVDGC를 제안합니다. 이 프레임워크는 3D 원통형 쿼리(3D cylindrical query) 표현을 기반으로 구축되었으며, 다음과 같은 핵심 구성 요소로 이루어져 있습니다:

2.1 3D 원통형 쿼리 정식화

전체 3D 바운딩 박스(사용 불가능한 전체 3D 주석이 필요한)를 회귀하거나 2D 점만을 사용하는 대신, MVDGC는 각 보행자를 학습 가능한 3D 수직 원통으로 표현합니다.

• 표현: 쿼리 $Q_{3D}$는 위치 성분 $P_{3D} = \{x, y, h, r\}$ (지면 평면 좌표, 높이, 반지름)와 특징 성분 $F_{3D}$로 정의됩니다.
• 기하학적 가교(Geometric Bridge): 원통의 중심은 BEV 평면에 위치하며, 이것이 이미지 뷰로 투영되면 자연스럽게 직사각형 바운딩 박스를 형성합니다. 이는 BEV 위치 추정과 ImV 탐지를 하나의 작업으로 통합합니다: 즉, 원통의 위치와 형태를 정교화하는 것입니다.
• 장점: 복잡한 다각형으로 투영되는 3D 큐보이드(cuboids)와 달리, 원통은 깔끔한 직사각형 박스로 투영되어 BEV 위치 추정을 직접 지원하고 3D 형상 파라미터를 약하게 감독(weakly supervise)합니다.

2.2 네트워크 아키텍처

디코딩 단계는 세 가지 특화된 모듈을 통해 이러한 쿼리를 처리합니다:

1. 다중 뷰 특징 샘플링(Multi-view Feature Sampling): 3D 원통형 쿼리는 카메라 투영 행렬을 사용하여 모든 카메라 뷰에 걸쳐 2D 참조점으로 투영됩니다. 전체 특징 맵을 BEV로 워핑(warping)하는 대신, 모델은 디포머블 크로스 어텐션(deformable cross-attention)을 사용하여 원시 이미지 도메인에서 국소 특징을 직접 샘플링합니다. 이를 통해 투영으로 인한 왜곡과 해상도 손실을 제거합니다.
2. 내부-외부 쿼리 상호작용(Intra-Inter Query Interaction): 이 모듈은 두 단계로 정보 교환을 촉진합니다:
   • 내부 뷰(Intra-view): 동일한 카메라 뷰 내의 쿼리 간 통신을 허용하여 공간적 일관성을 확립합니다.
   • 외부 뷰(Inter-view): 서로 다른 뷰에 존재하는 동일 객체의 외형 특징의 균질성을 강화합니다.
3. 다중 뷰 적응형 융합(Multi-view Adaptive Fusion): 폐쇄 및 가시성 변화를 처리하기 위해, 모델은 모든 카메라 뷰의 모든 객체 쿼리에 대해 인스턴스별 어텐션 가중치를 학습합니다. 이를 통해 네트워크가 모든 보행자에게 균일한 뷰 가중치를 적용하는 대신, 각 개별 보행자에게 가장 정보가 풍부한 뷰를 우선시할 수 있게 합니다.

2.3 학습 목적 함수

MVDGC는 3D 원통의 정교화를 감독하기 위해 **이중 기하학적 제약(dual geometric constraints)**을 사용합니다:

• BEV 감독: 불확실성을 모델링하기 위한 KL 기반 회귀 손실과 포컬 스타일(focal-style) 분류 손실을 사용하여 원통의 지면 평면 좌표 $(x, y)$를 직접 회귀합니다.
• ImV 감독: 투영된 원통이 이미지 뷰의 2D 바운딩 박스와 정렬되도록 Smooth L1 및 Generalized IoU (GIoU) 손실을 사용하여 제약합니다.
• 결합 최적화: 원통의 형상($r, h$)은 ImV 바운딩 박스 제약에 의해 약하게 감독되어, 도메인 간의 기하학적 일관성을 보장합니다.
• 매칭 전략: 혼잡한 장면에서 재현율(recall)을 높이기 위해 최대 $K=3$까지의 일대다 할당을 허용하는 적응형 헝가리안 매칭(Adaptive Hungarian Matching) 전략이 사용됩니다.

3. 주요 기여

1. 새로운 프레임워크 (MVDGC): 밀집한 BEV 특징 맵에 내재된 양자화 오차와 투영 왜곡을 피하면서, BEV 좌표와 2D 바운딩 박스를 직접 회귀하는 쿼리 기반 프레임워크입니다.
2. 3D 원통형 표현: BEV 지면 점과 ImV 바운딩 박스를 연결하는 통합된 기하학적 표현입니다. 이는 공간 도메인 전반에 걸쳐 공유된 글로벌 정체성(global identity)을 확립하여, 심한 폐쇄 상황에서도 결합 탐지 및 견고한 추적을 가능하게 합니다.
3. 이중 공간 일관성: BEV와 이미지 뷰 모두에서 기하학적 제약을 강제함으로써 최첨단(SOTA) 위치 정밀도를 달 achieves 합니다.
4. 일반화: 실제 환경(WildTrack) 및 합성 데이터셋(MultiViewX, GMGD)에 대한 광범위한 검증을 통해 미학습 장면 구성 및 카메라 레이아웃에 대한 견고함을 입증했습니다.

4. 실험 결과

저자들은 WildTrack, MultiViewX, 그리고 일반화된 GMVD 데이터셋에서 MVDGC를 평가했습니다.

• MVPD 성능: MVDGC는 여러 지표에서 SOTA 성능을 달성했습니다. WildTrack에서 MODP 83.8, MODA 94.2를 기록했습니다. MultiViewX에서는 MODP 93.0, MODA 95.7을 달성했습니다. 이는 중앙 집중형 방식(예: MVDeTr, 3DROM, EarlyBird) 및 추가 정보(예: 시간적 단서, 비주얼 헐)를 활용하는 방식보다 우수한 성능입니다.
• 추적 성능: BEV 도메인에서 글로벌 ID를 이미지 뷰로 전달함으로써, MVDGC는 단일 뷰 추적 베이스라인을 크게 앞질렀습니다.
  • WildTrack에서 ImV 추적 HOTA 65.4, MOTA 72.9를 달성하여 강력한 CNN 및 트랜스포머 기반 추적기(예: MeMOTR, StrongSORT)를 큰 차이로 능가했습니다.
  • MultiViewX에서는 ImV 추적 HOTA 48.4, MOTA 40.0을 달성했습니다.
• 어블레이션 연구(Ablation Studies):
  • 모듈: 내부-외부 상호작용과 적응형 융합의 결합이 가장 높은 이득을 가져왔습니다.
  • 손실 함수: 결합된 BEV-ImV 감독이 BEV 전용 감독보다 훨씬 뛰어난 성능을 보였습니다. 점 회귀를 위한 KL 손실은 주석의 모호성을 처리하는 데 더 우수함이 증명되었습니다.
  • 쿼리 유형: 3D 원통형 쿼리가 단순한 3D 참조점보다 훨씬 뛰어난 성능을 보여, 기하학적 제약의 중요성을 입증했습니다.
  • 일반화: 서로 다른 훈련/테스트 장면을 가진 GMVD 데이터셋에서 MVDGC는 높은 성능을 유지하여 강력한 교차 장면 일반화 능력을 보여주었습니다.

5. 의의 및 주장

본 논문은 MVDGC가 밀집한 BEV 그리드로의 원근 투영 필요성을 우회함으로써 기존 MVPD 방법들의 근본적인 한계를 해결한다고 주장합니다. 3D 원통으로 보행자를 취급하고 이중 제약을 강제함으로써, 이 방법은 다음을 실현합니다:

• 왜곡 제거: 원시 이미지에서 특징을 직접 샘플링하여, 원근 왜곡으로 인한 공간적 관계의 붕괴와 기하학적 왜곡을 방지합니다.
• 견고한 추적 가능: 통합된 3D 표현은 뷰와 시간 전반에 걸쳐 전파될 수 있는 일관된 글로벌 정체성을 제공하여, BEV 위치 추정과 2D 추적 사이의 단절 문제를 해결합니다.
• 폐쇄 처리: 객체 중심 설계 덕분에 모델은 단순히 잠재적으로 폐쇄될 수 있는 발 부분에만 의존하는 대신, 가시적인 신체 부위(몸통, 머리)의 특징을 활용하여 폐쇄된 보행자에 대해 추론할 수 있습니다.

저자들은 다중 뷰를 통해서도 심각한 폐쇄가 지속되는 극도로 밀집된 군중에서의 재현율(recall)에 대한 한계를 언급하며, 향로 작업으로 포인트 클라우드와 유사한 표현을 합성하기 위한 깊이 생성 모델의 통합을 제안했습니다. 그러나 현재의 연구는 기하학적 제약을 통해 2D 및 3D 추론을 통합함으로써 다중 뷰 보행자 탐지의 새로운 벤치마크를 구축했습니다.