Geometry-Aware Fisheye-LiDAR Fusion for Robust 3D Object Detection in Low-Overlap Setups

기술 요약: 강건한 3D 객체 탐지를 위한 기하학 인지형 피쉬아이-LiDAR 융합 (Geometry-Aware Fisheye-LiDAR Fusion)

문제 정의
자율 주행 시스템이 자본 집약적인 로보택시에서 비용 효율적인 물류(예: 광산, 라스트 마일 배송)로 전환됨에 따라, 센서 구성은 커버리지 대비 비용 최적화에 집중되고 있습니다. 흔히 사용되는 희소 뷰(sparse-view) 설정은 단일 루프 장착 LiDAR와 두 개의 측면 피쉬아이 카메라를 결합합니다. 이 구성은 심각한 기하학적 과제를 야기합니다: 극심한 방사형 왜곡, 카메라 간의 최소한의 중첩, 그리고 표준 직교(rectilinear) 그리드를 사용하는 일반적인 BEV(Bird's-Eye View) 융합 알고리즘과 피쉬아이 렌즈의 구형 투영 사이의 근본적인 불일치입니다.

표준 융합 파이프라인은 이미지와 포인트 클라우드 모달리티를 프로세스 초기 단계에서 통합된 데카르트(Cartesian) 그리드로 강제합니다. 이러한 접근 방식은 피쉬아이 카메라의 경우 심각한 특징 왜곡과 정보 손실을 유발하는데, 이는 이미지 정보의 비균일한 분포(중심부는 밀집되어 있고 주변부는 압축된 형태)가 직교 데카르트 그리드의 균일한 공간 해상도와 일치하지 않기 때문입니다. 폴라(Polar) BEV 그리드는 피쉬아이 데이터의 방사형 분포와 더 잘 정렬되지만, 객체 탐지에는 본질적인 어려움을 초 introduces 합니다: 극좌표계에서는 직사각형 형태의 객체가 심하게 왜곡되고 회전 가변적으로 변하여 바운딩 박스 회귀(regression)를 복잡하게 만듭니다.

방법론: 기하학 인지형 하이브리드 융합 (GA-HF)
피쉬아이의 기하학적 특성을 보존하는 것과 탐지를 위한 미터법적 정확도를 유지하는 것 사이의 절충안을 해결하기 위해, 저자들은 두 좌표 표현의 강점을 활용하여 특징 추출과 객체 탐지를 분리하는 기하학 인지형 하이브리드 융합 (GA-HF) 프레임워크를 제안합니다.

1. 왜곡 인지형 폴라 리프트-스플랫-슛 (LSS):
   표준 데카르트 프러스텀(frustum)을 사용하는 대신, 이 프레임워크는 피쉬아이 특징을 폴라 BEV 그리드 ($R \times \Theta \times Z$)로 리프트합니다. 이 모듈은 특정 피쉬아이 모델(예: KITTI-360의 MEI, Fisheye3DOD 및 Dur360BEV의 Polynomial/OCam)에 적응할 수 있는 범용 언프로젝션 인터페이스 $\Pi^{-1}$를 활용합니다. 특징을 폴라 그리드에 직접 투영함으로써, 이 방법은 피쉬아이 렌즈의 고유한 각도 밀도와 방사형 해상도를 보존하며, 데카르트 재샘플링과 관련된 보간 아티팩트를 방지합니다.

2. 하이브리드 좌표 아키텍처:
   프레임워크는 듀얼 스트림 설계를 채택합니다:

• 폴라 스트림(Polar Stream): 각도 충실도를 극대화하기 위해 폴라 도메인에서 피쉬아이 특징을 처리합니다.
• 데카르트 스트림(Cartesian Stream): 바운딩 박스 회귀에 필수적인 미터법적 정밀도를 보장하기 위해 희소 복셀 인코더(VoxelNet)를 사용하여 데카르트 공간에서 LiDAR 포인트 클라우드를 처리합니다.
• 정렬(Alignment): 미분 가능한 좌표 워핑(warping) 단계를 통해 폴라 카메라 특징을 데카르트 LiDAR 그리드와 쌍선형 보간(bilinear interpolation)을 통해 정렬합니다.

3. 듀얼 어텐션 워핑 수정 모듈 (DA-WCM):
   두 이종 스트림 간의 격차를 해소하고 워핑으로 인해 발생하는 품질 불균형(저중첩 또는 고왜곡 주변 영역에서의 늘어짐 아티팩트 유발)을 해결하기 위해, 저자들은 CBAM 기반의 듀얼 어텐션 워핑 수정 모듈을 도입했습니다.

• 공간 어텐션(Spatial Attention): 신뢰도 맵을 학습하여 융합 전 신뢰할 수 없는 영역(예: 사각지대, 심한 주변부 왜곡)의 가중치를 적응적으로 낮춥니다.
• 채널 어텐션(Channel Attention): 고품질 시맨틱 큐를 강화하기 위해 특징 채널을 정제합니다.
  이 모듈은 밀집되어 있지만 잠재적으로 노이즈가 많은 피쉬아이 특징이 고정밀 LiDAR 표현을 저하시키지 않도록 보장하며, 카메라 스트림이 신뢰할 수 있는 곳에서만 시맨틱 컨텍스트를 기여하도록 합니다.

주요 기여

1. 왜곡 인지형 폴라 LSS: 특정 카메라 모델을 사용하여 피쉬아이 특징을 폴라 BEV 그리드로 투영함으로써 고유의 각도 해상도를 보존하는 새로운 리프팅 스킴을 제시합니다.
2. 하이브리드 좌표 아키텍처: 폴라 특징 추출과 데카르트 객체 회귀를 분리하는 듀얼 스트림 프레임워크를 통해, 순수 폴라 탐지 헤드의 기하학적 불안정성을 피하면서 미터법적 일관성을 유지합니다.
3. 듀얼 어텐션 워핑 수정: 공간 및 채널 어텐션을 사용하여 워핑된 카메라 특징을 명시적으로 정제함으로써 융합 전 저품질 영역의 아티팩트를 억제합니다.
4. 교차 데이터셋 검증: 세 가지 벤치마크(KITTI-360, Dur360BEV, 합성 데이터인 Fisheye3DOD)에 대한 포괄적인 평가를 통해 실세계 및 합성 도메인 전반의 일반화 가능성을 입증했습니다.

실험 결과
GA-HF 프레임워크는 세 가지 데이터셋에서 평가되었으며, 피쉬아이-LiDAR 융합 분야에서 최첨단(SOTA) 성능을 달성했습니다:

• KITTI-360: GA-HF는 데카르트 기반 베이스라인 대비 NuScenes 탐지 점수(NDS)를 4.2% 향상시켰습니다. 특히 방향 오차(mAOE) 측면에서 기존 융합 베이스라인(BEVFusion 및 DAL)이 1.0 이상의 오차(일부 베이스라인에서 무작위 방향)를 보인 것과 달리, 약 0.78로 감소시키며 LiDAR 전용 방법 및 기존 융합 베이스라인을 크게 능가했습니다.
• Dur360BEV: 불완전한 센서 캘리브레이션 파라미터에도 불구하고, GA-HF는 LiDAR 전용 및 BEVFusion 방법을 모두 앞섰습니다. mAP(0.706)와 NDS(0.751)에서 최고치를 기록했으며, BEVFusion이 방향 추정에서 처참하게 실패(mAOE: 1.022)한 것과 대조를 이루었습니다.
• Fisheye3DOD: GA-HF는 모든 융합 방법 중 가장 높은 탐지 점수(NDS: 0.925)를 기록했으며, 다른 융합 접근 방식에 비해 방향 오차를 크게 줄였습니다.

의의 및 주장
본 논문은 LiDAR-피쉬아이 카메라 융합을 탐구한 첫 번째 접근 방식이라고 주장합니다. 저자들은 희소 센서 설정에서 표준 데카르트 융합은 기하학적 왜곡으로 인해 불충분하며, 순수 폴라 융합은 탐지에 불안정하다는 점을 강조합니다. GA-HF 프레임워크는 특징 추출 단계에서는 고유의 센서 기하학을 존중하되, 최종 탐지를 위해서는 미터법적으로 일관된 데카르트 공간으로 복귀해야 한다는 기하학 인지형 접근 방식의 필요성을 입증합니다. 결과는 카메라 특징이 시맨틱 및 방향 추정에 필수적이지만, 회귀 안정성을 유지하기 위해 타겟팅된 기하학적 정제가 필요함을 보여줍니다. 저자들은 이러한 하이브리드 설계가 센서 중복성이 제한적인 비용 효율적인 자율 주행 시스템에서 강건한 인지를 가능하게 한다고 결론짓습니다.