Horizon3D: Sparse Radar-Camera Fusion for Long-Range 3D Perception in Autonomous Driving

기술 요약: Horizon3D

문제 정의
신뢰할 수 있는 장거리 3D 객체 탐지는 안전한 자율 주행, 특히 제동 거리를 고려하여 150미터 이상의 객체를 정확하게 인지해야 하는 고속도로 주행 시 매우 중요합니다. LiDAR 기반 방식이 이 분야를 주도해 왔으나, 높은 비용과 악천후에 대한 취약성으로 인해 대규모 배포에 한계가 있습니다. 레이더-카메라 융합은 비용 효율적인 대안을 제공하지만, 기존 방식들은 장거리 시나리오에서 상당한 한계에 직면해 있습니다.

• BEV(Bird's Eye View) 기반 방식은 장면 수준의 문맥(context)을 효과적으로 인코딩하지만, 탐지 범위가 증가함에 따라 계산 비용이 급격히 상승합니다. 또한, 균일한 밀집 그리드(dense grid)는 미세한 객체 수준의 세부 정보를 보존하는 데 어려움을 겪습니다.
• 쿼리 기반(Query-based) 방식은 효율적인 객체 중심 인코딩을 제공하지만, 장면 수준의 문맥이 부족한 경우가 많습니다.
• 시공간 융합(Temporal Fusion)의 과제: 장거리 객체는 레이더 반사 신호가 희소하고 이미지 상의 픽셀 점유율이 낮기 때문에 다중 프레임 축적이 필수적입니다. 반대로, 고속 주행은 프레임 간 큰 변위를 발생시켜 정밀한 객체 수준의 모션 모델링을 요구합니다. 기존 접근 방식은 밀집 BEV 집계(계산 비용이 높음)에 의존하거나 객체 쿼리를 전파(장면 문맥 부족)하는 방식 중 하나를 선택해야 하며, 프레임별 희소성과 객체 수준의 역학을 동시에 효율적으로 해결하지 못하고 있습니다.

방법론: Horizon3D
저자들은 가우시안 프리미티브(Gaussian primitives)와 희소 BEV 특징을 결합한 하이브리드 표현 방식을 사용하는 희소 레이더-카메라 융합 프레임워크인 Horizon3D를 제안합니다. 이 아키텍처는 세 가지 주요 모듈로 구성됩니다:

1. 키포인트 유도 가우시안 초기화 (KGGI):
   전체 장면에 걸쳐 방대한 양의 가우시안을 유지하는 대신, KGGI는 레이더와 카메라 특징으로부터 객체 키포인트를 추정하여 압축된 가우시안 프리미티브 세트를 초기화합니다.

• 레이더 브랜치: VoxelNeXt를 사용하여 희소 레이더 BEV 특징을 생성하고, 여기서 상위 점수를 받은 셀들을 레이더 키포인트로 선택합니다.
• 카메라 브랜치: 2D 키포인트 헤드와 깊이(depth) 헤드를 활용하여 상위 후보들을 3D로 들어 올린 후, 이를 카메라 키포인트로 투영합니다.
• 초기화: 가우시안 프리미티브는 이러한 추정된 키포인트(및 소수의 무작위 및 히스토리 가우시안)에 앵커링됩니다. 각 가우시안은 평균, 스케일, 회전, 불투명도, 속도 및 특징 벡터로 매개변수화됩니다. 이 방식은 중복된 공간적 범위를 피하면서 객체 중심의 인코딩을 보장합니다.

2. 객체 중심 희소 융합 (OCSF):
   이 모듈은 초기화된 가우시안 프리미티브 주변으로 교차 모달 특징을 집계하고 이를 반복적으로 정교화합니다.

• 멀티모달 가우시안 인코더: 여러 레이어에 걸쳐, 인코더는 디포머블 크로스 어텐션(deformable cross-attention)을 사용하여 각 가우시안의 평균 주변에 모달리티별 문맥(레이더 BEV 및 멀티 뷰 이미지 특징)을 수집합니다.
• 정교화(Refinement): 집계된 특징을 바탕으로 가우시안 파라미터(평균, 스케일, 회전 등)를 업데이트하여 3D 객체 기하 구조와 더 잘 일치하도록 합니다.
• 객체 중심 스플래팅(Splatting): 정교화된 가우시안을 BEV 평면에 스플래팅합니다. 클래스 불가지론적(class-agnostic) 점유 맵이 생성되며, "활성 가우시안 세트(Active Gaussian Sets)"는 가우시안 가중치 집계를 통해 풀링되어 희소하고 객체 중심적인 BEV 표현을 생성합니다. 이는 미세한 객체 세부 정보와 장면 수준의 문맥을 결합하기 위해 희소 레이더 BEV 특징과 융합되며, 밀집 BEV 구축을 피합니다.

3. 이중 경로 시공간 융합 (DPTF):
   장거리 희소성과 고속 움직임을 처리하기 위해, DPTF는 예측된 속도를 이용한 모션 보상을 수행하는 두 가지 상보적인 경로를 통해 시공간적 단서를 통합합니다.

• BEV 경로: 여러 프레임으로부터 포그라운드 BEV 특징을 축적합니다. 비어 있지 않은 셀에 대해 점유도와 평면 속도를 예측하고, 해당 특징만을 메모리 뱅크에 저장합니다. 히스토리 프레임은 에고 모션(ego-motion)과 속도 유도 워핑(warping)을 사용하여 현재 프레임으로 변형된 후, 스택으로 쌓여 희소 컨볼루션을 통해 융합됩니다.
• 가우시안 경로: 과거의 가우시안을 현재 프레임으로 전파합니다. 히스토리 가우시안 중 공간적으로 다양한 서브셋(최장 이격 샘플링(FPS)을 통해 선택됨)을 예측된 속도와 에고 모션을 사용하여 워핑합니다. 이들은 현재 프레임의 가우시안과 병합되어 OCSF 파이프라인을 통과하며, 잔여 불일치를 처리하기 위해 추가적인 시공간 셀프 어텐션(temporal self-attention)이 적용됩니다.

주요 기여

• 하이브리드 표현: 가우시안 프리미티브와 희소 BEV 특징을 사용하여 객체 수준의 세부 정보와 장면 수준의 문맥을 동시에 포착하는 희소 프레임워크를 도입했습니다.
• KGGI 및 OCSF: 센서에서 추정된 키포인트에 가우시안을 초기화하고 이를 반복적으로 정교화하는 메커니즘을 통해, 밀집 BEV 그리드 없이도 효율적인 객체 중심 인코딩을 가능하게 합니다.
• 이중 경로 시공간 융합 (DPTF): BEV 축적(프레임별 희소성 해결)과 가우시안 전파(객체 수준 모션 해결)를 통해 두 경로 모두에서 명시적인 속도 보상을 활용하는 새로운 시공간 융합 전략을 제시합니다.
• 최첨단 성능: 장거리, 고속 시나리오를 위한 TruckScenes 벤치마크에서 탁월한 효과를 입증했습니다.

실험 결과
최대 150m 탐지 거리와 고속 주행을 특징으로 하는 TruckScenes 데이터셋에서 평가한 결과, Horizon3D는 레이더-카메라 융합 방식 중 최고 수준의 성능을 달s성했습니다:

• 성능: 검증 세트에서 Horizon3D는 이전 최고 레이더-카메라 방식인 SpaRC보다 +3.0 NDS 및 +1.6 mAP 우수한 성능을 보였습니다. 또한 이전 최고 BEV 기반 방식인 CRT-Fusion을 상당한 차이로 앞질렀습니다.
• LiDAR 비교: 주목할 점은, Horizon3D가 더 낮은 해상도의 이미지 입력을 사용함에도 불구하고 테스트 분할에서 LiDAR 기반 방식인 CenterPoint-V보다 +0.8 NDS 및 +1.0 mAP 높은 성능을 기록했다는 것입니다.
• 효율성: 희소 표현을 유지함으로써 경쟁력 있는 추론 속도(8.5 FPS)와 적절한 메모리 사용량(3.2 GB)을 달성하였으며, 이는 밀집 BEV 방식보다 효율성 면에서 크게 앞서면서도 쿼리 기반 방식의 정확도 저하 문제를 피했습니다.
• 절제 연구(Ablation Studies): 실험을 통해 KGGI 초기화, 점유 감독을 위한 바운딩 박스 확장, 그리고 DPTF의 BEV 및 가우시안 경로 결합이 성능에 결정적임을 확인했습니다. 거리별 분석 결과, 모든 범위에서 일관된 이득을 보였으며, 특히 25–50m 및 100–150m 구간에서 눈에 띄는 개선이 나타났습니다.

의의
본 논문은 Horizon3D가 계산 효율성과 장면 수준의 문맥 및 객체 수준의 세부 정보 확보 사이의 근본적인 트레이드오프 문제를 해결한다고 주장합니다. 밀집 BEV 구축을 피하면서도 하이브리드 가우시안-희소 BEV 접근 방식을 통해 시공간적 역학 및 장면 문맥을 포착함으로써, 이 프레임워크는 비용 효율적인 레이더-카메라 센서 세트를 활용한 견고한 고속 자율 주행 인지를 가능하게 합니다. 결과적으로 이 하이브리드 방식은 장거리 탐지를 위해 기존의 밀집 BEV 및 순수 쿼리 기반 패러다임 모두에 대한 유망하고 우수한 대안이 될 수 있음을 시사합니다.