MambaFusion: Adaptive State-Space Fusion for Multimodal 3D Object Detection

1. 문제 정의 (Problem Statement)

자율주행에서 3D 객체 감지는 카메라 (밀집된 시각적 단서 제공, 깊이 정보 부재) 와 LiDAR (정밀한 3D 구조 제공, 희소성 및 비용 문제) 의 장점을 결합하는 것이 필수적입니다. 그러나 기존 BEV 기반 융합 프레임워크는 다음과 같은 네 가지 주요 과제를 안고 있습니다:

1. 비효율적인 컨텍스트 모델링: Transformer 기반 3D 인코더는 전역적 인식을 제공하지만, 계산 복잡도가 $O(N^2)$로 증가하여 장거리 및 시간적 추론이 비용이 많이 듭니다.
2. 공간적 불변의 융합 (Spatially Invariant Fusion): 대부분의 시스템은 센서 신뢰도가 거리, 가림, 보정 오차에 따라 변함에도 불구하고 고정된 또는 전역적인 가중치로 센서를 융합합니다.
3. 물리적 추론 부재: 기존 감지기는 특징 활성화만으로 신뢰도를 예측하며, 기하학적 타당성이나 구조적 일관성을 강제하지 않습니다.
4. 시간적 불안정성: 프레임 간 특징 제약이 없어 감지 결과가 프레임마다 요동칩니다.

---

2. 방법론 (Methodology)

MambaFusion 은 효율적인 상태 공간 모델링, 적응형 신뢰도 인식 융합, 구조 기반 추론을 통합한 엔드투엔드 아키텍처입니다.

2.1. 하이브리드 선형 시간 LiDAR 인코더

• Mamba SSM 과 Windowed Transformer 의 혼합: 희소 3D 데이터에서 장거리 의존성을 선형 시간 ($O(N)$) 에 모델링하기 위해 Mamba(State-Space Models) 블록을, 국소적인 기하학적 세부 사항을 포착하기 위해 Windowed Attention을 교차 배치합니다.
• 효과: 전역 컨텍스트 전달의 효율성을 유지하면서 정밀한 국소 기하학을 보존하여 Transformer 의 2 차 복잡도 문제를 해결합니다.

2.2. 시공간 카메라 BEV 집계

• 다중 뷰 이미지 특징을 BEV 공간으로 변환하고, Mamba 블록을 사용하여 프레임 간 시간적 의존성을 선형 복잡도로 집계합니다. 이는 기존 Transformer 기반 시간적 어텐션의 계산 비용을 대폭 줄입니다.

2.3. 멀티모달 토큰 정렬 (MTA, Multi-Modal Token Alignment)

• 문제 해결: 차량 운영 중 열팽창, 진동 등으로 인한 카메라-LiDAR 외재 보정 (Extrinsic Calibration) 오차 및 동기화 오류를 보정합니다.
• 기법: 학습 가능한 경량 네트워크를 통해 카메라와 LiDAR BEV 토큰 간의 위치 편차 ($\Delta P$) 를 추정하고 보정하여 융합의 강건성을 높입니다.

2.4. 불확실성 인식 적응형 융합 (Adaptive Fusion with Uncertainty)

• 신뢰도 게이트 (Reliability Gating): 포인트 밀도, 깊이 분산, 가림 정도, 다중 뷰 일관성 등을 기반으로 BEV 셀별 융합 게이트를 동적으로 조정합니다.
• 불확실성 가중치: 각 센서가 예측한 분산 (Uncertainty) 을 기반으로 역분산 가중치 (Inverse-variance weighting) 를 적용하여, 불확실성이 높은 영역의 기여도를 줄입니다.

2.5. 구조 조건부 확산 정제 (Structure-Conditioned Diffusion Refinement, GCD)

• 기하학적 타당성 강제: 제안된 박스 (Proposals) 에 대해 그래프 기반 추론 (이웃 객체 간 관계 모델링) 을 수행하여 물리적으로 불가능한 중첩이나 공중 부양 객체를 제거합니다.
• 확산 모델 (Diffusion): 공간적 신뢰도와 기하학적 단서를 조건으로 하여 제안된 박스의 신뢰도 (Confidence) 를 반복적으로 정제 (Denoising) 합니다.

2.6. 시간적 자기 증류 (Temporal Self-Distillation, TSD)

• 명시적인 운동 레이블 없이도 프레임 간 특징의 시간적 일관성을 강제하여 감지 결과의 안정성을 높입니다.

---

3. 주요 기여 (Key Contributions)

1. 하이브리드 선형 시간 LiDAR 인코더: Mamba SSM 과 Windowed Transformer 를 결합하여 2 차 어텐션 오버헤드 없이 효율적인 전역 - 국소 모델링을 실현했습니다.
2. 적응형 신뢰도 인식 융합: 학습 가능한 정렬 (MTA) 과 게이팅 메커니즘을 통해 공간적 신뢰도와 센서 신뢰도에 기반하여 카메라-LiDAR 특징을 동적으로 재가중치합니다.
3. 구조 조건부 확산 정제: 그래프 추론과 확산 기반 정제를 결합하여 기하학적 타당성과 보정된 불확실성을 보장합니다.
4. 통합된 시간적 안정성: nuScenes 및 Argoverse 2 벤치마크에서 최첨단 (SOTA) 성능을 달성하면서도 보정 노이즈, 희소성, 동적 장면 변화에 대한 강건성을 입증했습니다.

---

4. 실험 결과 (Results)

4.1. 성능 지표 (nuScenes)

• Validation Set: NDS 77.9, mAP 74.9를 기록하여 Swin-T 백본을 사용하는 기존 최강 모델 (BEVFusion4D: NDS 73.5, mAP 72.0) 대비 NDS +4.4, mAP +2.9의 개선을 달성했습니다.
• Test Set: 앙상블이나 테스트 시간 증강 (TTA) 없이도 NDS 77.2, mAP 74.7을 기록하여, 더 큰 ConvNeXt-L 백본을 사용하는 MV2DFusion (NDS 76.7) 을 능가했습니다.
• Argoverse 2: mAP 0.512, CDS 0.415 로 기존 SOTA 를 상회하는 성능을 보였습니다.

4.2. 강건성 및 효율성

• 보정 오차 내성: 카메라 보정 오차 (1.0°/10cm) 가 발생했을 때 MTA 모듈이 NDS 하락을 5.3 에서 3.2 로 줄여 40% 의 강건성 향상을 보였습니다.
• 센서 고장 대응: 카메라 또는 LiDAR 중 하나가 완전히 고장 나더라도 시스템이 작동 가능한 수준 (카메라 드롭아웃 시 NDS 87.9% 유지) 을 유지합니다.
• 계산 효율성: 시간적 복잡도가 $O(TN)$으로 선형 시간 모델을 구현하여, 200x200 BEV 그리드 기준 13.4 FPS의 추론 속도를 달성했습니다.

4.3. Ablation Study

• 각 구성 요소 (Mamba, MTA, GCD, TSD) 를 순차적으로 추가할 때 성능이 지속적으로 향상됨을 확인했습니다.
• 보조 손실 함수 (Uncertainty, Geometry, Diffusion, Temporal loss) 가 모두 필요하며, 이를 제거할 경우 성능이 유의미하게 저하됨을 입증했습니다.

---

5. 의의 및 결론 (Significance)

MambaFusion 은 **선택적 상태 공간 모델 (SSM)**의 효율성과 신뢰도 기반 융합의 강건성을 결합하여, 실시간 자율주행 시스템에 적합한 3D 지각 솔루션을 제시합니다.

• 기술적 혁신: Transformer 의 2 차 복잡도 한계를 선형 시간 모델로 극복하면서도, 물리적 일관성과 불확실성 추정을 통해 감지 신뢰도를 높였습니다.
• 실용적 가치: 실제 도로 환경에서 발생할 수 있는 센서 보정 오차, 가림, 희소 데이터 등 다양한 열악한 조건에서도 안정적인 성능을 발휘하여 상용화 가능한 수준의 3D 객체 감지 기술을 제공합니다.

이 연구는 SSM 기반 백본이 자율주행 지각 분야에서 Transformer 를 대체하거나 보완할 수 있는 강력한 대안이 될 수 있음을 시사합니다.