Selection, Not Fusion: Radar-Modulated State Space Models for Radar-Camera Depth Estimation

기술 요약: 선택, 융합이 아닌: 레이더-카메라 깊이 추정을 위한 레이더 변조 상태 공간 모델

문제 제기
밀도 높은 픽셀 단위 메트릭 깊이 추정은 자율 주행과 로봇 공학에 필수적이지만, 단안 카메라는 규모 모호성과 악천후 (비, 안개, 저조도) 에서의 성능 저하를 겪습니다. LiDAR 는 정확한 메트릭 깊이를 제공하지만, 비용과 전력 요구 사항으로 인해 프리미엄 시스템에 국한됩니다. 밀리미터파 자동차 레이더는 저렴하고 모든 날씨에 대응 가능한 메트릭 대안을 제공하지만, 희소성 (전면 카메라 시야에서 프레임당 40~100 개의 반사점) 과 각도/높이 모호성으로 인해 심각하게 제한됩니다.

기존 레이더 - 카메라 깊이 추정 방법들은 일반적으로 백본의 시퀀스 연산자 외부에서 특징 수준 (예: 연결, 게이트, 그래프 기반 추출) 에서 레이더와 이미지 특징을 융합합니다. 최근 Mamba 와 같은 선택적 상태 공간 모델 (SSM) 의 교차 모달 변형조차도 공유 스캔 전에 모달별 스트림을 쌓아 올리는 경우가 많아, 핵심 선택 메커니즘 자체는 단일 모달로 남습니다. 저자들은 이러한 "스캔 외부 융합 (out-of-scan fusion)" 접근법이 SSM 의 고유한 능력을 활용하지 못한다고 주장합니다. SSM 에서는 선택 메커니즘이 장거리 정보 전파를 지배하기 때문입니다.

방법론: SemoDepth
본 논문은 레이더 데이터를 별도의 특징 스트림으로 융합하는 대신, Mamba 백본의 선택적 스캔 메커니즘 내부에 직접 통합하는 단일 단계 레이더 - 카메라 깊이 추정기인 SemoDepth를 제안합니다.

1. 레이더 변조 선택 (RMS):
   핵심 혁신은 레이더 신호를 Mamba 블록의 선택적 스캔 매개변수에 주입하는 것입니다. 표준 Mamba 블록에서 재귀는 입력 의존적 스텝 크기 $\Delta_t$(메모리 지평선) 와 판독 벡터 $C_t$에 의해 제어됩니다.

   • 메커니즘: 레이더는 $\Delta_t$와 $C_t$에 가산적, 영 (zero) 초기화 교란을 기여합니다. 입력 프로젝션 $B_t$와 상태 동역학 행렬 $A$는 이미지 전용으로 유지됩니다.
   • 지평선 변조: 레이더는 학습된 게이트를 통해 $\Delta_t$를 변조하여, 레이더가 시퀀스를 따라 정보가 얼마나 멀리 전파되는지를 국소적으로 조정할 수 있게 합니다.
   • 판독 변조: 레이더는 $C_t$에 항을 추가하여 저장된 재귀를 변경하지 않고 숨겨진 상태에서 추출되는 내용을 재구성합니다.
   • 초기화: 모든 레이더 프로젝션은 영 (zero) 으로 초기화됩니다. 초기화 시 ($t=0$), 블록은 수학적으로 순수 이미지 전용 Mamba 와 동일합니다. 이는 모델이 사전 학습된 이미지 전용 성능을 유지하고 레이더 기울기가 정확도를 향상시키는 곳으로만 흐르도록 보장합니다.

2. 다중 뷰 스캔 피라미드 (MVSP):
   계산 효율성과 다양한 스케일에서 레이더의 공간적 도달 범위를 해결하기 위해 디코더는 3 단계 융합 전략을 사용합니다:

   • 가장 거친 스케일 (Tier 3): 전체 이미지, 4 방향 RMS. 이는 선형 비용으로 2 차원 수용 영역을 근사화하여 장면 전체의 맥락을 집계합니다.
   • 중간 스케일 (Tier 2): 투사된 레이더 반사점을 중심으로 한 창 기반 RMS. 스캔 용량은 레이더가 이미지를 지원하는 곳에만 집중됩니다.
   • 가장 정밀한 스케일 (Tier 1): 일정 비용의 특징별 선형 변조 (FiLM). 이는 2 차 비용의 스캔 없이 풀 해상도에서 활성 레이더 신호를 유지합니다.

3. 학습 목표:
   모델은 축적된 LiDAR 를 통한 강력한 밀집 감독과 단일 스윕 LiDAR 를 통한 정확한 희소 감독을 균형 있게 조정하는 복합 손실 함수 (로그 공간, 선형, 기울기 손실 포함) 로 학습됩니다.

주요 기여

• 스캔 내 선택 (In-Scan Selection): 논문은 레이더가 SSM 의 재귀 동역학 ($\Delta$ 및 $C$) 을 변조하는 원리 있는 메커니즘 (RMS) 을 도입합니다. 이는 특징을 결합하는 방식이 아니라 정보가 저장되고 전파되는 방식을 근본적으로 변화시킵니다.
• 세 가지 이론적 장점:
  1. 선형 비용 결합: 레이더는 $O(L)$ 비용으로 모든 토큰에서 재귀를 형성하여, 교차 주의의 $O(L^2)$ 비용을 회피합니다.
  2. 손실 보존 초기화: 영 초기화는 모델이 순수 이미지 백본으로 시작하도록 보장하여 사전 학습된 가중치를 보존합니다.
  3. 이미지 전용 폴백: 레이더가 없는 경우, 모델은 구조 재구성 없이 자연스럽게 이미지 전용 동작으로 저하됩니다.
• MVSP 아키텍처: 각 해상도에서 레이더의 효과적인 공간적 도달 범위와 융합 연산자를 일치시키고, 가장 효과적인 곳에서 연산을 집중하는 디코더입니다.

결과
nuScenes 및 ZJU-4DRadarCam 데이터셋에서 평가된 SemoDepth 는 최첨단 성능을 달성합니다:

• nuScenes: SemoDepth 는 이전 최고 성능 (TacoDepth) 대비 Mean Absolute Error (MAE) 를 050m 에서 34.0%, 070m 에서 29.9%, 0~80m 에서 29.9% 감소시킵니다. 또한 공개된 방법 중 단일 프레임 추론 지연 시간 (26.8 ms) 을 가장 낮게 기록합니다.
• ZJU-4DRadarCam: SemoDepth 는 모든 평가 범위에서 최고의 MAE 를 달성합니다.
• 절대 실험 결과:
  • MVSP 의 Mamba 기반 스캔을 균일한 FiLM 변조로 대체하면 MAE@80 이 18% 저하되어, 스캔 계층의 아키텍처적 필요성이 확인됩니다.
  • RMS 위에 "스캔 외부" 특징 혼합 (사전 스캔 융합) 을 추가해도 추가 정확도가 제공되지 않아, 스캔 내 선택이 전통적인 스캔 외부 융합을 대체할 수 있음을 실증적으로 검증합니다.
  • 성능 격차는 이미지 증거가 강한 주간 조건에서 가장 두드러지며, 야간 (카메라 적대적) 조건에서는 격차가 줄어들고 짧은 범위에서 주의 기반 융합이 여전히 경쟁력을 가집니다.

의의 및 주장
본 논문은 입력 의존적 재귀를 가진 시퀀스 모델의 경우, 특징 수준 융합보다 선택 메커니즘 자체가 교차 모달 상호작용을 위한 더 우수한 기반이 된다고 주장합니다. 재귀 동역학을 직접 변조함으로써 모델은 희소한 레이더 반사점의 "메트릭 앵커"를 활용하여 국소 이웃뿐만 아니라 전체 시퀀스를 통해 정보를 전파합니다.

저자들은 이 작업을 개념적 전환으로 위치시킵니다: 교차 모달 학습은 표현이 아닌 선택의 관점에서 재고려되어야 합니다. 이 방법은 다른 희소 + 밀집 모달 쌍 (예: LiDAR-카메라, 레이더 - 열화상) 과 깊이 추정 이상의 작업으로도 확장될 수 있음을 시사합니다.

한계
저자들은 몇 가지 한계를 인정합니다:

• 모달 범위: 이 방법은 전면 카메라 + 자동차 레이더에서만 검증되었으며, 다른 모달로의 전이는 가설로만 제시되고 실증적으로 검증되지 않았습니다.
• 레이더 희소성: 성능 마진은 nuScenes 에 비해 더 밀집된 ZJU-4DRadarCam 데이터셋에서 축소되어, 이 방법의 이점이 레이더가 극도로 희소할 때 가장 두드러짐을 시사합니다.
• 노이즈 민감성: 영 초기화가 보호를 제공하지만, 스캔을 통해 전파될 수 있는 체계적으로 잘못된 레이더 앵커 (노이즈) 에 대한 스트레스 테스트는 수행되지 않았습니다.
• 데이터 편향: 사용된 데이터셋은 지리적으로 좁음 (보스턴, 싱가포르, ZJU 캠퍼스) 으로, 대표성이 부족한 환경에서의 견고성에 대한 주장을 제한합니다.