기술 요약: RbFT-Net

문제 정의

밀도 높은 메트릭 깊이(metric depth) 예측은 자율 주행 시스템에 매우 중요하지만, 카메라에만 의존하면 메트릭 스케일(metric scale)이 부족하고, LiDAR를 사용하기에는 비용이 많이 듭니다. 밀리미터파 레이더(mmWave radar)는 직접적인 메트릭 거리 측정이 가능하고 조명 변화에 강한 특성을 제공하지만, 극심한 희소성, 클러터(clutter), 다중 경로 반사(multipath reflections) 및 투영 오류 문제를 안고 있습니다. 여러 레이더 프레임을 결합하는 방식(시계열 퓨전)을 통해 측정 밀도를 높일 수 있으나, 기존의 방식들은 다음과 같은 심각한 문제를 야기합니다:

1. 시계열 정렬 불량(Temporal Misalignment): 경직된 워핑(rigid warping)은 캘리브레이션 불확실성이나 동적 객체를 고려하지 못하여 부정확한 앵커(anchor)를 생성합니다.
2. 오류 전파(Error Propagation): 검증 없이 노이즈가 섞인 리턴(returns)을 누적하면, 특히 객체의 경계나 얇은 구조 주변의 깊이 맵을 오염시킬 수 있습니다.
3. 의존성(Dependency): 기존의 고성능 방법들은 보조 단안 깊이 모델(monocular depth models)을 필요로 하는 "플러그인(plug-in)" 아키텍처에 의존하는 경우가 많아, 파이프라인의 복잡성과 모델 크기를 증가시킵니다.

해결하고자 하는 핵심 과제는, 고유의 노이즈와 정렬 불량이 최종 깊이 예측을 저해하지 않으면서 어떻게 더 밀도 높은 다중 프레임 레이더 데이터를 활용할 것인가 하는 점입니다.

방법론: RbFT-Net

저자들은 누적된 다중 프레임 레이더 리턴을 정답(ground truth)이 아닌 **노이즈가 있는 시계열 앵커 후보(noisy temporal anchor candidates)**로 취급하는 엔드투엔드 프레임워크인 RbFT-Net(Rectify-Before-Fuse Temporal Radar Anchors)을 제안합니다. 이 아키텍처는 "융합 전 교정(rectify-before-fuse)" 패러다임을 따르며, 세 가지 주요 단계로 구성됩니다.

1. 이미지 조건부 앵커 교정 (Image-Conditioned Anchor Rectification)

전파(propagation) 단계 이전에, 네트워크는 이미지 조건부 모듈을 사용하여 원시 시계열 앵커($A_t$)의 위치와 깊이를 교정하고 신뢰도를 추정합니다.

• 레이더 쿼리 샘플러 (Radar Query Sampler, RQS): 부정확할 수 있는 투영된 레이더 위치에서 이미지 특징을 샘pling하는 대신, RQS는 레이더 조건부 샘플링 오프셋을 예측합니다. 이를 통해 네트워크는 주변 영역으로부터 시각적 증거를 수집하여 앵커를 교정할 수 있습니다.
• 레이더 중심 어텐션 (Radar-Centered Attention, RCA): 이 모듈은 셀프 어텐션(self-attention)과 가중 풀링(weighted pooling)을 사용하여 레이더 후보들 사이의 국부적 일관성을 모델링합니다. 그 후, 풀링된 레이더 특징과 샘플링된 이미지 특징 간의 크로스 어텐션(cross-attention)을 통해 호환 가능한 시각적 증거를 검색합니다.
• 다중 스케일 앵커 퓨전 (Multi-Scale Anchor Fusion, MAF): 국부적 경계와 전역적 컨텍스트를 모두 보존하기 위해 다양한 스케일의 특징들을 통합합니다.
• 예측 헤드 (Prediction Heads): 세 개의 경량 헤드가 다음을 예측합니다:
  • 공간 오프셋 ($\Delta p_i$): 이미지 평면상의 위치를 교정합니다.
  • 깊이 잔차 ($\Delta z_i$): 메트릭 깊이를 교정합니다.
  • 포인트별 신뢰도 ($c_i \in [0, 1]$): 앵커의 신뢰도를 추정합니다.
    출력값은 교정된 좌표, 깊이 및 신뢰도 점수를 가진 교정된 앵커($\hat{A}_t$) 집합입니다.

2. 신뢰도 인지형 앵커 전파 (Reliability-Aware Anchor Propagation)

네트워크는 모든 인접 앵커를 전파하는 대신, 두 가지 기준에 따라 메트릭 증거를 밀도가 높은 이미지 영역으로 선택적으로 전달합니다:

• 타겟-앵커 호환성 (Target–Anchor Compatibility): 학습된 호환성 점수가 앵커의 특징과 깊이가 타겟 이미지 위치와 얼마나 잘 일치하는지 평가합니다.
• 신뢰도 변조 (Reliability Modulation): 예측된 신뢰도($c_i$)가 가중치 역할을 합니다.
  시스템은 각 타겟 픽셀에 대해 가장 호환성이 높은 상위 $K_s$개(4로 설정)의 앵커를 선택하고, 호환성과 신뢰도에서 유도된 가중치를 사용하여 메트릭 증거를 집계합니다. 이는 신뢰할 수 없거나 정렬이 맞지 않는 측정값이 이미지 전체로 퍼지는 것을 억제합니다.

3. 다중 모달 퓨전 및 정교화 (Multi-Modal Fusion and Refinement)

전파된 특징 맵은 현재 프레임의 원시 레이더 측정값 및 RGB 특징과 결합되어 CSPN++ 아키텍처 기반의 경량 다중 모달 퓨전 네트워크(MFN)로 입력됩니다. 이 단계에서는 고수준 퓨전과 밀도 정교화를 수행하여 최종 메트릭 깊이 맵($D_t$)을 생성합니다.

주요 기여

1. Rectify-Before-Fuse 프레임워크: 노이즈가 있는 시계열 레이더 앵커를 융합 전에 교정(위치, 깊이 교정 및 신뢰도 추정)하여 오류 누적을 방지하는 엔드투엔드 파이프라인을 제와합니다.
2. 이미지 조건부 교정 모듈: 원시 누적값이 정확하다고 가정하지 않고, 시각적 컨텍스트를 사용하여 레이더 리턴의 공간적 및 메트릭 오류를 공동으로 교정하는 RQS 및 RCA를 사용하는 새로운 메커니즘을 제공합니다.
3. 신뢰도 인지형 전파 전략: 학습된 타겟-앵커 호환성과 포인트별 신뢰도 점수를 결합하여 신뢰할 수 있는 증거만을 선택적으로 전파함으로써, 노이즈가 섞인 리턴이 밀집 영역을 오염시키는 것을 방지하는 선택 메커니즘을 제공합니다.
4. 독립적 파이프라인 및 새로운 데이터셋: 이 방법은 보조 단안 깊이 모델 없이 작동하여 컴팩트한 솔루션을 제공합니다. 저자들은 또한 교차 플랫폼 일반화 성능을 검증하기 위해 다른 플랫폼에서 수집된 새로운 4D 레이더-카메라-LiDAR 데이터셋을 도입했습니다.

실험 결과

본 방법은 ZJU-4DRadarCam 벤치마크와 새로 수집된 데이터셋에서 평가되었습니다.

• ZJU-4DRadarCam에서의 성능: RbFT-Net은 독립적인 방법들 중 최고의 종합 성능을 달이어했습니다. 강력한 독립적 베이스라인들과 비교했을 때 MAE(Mean Absolute Error)를 약 10%, iMAE(inverse MAE)를 약 35% 감소시켰습니다. 특히, 훨씬 적은 파라미터 수를 사용함에도 불구하고 대규모 보조 단안 깊이 모델에 의존하는 플러그인 방식(예: TacoDepth)과 대등하거나 종종 이를 능가하는 성능을 보였습니다.
• 교차 플랫폼 및 전이 가능성: 제로샷 전이(ZJU-4DRadarCam에서 학습, 새 데이터셋에서 테스트)에서 RbFT-Net은 다른 방법들을 상당한 차이로 앞질렀습니다(JustDepth 대비 MAE 약 22.6% 감소). 제한된 데이터 적응(타겟 데이터의 10%)에서도 모든 지표에서 최상의 결과를 달성했습니다.
• 효율성: 5개의 레이더 프레임을 처리함에도 불구하고, RbFT-Net은 NVIDIA RTX PRO 5000에서 약 44M 개의 파라미터만을 사용하여 44.88 FPS로 동작합니다(보조 모델을 포함한 플러그인 파이프라인의 파라미터 수의 약 1/3 수준).
• 절제 연구 (Ablation Studies):
  • 공간 및 깊이 교정 모두 RMSE 감소에 기여했습니다(각각 258.2 mm 및 180.2 mm).
  • 신뢰도 인지형 전파는 직접적인 4-NN 집계보다 성능이 현저히 우수했습니다.
  • 레이더 프레임을 1개에서 5개로 늘렸을 때 RbFT-Net은 상당한 정확도 향상(RMSE 246.5 mm 감소)을 보였으나, 베이스라인 방법들은 수익 체감(diminishing returns) 현상을 보였습니다. 이는 시계열 노이즈를 처리하는 데 있어 교정 전략의 효과를 입증합니다.

의의 및 주장

본 논문은 RbFT-Net이 현재 레이더-카메라 깊이 완성의 근본적인 한계, 즉 검증되지 않은 노이즈 섞인 시계열 데이터를 전파하는 경향을 해결한다고 주장합니다. 누적된 레이더 리턴을 이미지 조건부 교정과 신뢰도 추정이 필요한 '후보'로 취급함으로써, 정확도를 희생하지 않고 다중 프레임 데이터의 밀도를 성공적으로 활용합니다.

저자들은 RbFT-Net이 복잡한 플러그인 파이프라인과 경쟁할 수 있는 컴팩트하고 독립적인 솔루션임을 강조합니다. 서로 다른 센싱 플랫폼 간의 제로샷 전이 능력과 제한된 데이터에 대한 적응 능력은 센서 구성과 데이터 가용성이 변할 수 있는 실제 자율 주행 애플리케이션에서의 견고성을 시사합니다. 이 연구는 단순한 누적이나 기하학적 워핑보다 "융합 전 교정"이 시계열 레이더 통합에 더 효과적인 전략임을 보여줍니다.