Boosting Instance Awareness via Cross-View Correlation with 4D Radar and Camera for 3D Object Detection

본 논문은 4D 레이더와 카메라의 융합을 통해 3D 객체 감지 성능을 극대화하기 위해, 배경 잡음 억제 및 2D 인스턴스 정보를 BEV 공간에 주입하여 인스턴스 인식 능력을 강화한 새로운 트랜스포머 기반 모델인 SIFormer 를 제안합니다.

핵심

레이더와 카메라의 '완벽한 듀오': SIFormer 설명

이 논문은 자율주행차가 주변 물체를 더 정확하게 인식하기 위해 고안된 새로운 기술, SIFormer에 대해 설명합니다. 어렵게 느껴질 수 있는 기술 용어들을 일상적인 비유로 풀어보겠습니다.

1. 문제 상황: "눈이 나쁜 레이더"와 "깊이 감각이 없는 카메라"

자율주행차는 주로 카메라와 레이더를 사용합니다.

• 카메라: 사람의 눈과 비슷합니다. 물체의 색깔, 무늬, 모양을 아주 선명하게 보지만, "얼마나 멀리 있는지 (깊이)"를 직접 재는 능력은 약합니다. 마치 2D 사진을 보고 거리를 짐작하는 것과 같습니다.
• 4D 레이더: 비나 안개, 어두운 밤에도 잘 작동하는 '강력한 센서'입니다. 하지만 데이터가 매우 희박하고 (Sparse) 잡음이 많습니다. 마치 안개 낀 날에 멀리서 희미한 점들만 보며 물체의 윤곽을 대충 추측하는 것과 같습니다.

기존 기술들은 이 두 센서를 합칠 때 두 가지 방식 중 하나를 선택했는데, 둘 다 한계가 있었습니다.

1. 전체 지도 방식 (BEV): 모든 정보를 한 장의 지도 위에 합칩니다. 전체 상황을 잘 보지만, 개별 물체 (예: 보행자) 에 집중하는 힘이 약해 "어디에 뭐가 있는지"를 놓치기 쉽습니다.
2. 개별 물체 방식 (Perspective): 물체 하나하나를 찾아서 처리합니다. 개별 물체는 잘 찾지만, 주변 환경 (전체 상황) 을 놓쳐서 위험할 수 있습니다.

2. 해결책: SIFormer (시나리오와 물체를 모두 아는 '스마트 코치')

저자들은 이 두 방식의 단점을 모두 없애고 장점을 합친 SIFormer를 만들었습니다. 이를 **'스마트 코치'**라고 상상해 보세요.

핵심 아이디어: "2D 사진으로 3D 지도를 보정한다"

SIFormer 는 레이더의 희박한 데이터만 믿지 않고, 카메라가 찍은 선명한 2D 사진 (이미지) 을 이용해 레이더의 약점을 보완합니다.

① 잡음 제거 (SSI: 희박한 장면 통합)

• 비유: 안개 낀 날에 지도를 그릴 때, 안개 때문에 잘 안 보이는 곳이나 엉뚱한 곳 (배경) 에 점 찍지 않고, 정말 중요한 곳 (물체가 있을 만한 곳) 만 골라 지도를 그리는 과정입니다.
• 기술: 카메라의 '분할 (Segmentation)' 기술과 레이더의 '깊이' 정보를 섞어, 배경 잡음을 제거하고 관심 지역만 선명하게 만듭니다.

② 교차 활성화 (CVC: 교차 뷰 상관관계) - 이게 핵심입니다!

• 비유: 지도를 그리는 사람 (레이더) 이 "저기 차가 있는 것 같은데?"라고 의심스러워할 때, 옆에 있는 사진 전문가 (카메라) 가 "아, 저기 차가 확실해! 저기 보행자도 있어!"라고 손가락으로 가리켜 주는 것입니다.
• 기술: 카메라가 2D 이미지에서 물체를 먼저 찾아낸 뒤, 그 정보를 레이더의 3D 지도 공간에 "주입"합니다. 레이더의 데이터가 희박해서 물체를 못 찾아도, 카메라가 "여기 있어!"라고 알려주면 레이더가 그 부분을 확실히 인식할 수 있게 됩니다. 이를 통해 레이더의 약한 기하학적 구조를 카메라의 강한 정보로 채워줍니다.

③ 강화된 주의 (IEA: 인스턴스 강화 주의)

• 비유: 이제 지도와 사진 전문가가 정보를 합쳤으니, 최종 검토를 합니다. "이 물체는 차일까, 트럭일까?"를 결정할 때 카메라의 색상 정보와 레이더의 거리 정보를 한 번 더 꼼꼼히 섞어서 최종 판단을 내립니다.
• 기술: 트랜스포머 (Transformer) 기술을 이용해 이미지와 레이더 데이터를 최종적으로 정제하고 통합합니다.

3. 왜 이것이 중요한가요?

기존에는 레이더 데이터가 너무 희박해서 물체를 찾아내는 게 어려웠습니다. 마치 안개 낀 밤에 희미한 점들만 보고 차를 구분하려 하는 것과 같았죠.

SIFormer 는 카메라의 선명한 '눈'으로 레이더의 '손'을 인도합니다.

• 카메라가 "저기 차가 있어!"라고 알려주면,
• 레이더는 그 정보를 받아 "아, 맞아! 저기 차가 있고 속도는 이렇구나!"라고 정확히 파악합니다.

이 덕분에 비나 안개, 밤과 같은 나쁜 날씨에서도 자율주행차가 보행자나 다른 차를 훨씬 더 정확하게, 그리고 안전하게 인식할 수 있게 됩니다.

4. 결론

이 연구는 **"레이더와 카메라는 서로 다른 장점을 가지고 있으니, 서로의 약점을 보완해주며 협력해야 한다"**는 것을 증명했습니다. SIFormer 는 두 센서가 서로의 정보를 주고받으며 (Cross-View Correlation), 마치 한 팀이 되어 완벽한 인식을 만들어내는 혁신적인 방법입니다.

실제 실험 결과에서도 이 방식이 기존 최고 성능 기술들보다 더 높은 정확도를 보여주었으며, 특히 보행자나 자전거처럼 작고 찾기 어려운 물체를 인식하는 데 큰 효과를 발휘했습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 4D 레이더의 한계: 자율주행에서 4D 밀리미터파 레이더는 저비용과 악천후/저조도 환경에서의 강인함으로 주목받고 있습니다. 그러나 레이더 데이터는 해상도가 낮고 다중 경로 효과 (multi-path effects) 로 인해 희소하고 (sparse) 노이즈가 많으며, 기하학적 단서 (geometric cues) 가 약합니다.
• 기존 융합 방식의 결함:
  • BEV (Bird's-Eye View) 레벨 융합: 전역적인 장면 이해 (Global Scene Understanding) 는 가능하지만, 객체별 인스턴스 (Instance) 에 대한 집중력이 약하여 배경 노이즈에 의해 객체 특징이 희석되는 문제가 있습니다.
  • Perspective (시점) 레벨 융합: 2D 객체 감지를 통해 인스턴스 세부 정보를 잘 포착하지만, 전역적인 장면 맥락 (Holistic Context) 을 이해하지 못하며, 제안 (Proposal) 생성 단계의 캐스케이드 구조로 인해 최적화가 제한적입니다.
• 핵심 문제: LiDAR-카메라 융합은 LiDAR 의 강력한 기하학적 정보를 바탕으로 인스턴스 특징을 추출할 수 있지만, 4D 레이더는 기하학적 정보가 약해 BEV 공간에서 인스턴스를 효과적으로 활성화 (Activate) 하거나 배경과 구분하기 어렵습니다. 기존 LiDAR 기반 방법론 (예: IS-Fusion) 은 레이더 환경에서는 성능이 급격히 저하됩니다.

2. 제안 방법론: SIFormer (Methodology)

저자들은 4D 레이더와 카메라를 활용한 3D 객체 감지를 위해 SIFormer(Scene-Instance Aware Transformer) 를 제안했습니다. 이는 BEV 레벨과 Perspective 레벨의 장점을 결합하여 인스턴스 인식 (Instance Awareness) 을 강화하는 하이브리드 아키텍처입니다.

주요 구성 요소:

1. 특징 추출기 (Feature Extractor):

   • 이미지: ResNet50 + FPN 을 사용하여 다중 스케일 2D 특징 추출.
   • 레이더: RadarPillarNet 을 사용하여 BEV 도메인에서 레이더 특징 추출. 또한 레이더 포인트 클라우드를 시점 (Perspective) 뷰로 투영하여 희소한 레이더 깊이 정보를 생성합니다.

2. 장면 내 인스턴스 초기화 (Instance Initialization within Scene):

   • 하이브리드 뷰 변환 (Hybrid View Transformation): 이미지의 의미론적 특징과 레이더의 희소한 깊이 정보를 결합하여 깊이 추정을 개선하고 3D 볼륨을 구축합니다.
   • 희소 장면 통합 (Sparse Scene Integration, SSI): 뷰 변환 과정에서 배경 노이즈를 필터링하기 위해 도입됩니다.
     • 분할 가이드 가중치 (SGW): 경량 분할 네트워크를 통해 전경 (Foreground) 영역을 예측하고 컨텍스트 특징을 재가중합니다.
     • 깊이 가이드 가중치 (DGW): 깊이 확률 분포에서 상위 K 개 (Top-K) 값만 유지하여 부정확한 깊이 추정과 배경 간섭을 줄입니다.
   • 이를 통해 레이더의 약한 기하학적 정보 속에서도 관심 영역 (ROI) 에 집중할 수 있는 초기 BEV 특징을 생성합니다.

3. 인식 강화 (Instance Awareness Enhancement):

   • 교차 뷰 상관관계 (Cross-View Correlation, CVC): Perspective 뷰의 2D 인스턴스 특징과 BEV 뷰의 장면 특징을 연결하는 핵심 모듈입니다.
     • 2D 객체 탐지 (Cascade Mask R-CNN) 를 통해 제안 (Proposals) 을 생성하고, 학습 가능한 토큰 (Learnable Token) 을 사용하여 BEV 공간의 객체 및 배경 영역과 상관관계를 학습합니다.
     • 이를 통해 BEV 특징 맵에서 인스턴스와 관련된 영역을 활성화 (Activate) 하고, 약한 레이더 기하학 정보를 보완합니다.
   • 인스턴스 강화 어텐션 (Instance Enhance Attention, IEA): 활성화된 BEV 특징을 기반으로 이미지 의미론 (Semantic) 과 레이더 기하학 (Geometry) 을 통합합니다.
     • 의미론 강화 모듈 (SEM): 3D 변형 가능 크로스 어텐션 (3D-DCA) 을 통해 이미지 정보에서 의미론적 특징을 집계합니다.
     • 기하학 강화 모듈 (GEM): U-Net 아키텍처와 이웃 교차 어텐션 (NCA) 을 사용하여 레이더 점유 정보 (Occupancy) 를 활용한 기하학적 특징을 강화합니다.

4. 탐지 헤드 (Detection Head):

   • 최종적으로 강화된 인스턴스-강화 BEV 특징을 입력받아 3D 객체 박스를 예측합니다.

3. 주요 기여 (Key Contributions)

1. SIFormer 제안: 4D 레이더와 카메라를 활용한 3D 객체 감지를 위한 최초의 장면 - 인스턴스 인지형 트랜스포머입니다. 약한 레이더 기하학적 일관성을 보완하기 위해 교차 뷰 상관관계 (CVC) 를 통해 인스턴스 인식을 강화했습니다.
2. 희소 장면 통합 (SSI): 뷰 변환 과정에서 분할 및 깊이 가이드 로컬라이제이션을 통해 배경 노이즈를 필터링하고, 관심 영역에 집중하면서도 전역적인 장면 이해를 유지하도록 설계했습니다.
3. 교차 뷰 상관관계 (CVC): BEV 특징과 Perspective 뷰 특징을 연결하여 장면 레벨과 인스턴스 레벨 간의 깊은 상호작용을 가능하게 했습니다. 이는 LiDAR 가 없는 레이더 환경에서 인스턴스 활성화에 결정적인 역할을 합니다.
4. 인스턴스 강화 어텐션 (IEA): 멀티모달 (이미지 + 레이더) 정보를 효율적으로 집계하여 강인한 감지 성능을 보장합니다.

4. 실험 결과 (Results)

• 데이터셋: View-of-Delft (VoD), TJ4DRadSet, nuScenes 에서 평가 수행.
• 성능:
  • VoD 및 TJ4DRadSet: 기존 SOTA (State-of-the-Art) 모델 (LXL, SGDet3D, IS-Fusion 등) 을 모두 능가하는 성능을 기록했습니다. 특히 LiDAR 보조 데이터 없이도 LiDAR 를 사용하는 모델들과 경쟁하거나 우세한 성능을 보였습니다.
  • nuScenes (3D 레이더): 3D 레이더 데이터셋에서도 우수한 적응력을 보이며 NDS 1 위, mAP 2 위를 기록했습니다.
• 강인성 (Robustness):
  • 센서 고장 시나리오: 카메라만 사용하거나 레이더만 사용하는 상황에서도 기존 융합 모델보다 훨씬 높은 성능을 유지했습니다.
  • 보정 오차 (Calibration Disturbance): 카메라와 레이더 간의 보정 행렬에 오차가 발생했을 때, SIFormer 는 기존 모델 (LXL) 보다 성능 저하가 적어 실제 환경 적용에 유리함을 입증했습니다.
• 속도: 약 6.9 FPS 로 실시간 처리가 가능하며, LiDAR 보조 데이터는 학습 시에만 사용되므로 추론 속도에 영향을 주지 않습니다.

5. 의의 및 결론 (Significance)

이 논문은 4D 레이더의 본질적인 한계인 희소성과 약한 기하학적 정보를 카메라의 강력한 의미론적 정보로 보완하는 새로운 패러다임을 제시했습니다.

• 패러다임의 통합: 기존의 BEV 기반 (전역 이해) 과 Perspective 기반 (인스턴스 세부) 접근법의 단점을 보완하고 장점을 결합한 하이브리드 융합 프레임워크를 성공적으로 구현했습니다.
• 실용성: LiDAR 가 없는 저비용 센서 구성 (레이더 + 카메라) 만으로도 고성능 3D 객체 감지가 가능함을 증명하여, 자율주행 차량의 상용화 비용 절감과 안전성 향상에 기여할 수 있습니다.
• 향후 과제: 추론 속도 개선 (경량화) 및 시간적 모델링 (Temporal Modeling) 추가를 통해 더 높은 효율성과 강인성을 확보할 계획임을 밝혔습니다.

요약하자면, SIFormer는 4D 레이더의 약점을 보완하고 장점을 극대화하기 위해 교차 뷰 (Cross-View) 메커니즘을 통해 인스턴스 인식을 획기적으로 강화한 혁신적인 3D 객체 감지 모델입니다.