DRIFT: Dual-Representation Inter-Fusion Transformer for Automated Driving Perception with 4D Radar Point Clouds

본 논문은 4D 레이더의 낮은 점군 밀도 문제를 해결하기 위해 국소적 세부 정보와 전역적 맥락 정보를 효과적으로 융합하는 이중 경로 아키텍처 'DRIFT'를 제안하여 객체 감지 및 자유 도로 추정 성능을 크게 향상시켰음을 보여줍니다.

핵심

이 논문은 자율주행 자동차가 비나 안개 같은 나쁜 날씨에서도 안전하게 길을 찾을 수 있도록 도와주는 새로운 인공지능 기술을 소개합니다. 이 기술의 이름은 **'DRIFT'**입니다.

기존의 자율주행 센서들 (카메라, 라이다) 의 한계를 극복하고, 저렴하면서도 튼튼한 4D 레이더를 더 똑똑하게 만드는 방법을 제안한 연구입니다.

이 내용을 누구나 쉽게 이해할 수 있도록 비유를 섞어 설명해 드릴게요.

---

1. 문제 상황: "안개 낀 밤, 희미한 손전등"

자율주행 차가 길을 볼 때 주로 두 가지 센서를 씁니다.

• 카메라: 사람이 보는 것과 비슷하지만, 밤이나 비가 오면 잘 안 보입니다.
• 라이다 (LiDAR): 레이저로 3D 지도를 그리는데 매우 정밀하지만, 가격이 비싸고 비/안개에 약합니다.

그런데 레이더는 어떨까요?

• 장점: 비, 안개, 눈에도 끄떡없고 가격이 쌉니다.
• 단점: 점 (Point) 이 너무 적고 희미합니다. 마치 안개 낀 밤에 아주 희미한 손전등으로 사물을 비추는 것과 같습니다.

핵심 문제: 레이더 데이터는 너무 희소해서, 사물 (예: 보행자) 의 모양만 보면 "아, 사람이다"라고 알기 어렵습니다. 주변 환경 (도로인지, 차선인지) 같은 **전체적인 맥락 (Global Context)**을 함께 봐야만 비로소 "아, 저기 보행자가 있구나"라고 이해할 수 있습니다.

2. 해결책: DRIFT (두 개의 눈, 하나의 뇌)

이 논문이 제안한 DRIFT는 레이더 데이터를 처리할 때 **두 가지 다른 방식 (Dual-Representation)**을 동시에 사용해서 서로 도와주는 구조입니다.

🕵️‍♂️ 첫 번째 눈: "세밀한 탐정" (Point Path)

• 역할: 레이더 점 하나하나를 자세히 봅니다.
• 비유: 사물의 모양, 속도, 미세한 특징을 파악하는 '세밀한 탐정'입니다.
• 한계: 점만 보면 주변이 어딘지 모릅니다.

🌍 두 번째 눈: "전망 좋은 감시탑" (Pillar Path)

• 역할: 점들을 통째로 묶어서 넓은 영역을 봅니다.
• 비유: 사물의 전체적인 위치, 도로의 흐름, 주변 환경을 파악하는 '감시탑'입니다.
• 한계: 너무 넓게 보면 사물의 디테일이 흐릿해집니다.

3. DRIFT 의 핵심 기술: "상호 소통하는 두 뇌"

기존 기술은 이 두 눈이 따로 놀거나, 나중에야 결과를 합쳤습니다. 하지만 DRIFT 는 처음부터 끝까지 두 눈이 끊임없이 대화합니다.

• 상호 융합 (Inter-Fusion):

  • '세밀한 탐정'은 '감시탑'에게 "여기 보행자 모양이 있는데, 이 길이 어디야?"라고 물어봅니다.
  • '감시탑'은 "저기 보행자 모양은 차선 바깥쪽이니까 위험할 수 있어"라고 답해줍니다.
  • 이 대화는 **여러 단계 (Stage)**에서 반복됩니다. 마치 두 사람이 함께 퍼즐을 맞추며 조각을 주고받는 것처럼요.

• 변환기 (Transformer) 의 힘:

  • 이 두 눈이 서로 대화할 때, Transformer라는 최신 AI 기술을 사용합니다.
  • 비유: 일반적인 대화는 옆 사람과만 하지만, Transformer 는 방 안의 모든 사람과 동시에 대화할 수 있게 해줍니다. 덕분에 멀리 있는 사물이나 희미한 신호도 놓치지 않고 연결할 수 있습니다.

4. 왜 이것이 중요한가요? (결과)

이 기술을 적용한 DRIFT 는 기존 최고의 기술들보다 훨씬 잘 작동했습니다.

• 작은 물체 찾기: 보행자나 자전거처럼 작고 희미한 물체를 비나 안개 속에서도 훨씬 잘 찾아냅니다.
• 오류 감소: 레이더의 잡음 (Noise) 을 사람으로 잘못 인식하는 실수를 줄였습니다.
• 실시간성: 복잡한 계산을 하더라도 자동차가 실시간으로 반응할 만큼 빠릅니다.

5. 한 줄 요약

DRIFT 는 "희미한 레이더 데이터"라는 퍼즐 조각을, "세밀한 관찰"과 "넓은 시야"라는 두 개의 눈을 끊임없이 대화시키며 맞춰, 비나 안개 속에서도 자율주행차가 안전한 길을 볼 수 있게 만든 똑똑한 기술입니다.

이 기술은 자율주행차가 더 저렴하고 튼튼한 레이더만으로도 안전하게 달릴 수 있는 길을 열어줍니다.

기술 요약

1. 문제 정의 (Problem)

• 4D 라다의 장점과 한계: 4D 라다는 저비용이며 악천후 (비, 안개 등) 에 강인하고 도플러 속도 정보를 제공한다는 장점이 있지만, LiDAR 에 비해 점 구름 (Point Cloud) 의 밀도가 매우 낮고 노이즈가 많다는 치명적인 단점이 있습니다.
• 기존 모델의 부족: LiDAR 기반의 딥러닝 모델은 국소적 (Local) 특징만으로도 객체를 인식하는 경우가 많지만, 4D 라다의 희소성 (Sparsity) 과 노이즈로 인해 국소 정보만으로는 보행자나 자전거와 같은 작은 객체를 감지하기 어렵습니다.
• 필요성: 라다 데이터를 효과적으로 처리하기 위해서는 국소적 세부 정보 (Local Fine-grained details) 와 전역적 문맥 정보 (Global Context) 를 동시에 활용하는 새로운 접근법이 필요합니다.

2. 제안 방법론 (Methodology: DRIFT)

논문은 DRIFT (Dual-Representation Inter-Fusion Transformer) 라는 새로운 아키텍처를 제안합니다. 이는 4D 라다 점 구름 처리를 위해 설계된 양방향 상호 융합 (Inter-fusion) 구조를 갖는 듀얼-패스 (Dual-path) 모델입니다.

핵심 아키텍처 구성

1. 이중 경로 구조 (Dual-Path Architecture):

   • Point Path (점 경로): 원시 점 (Raw Points) 데이터를 직접 처리하여 세밀한 국소 특징을 추출합니다. Point Transformer 블록을 사용하여 점 간의 상대적 위치 정보를 포착합니다.
   • Pillar Path (기둥 경로): 점 구름을 2D 비어스 아이 뷰 (BEV) 그리드 (Pillar) 로 변환하여 거친 전역 특징을 인코딩합니다. 희소성 (Sparsity) 을 유지하기 위해 Sparse Convolution 과 Transformer 를 결합합니다.
   • Transformer 적용: 라다 데이터의 희소성을 고려하여, Pillar Path 에는 전역 의존성을 모델링할 수 있는 Global Self-Attention을, Point Path 에는 국소적 위치 정보를 강화하는 Transformer를 적용했습니다. 이는 LiDAR 에 비해 계산 비용이 낮아 라다에 적합합니다.

2. 특징 공유 블록 (Feature Sharing Blocks):

   • 두 경로 (Point 와 Pillar) 는 병렬로 실행되지만, 여러 단계 (Intermediate Stages) 에서 Feature Sharing Blocks를 통해 서로 연결됩니다.
   • 양방향 정보 흐름: Point 에서 Pillar 로, Pillar 에서 Point 로 특징이 상호 교환됩니다.
   • 퓨전 전략:
     • Add/Concatenation: 단순하고 효율적인 특징 결합.
     • Cross-Attention: Point 와 Pillar 특징 간의 복잡한 관계를 포착하기 위한 교차 주의 메커니즘 (가장 성능이 우수함).
   • 이 구조를 통해 Point 경로는 전역 문맥을, Pillar 경로는 국소 세부 정보를 동시에 활용할 수 있게 됩니다.

3. 희소 데이터 표현 (Sparse Data Representation):

   • 라다 점 구름의 극단적인 희소성을 고려하여, 모델 전체가 Sparse Convolution과 Sparse Transformer를 사용하여 구현되었습니다. 이는 메모리 효율성과 추론 속도를 보장합니다.

3. 주요 기여 (Key Contributions)

1. 라다 전용 이중 표현 백본 아키텍처: 4D 라다 점 구름 처리를 위해 설계된 최초의 엔드-투-엔드 병렬 Point-Pillar 경로 구조를 제안했습니다.
2. 다단계 양방향 특징 공유: 중간 단계마다 특징 공유 블록을 도입하여 국소 및 전역 특징이 전체 백본을 통해 긴밀하게 얽히도록 (Intertwine) 했습니다.
3. Transformer 기반의 효율적 모델링: 라다의 희소성을 활용하여 Transformer 를 Point 와 Pillar 경로 모두에 적용하고, 전역적 의존성을 모델링하면서도 실시간 추론이 가능하도록 설계했습니다.
4. 범용성 입증: 객체 감지 (Object Detection) 와 자유 도로 추정 (Free-road Estimation) 등 다양한 태스크에서 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

모델은 공개 데이터셋인 View-of-Delft (VoD) 와 저자 소속의 내부 데이터셋 (perciv-scenes-2) 에서 평가되었습니다.

• VoD 데이터셋 (객체 감지):

  • mAP (평균 정밀도): 52.6% 를 기록하여 기존 최첨단 모델 (CenterPoint: 45.4%, SMURF: 51.0% 등) 을 능가했습니다.
  • 소형 객체 감지: 보행자 (Pedestrian) 와 자전거 (Cyclist) 감지 성능이 특히 뛰어났습니다 (전체 영역 mAP 기준 보행자 42.2%, 자전거 74.3%). 이는 듀얼 경로 설계가 국소 정보와 전역 문맥의 결합을 통해 소형 객체 인식에 효과적임을 시사합니다.
  • 프리-트레인 효과: 내부 데이터셋으로 사전 학습 (Pre-training) 을 수행한 DRIFT 는 mAP 53.1% 까지 성능이 향상되었습니다.

• perciv-scenes-2 데이터셋 (객체 감지 및 자유 도로 분할):

  • 객체 감지: CenterPoint 대비 mAP(55.2% vs 51.8%) 와 NDS(52.7% vs 50.9%) 에서 모두 우위를 보였습니다.
  • 자유 도로 분할: IoU_free(73.3% vs 71.5%) 에서도 기존 모델을 능가했습니다. 이는 모델이 국소적/전역적 문맥의 균형이 필요한 다양한 태스크에 적용 가능함을 의미합니다.

• 효율성:

  • GPU 메모리: 4.92GB ~ 7.74GB
  • 추론 지연 시간: 16.4ms ~ 20.0ms (실시간 처리 가능)

5. 의의 및 결론 (Significance)

• 라다 기반 자율주행의 한계 극복: 기존 라다 기반 모델이 겪던 희소성과 노이즈로 인한 인식 오류 (특히 소형/원거리 객체) 를 듀얼 표현과 상호 융합 메커니즘을 통해 성공적으로 해결했습니다.
• 효율적인 아키텍처 설계: LiDAR 에 비해 계산 자원이 제한적인 라다 데이터에 대해 Transformer 를 효과적으로 적용하여 전역적 맥락을 학습하면서도 실시간 성능을 유지했습니다.
• 미래 방향성: 본 연구는 라다 센서만으로도 고도화된 자율주행 인식이 가능함을 보여주었으며, 향후 점 단위 시맨틱 분할, 인스턴스 분할 등 다른 태스크나 로봇 항법, 항공 감지 등 더 넓은 분야로의 확장 가능성을 제시합니다.

요약하자면, DRIFT는 4D 라다 데이터의 고유한 특성 (희소성, 노이즈) 을 고려하여 국소적 정밀도와 전역적 이해를 동시에 달성하는 혁신적인 딥러닝 프레임워크로, 라다 센서 기반 자율주행 시스템의 성능을 크게 향상시킨 획기적인 연구입니다.