RAVEN: Radar Adaptive Vision Encoders for Efficient Chirp-wise Object Detection and Segmentation

이 논문은 자율 주행 및 항공 플랫폼의 인식을 위한 FMCW(Frequency-Modulated Continuous-Wave)를 처리하기 위한 새로운 딥러닝 아키텍처인 RAVEN(Radar Adaptive Vision Encoders)을 제안합니다. RAVEN 은 기존 프레임 기반 방식의 높은 계산 비용과 지연 시간을 극복하고, 스트리밍 ADC(Analog-to-Digital Converter) 신호를 효율적으로 처리하여 실시간 객체 감지 및 자유 공간 분할을 가능하게 합니다.

1. 문제 정의 (Problem)

기존의 레이더 인식 파이프라인은 주로 **프레임 기반 **(Frame-based) 방식을 따릅니다. 이는 전체 레이더 프레임의 모든 ADC 샘플을 수집한 후, 거리 (Range), 각도 (Angle), 도플러 (Doppler) 차원에 대해 고속 푸리에 변환 (FFT) 을 적용하여 고해상도 3D 텐서 (RAD 텐서) 를 구성한 뒤, 이를 CNN 이나 Transformer 백본에 입력하는 방식입니다.

이러한 방식의 주요 한계점은 다음과 같습니다:

• 높은 계산 비용 및 지연 시간: 고해상도 4D 이미징 레이더는 안테나 수와 대역폭 증가로 인해 데이터 양이 기하급수적으로 증가합니다. 전체 프레임을 처리해야 하므로 최소 1 프레임 이상의 지연이 발생하며, 대규모 3D 특징 맵에 대한 밀집 처리 (Dense processing) 는 임베디드 플랫폼에서 비현실적입니다.
• MIMO 구조의 손실: 기존 경량 순차 모델들은 처리 효율을 위해 수신기 (RX) 채널을 초기 단계에서 압축하거나 혼합합니다. 이는 MIMO(다중 입력 다중 출력) 어레이가 제공하는 명시적인 공간 국소화 정보와 가상 어레이 (Virtual Array) 구조를 파괴하여 각도 추정 및 감지 정확도를 저하시킵니다. 특히 도플러 분할 다중화 (DDM) 시스템에서는 송신기 (TX) 신호가 주파수 영역에서 얽혀 있어, 이를 분리하지 않으면 가상 어레이 요소들이 에일리어싱 (Aliasing) 되어 성능이 떨어집니다.

2. 방법론 (Methodology)

RAVEN 은 물리 법칙에 영감을 받은 **스트리밍 친화적 **(Streaming-friendly) 하이브리드 아키텍처를 설계했습니다. 전체 프레임 수집 없이도 실시간으로 데이터를 처리하며, MIMO 구조를 보존합니다.

2.1. 핵심 아키텍처 구성 요소

1. **병렬 RX 채널 SSM 인코더 **(Fast-time Processing)

   • 각 수신기 (RX) 채널의 ADC 샘플을 독립적으로 처리합니다.
   • 각 채널마다 작은 **상태 공간 모델 **(SSM, Mamba 블록 기반)을 사용하여 패스트 타임 (Fast-time) 정보를 압축합니다.
   • 이를 통해 각 안테나별 위상 및 진폭 구조를 보존하면서, 각 칩 (Chirp) 당 컴팩트한 토큰으로 변환합니다.

2. **교차 안테나 어텐션 믹서 **(Cross-antenna Attention Mixer)

   • 독립적으로 처리된 RX 토큰들을 융합하는 경량의 어텐션 모듈입니다.
   • 학습 가능한 송신기 (TX) 쿼리를 사용하여 RX 토큰을 탐색하고, DDM 구조에서 분리된 TX 성분을 복원합니다.
   • 이 모듈은 학습 가능한 빔포머 역할을 하여, RAD 텐서를 구성하지 않고도 가상 MIMO 어레이 특징을 직접 재구성합니다. 이는 공간 국소화 정보를 유지하면서 계산 오버헤드를 최소화합니다.

3. **칩별 **(Chirp-wise)

   • 압축된 칩 시퀀스를 순차적으로 처리하는 슬로우 타임 (Slow-time) SSM 백본입니다.
   • 내부 상태를 유지하며 온라인 업데이트가 가능하여, 전체 프레임을 기다리지 않고도 실시간 추론을 지원합니다.

4. **서브-프레임 조기 종료 **(Sub-frame Early Exit)

   • 레이더 칩 간의 연속적인 운동 정보를 활용하여, 상태가 안정화되는 시점에서 추론을 중단합니다.
   • 학습: 다중 프리픽스 (Multi-prefix) 감독을 통해 초기 칩에서도 정답을 예측하도록 훈련합니다.
   • 추론: 새로운 칩의 잠재 상태와 이전 상태 간의 **코사인 거리 **(Cosine Distance)를 계산하여, 변화가 임계값 이하로 떨어지면 (정보의 한계 도달) 즉시 출력을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 물리 기반 스트리밍 믹싱: RAD 텐서 재구성 없이, 독립적인 RX 프로세서 뒤에 교차 안테나 어텐션 모듈을 배치하여 잠재된 TX 구조 (DDM) 를 분리하고 가상 MIMO 정보를 복원합니다.
2. 효율성을 위한 하이브리드 설계: 채널별 SSM 과 프레임 인코딩 칩 SSM 사이에 교차 어텐션 모듈을 최적의 위치에 배치하여, 계산 비용과 공간 분해능 사이의 균형을 달성했습니다.
3. 서브-프레임 저지연 감지: 칩별 SSM 백본과 교정된 정지 규칙 (Stopping Rule) 을 결합하여, 필요한 칩의 일부만으로도 객체 감지와 분할이 가능하도록 하여 엔드 - 투 - 엔드 지연 시간과 계산량을 획기적으로 줄였습니다.

4. 실험 결과 (Results)

RAVEN 은 RADIal과 RaDICaL이라는 두 가지 주요 자동차 레이더 데이터셋에서 실험되었습니다.

• 계산 효율성:
  • 기존 프레임 기반 모델 (FFT-RadNet 등) 대비 **최대 170 배 낮은 계산량 **(GMACs)을 기록했습니다.
  • RaDICaL 데이터셋에서 0.053 GMACs 만으로 Dice 0.997, Chamfer Distance 0.082 의 성능을 달성했습니다 (FFT-RadNet 대비 약 790 배 효율성 향상).
  • RADIal 데이터셋에서 TransRadar 대비 170 배, T-FFTRadNet 대비 95 배 적은 계산량으로 SOTA 성능을 달성했습니다.
• 지연 시간:
  • 조기 종료 규칙을 적용하여 4 배 낮은 엔드 - 투 - 엔드 지연 시간을 달성했습니다.
  • 메모리 사용량과 처리 속도 (FPS) 가 칩 수에 비례하여 감소하므로, 불필요한 칩 처리를 생략함으로써 실시간 성능이 크게 향상되었습니다.
• 정확도:
  • 객체 감지 (mAP, F1-score) 와 자유 공간 분할 (mIoU) 모두에서 기존 최첨단 모델들과 경쟁하거나 능가하는 성능을 보였습니다.
  • 특히 조기 종료 (Sub-frame) 모드에서도 성능 저하가 미미하여, 효율성과 정확도의 동시 달성이 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

RAVEN 은 레이더 인식 분야에서 스트리밍 ADC 처리와 물리 법칙 기반의 아키텍처 설계가 어떻게 임베디드 환경에서의 실시간 고해상도 인식을 가능하게 하는지 보여줍니다.

• 실시간성: 전체 프레임을 기다리지 않고 칩 단위로 결정을 내릴 수 있어, 고속 주행 환경이나 지연에 민감한 애플리케이션에 적합합니다.
• 자원 효율성: 고해상도 4D 레이더의 데이터 폭증 문제를 해결하여, 제한된 컴퓨팅 자원을 가진 차량용 엣지 디바이스에서도 고성능 인식을 가능하게 합니다.
• 확장성: 이 아키텍처는 카메라나 LiDAR 와 같은 다른 센서와의 멀티모달 융합에도 적용 가능한 유연한 베이스라인을 제공합니다.

결론적으로 RAVEN 은 레이더 기반 인식의 계산 효율성과 실시간성을 혁신적으로 개선하여, 실제 자율 주행 시스템의 상용화에 중요한 기여를 할 것으로 기대됩니다.