RadarFuseNet: Complex-Valued Cross-Attention Fusion of Time-Frequency IQ Radar Features for Robust Classification

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 밀리미터파 (mmWave) 레이더는 카메라나 LiDAR 가 작동하기 어려운 환경 (안개, 연기, 가림 현상 등) 에서도 신뢰할 수 있는 정보를 제공하며, 물체의 표면 재질을 식별하는 데에도 효과적입니다.
• 기존 방법의 한계:
  • 대부분의 기존 딥러닝 기반 레이더 연구는 레이더 신호를 Range-Angle 또는 Range-Doppler 맵과 같은 '이미지' 형태로 변환하거나 CFAR 알고리즘을 통해 희소 점구름 (sparse point clouds) 으로 변환한 후 처리합니다.
  • 이러한 변환 과정은 위상 (Phase) 정보와 같은 중요한 아날로그 신호의 세부 정보를 손실시킵니다.
  • 특히, 가림된 물체 (Occluded objects) 분류나 다양한 표면 재질 분류 작업에서, 학습 시 사용되지 않은 거리 (Unseen distances) 조건에서의 일반화 성능이 여전히 부족합니다.
• 목표: 위상 정보를 포함한 복소수 (Complex-valued) In-Phase and Quadrature (IQ) 신호를 직접 처리하여, 시간 영역 (Time-domain) 과 주파수 영역 (Frequency-domain) 의 특징을 효과적으로 융합하고, 다양한 측정 조건에서 강인한 분류 성능을 달성하는 것입니다.

2. 제안 방법론: RadarFuseNet (Methodology)

저자들은 RadarFuseNet이라는 새로운 아키텍처를 제안하며, 이는 다음과 같은 핵심 요소로 구성됩니다.

가. 신호 전처리 (Signal Preprocessing)

• 입력 데이터: Vayyar 레이더 센서 (20x20 L 자형 안테나 구성) 로부터 수집된 400 채널의 IQ 샘플 ($s \in \mathbb{C}^{20 \times 20 \times 100}$).
• 두 가지 표현 형태 생성:
  1. 시간 영역 (Time-domain): 원시 IQ 신호 ($x$).
  2. 주파수 영역 (Frequency-domain): 3 차원 FFT 를 적용하여 거리 (Range), 방위각 (Azimuth), 고도 (Elevation) 스펙트럼을 포함한 신호 ($X$).
• 두 신호 모두 채널 차원을 평탄화 (Flattening) 하여 2D 복소수 텐서로 변환하여 CNN 입력으로 사용합니다.

나. 모델 아키텍처 (Model Architecture)

1. 복소수 CNN 특징 추출기 (Complex-valued CNNs):

   • 두 개의 독립적인 CNN 브랜치를 사용합니다. 하나는 원시 IQ 신호 ($x$) 를, 다른 하나는 FFT 변환된 신호 ($X$) 를 처리합니다.
   • 복소수 연산: 합성곱, 풀링, 배치 정규화, ReLU 활성화 함수 등 모든 연산을 복소수 도메인에서 수행합니다. 이는 신호의 위상 (Phasor) 정보를 분리하지 않고 전체적으로 처리하여 더 풍부한 특징을 추출할 수 있게 합니다.
   • 참고: 복소수 ReLU 는 실수부와 허수부가 모두 양수일 때만 출력을 반환합니다.

2. 양방향 교차 주의 (Bidirectional Cross-Attention) 융합:

   • 복소수 CNN 에서 추출된 특징 ($f, F$) 을 실수형 벡터 ($\tilde{f}, \tilde{F}$) 로 변환 (실수부와 허수부 연결) 합니다. 이는 교차 주의 모듈이 실수 입력을 필요로 하기 때문입니다.
   • 융합 메커니즘: $\tilde{f}$가 $\tilde{F}$에 주의를 기울이고 (Attend), 반대로 $\tilde{F}$가 $\tilde{f}$에 주의를 기울이는 **양방향 교차 주의 (Bidirectional Cross-Attention)**를 적용합니다.
   • 이를 통해 시간 영역과 주파수 영역의 상보적인 특징 공간 (Feature Spaces) 을 효과적으로 정렬하고 융합하여 더 풍부한 표현을 학습합니다.

3. 분류 헤드:

   • 융합된 특징 벡터는 다중 헤드 어텐션 (Multi-head attention) 을 거쳐 최종 분류를 위해 완전 연결층 (Fully Connected Layer) 과 교차 엔트로피 손실 함수를 통과합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 아키텍처 설계: 복소수 CNN 과 양방향 교차 주의 메커니즘을 통합하여, 동일한 신호의 시간/주파수 표현을 융합하는 구조를 제안했습니다.
2. 복소수 특징의 실수 변환 적응: 복소수 특징 표현을 실수형 교차 주의 처리와 호환되도록 변환하는 방법을 고안했습니다.
3. 강인한 일반화 성능: 다양한 측정 조건 (특히 학습되지 않은 거리) 에서 기존 모델보다 우수한 일반화 능력과 강인성을 입증했습니다.

4. 실험 결과 (Results)

두 가지 데이터셋 (가림된 물체 분류, 표면 재질 분류) 을 사용하여 평가했습니다.

가. 가림된 물체 분류 (Occluded Object Classification)

• 데이터: 10 가지 유형의 포장된 물체 (공, 케이블, 계산기 등).
• 성능:
  • 제안된 RadarFuseNet은 **94.20%**의 정확도를 달성했습니다.
  • 단일 브랜치 복소수 CNN (90.70%), 실수 CNN 스트림을 사용한 변형 모델 (91.79%), MLP 기반 단순 융합 (89.90%) 보다 모두 우수한 성능을 보였습니다.
  • ResNet-18(93.36%) 보다도 약간 더 높은 성능을 기록했습니다.

나. 표면 재질 분류 (Surface Material Classification)

• 데이터: 5 가지 재질 (콘크리트, 건식벽체, 유리, 금속, 목재).
• 성능 (학습된 거리 조건):
  • RadarFuseNet 은 **99.92%**의 정확도를 기록하여 거의 완벽한 분류 성능을 보였습니다.
• 성능 (미학습 거리 조건 - Generalization):
  • 학습 시 사용되지 않은 새로운 거리 (60cm, 80cm) 에서 테스트 시, RadarFuseNet 은 **65.56%**의 정확도를 기록했습니다.
  • 이는 단일 브랜치 복소수 CNN(59.50%) 및 다른 비교 모델들보다 우수한 일반화 성능을 입증한 결과입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 정보 손실 최소화: 레이더 신호를 이미지로 변환하는 과정에서 발생하는 위상 정보 손실을 피하고, 원시 IQ 신호와 FFT 신호를 직접 처리함으로써 더 풍부한 특징을 추출할 수 있음을 증명했습니다.
• 상보적 특징 융합의 효과: 시간 영역과 주파수 영역의 특징을 단순히 병렬로 처리하는 것이 아니라, 교차 주의 메커니즘을 통해 상호 보완적으로 융합함으로써 분류 정확도와 모델의 강인성을 크게 향상시켰습니다.
• 실용적 가치: 레이더 기반의 실내 인식, 가림된 물체 탐지, 재질 식별 등 기존 센서 (카메라 등) 가 한계를 보이는 환경에서 높은 신뢰성을 제공하는 솔루션을 제시했습니다.
• 한계 및 향후 과제: 현재 사용된 데이터셋의 크기가 상대적으로 작으므로, 향후 더 크고 다양한 데이터셋을 수집하여 모델의 한계를 규명하고 성능을 더욱 정량화하는 것이 필요하다고 결론지었습니다.

이 논문은 mmWave 레이더 신호 처리 분야에서 복소수 딥러닝과 어텐션 기반 융합의 잠재력을 성공적으로 입증한 중요한 연구로 평가됩니다.