ACCOR: Attention-Enhanced Complex-Valued Contrastive Learning for Occluded Object Classification Using mmWave Radar IQ Signals

이 논문은 mmWave 레이더의 IQ 신호를 처리하기 위해 복소수 값 CNN, 멀티헤드 어텐션, 그리고 하이브리드 손실 함수를 결합한 ACCOR 모델을 제안하여, 가려진 물체 분류의 정확도를 기존 모델보다 크게 향상시켰음을 보여줍니다.

핵심

이 논문은 **"눈이 보이지 않는 물체도 레이더로 구별해내는 새로운 인공지능 기술"**에 대한 이야기입니다.

마치 마술사가 상자 안의 물건을 눈으로 보지 않고도 정확히 맞추는 것처럼, 이 연구는 레이더 신호를 이용해 상자에 담긴 물체가 무엇인지 알아내는 방법을 개발했습니다.

핵심 내용을 쉽게 풀어서 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (상자의 비밀)

상상해 보세요. 택배 상자가 밀봉되어 있고, 그 안에 망치인지, 물병인지, 아니면 볼펜인지 알 수 없다고 칩시다.

• 카메라나 LiDAR(레이저): 상자가 불투명하면 안을 볼 수 없습니다. 안개나 어둠에서도 작동하지 않죠.
• 기존 레이더: 물체의 위치는 알 수 있지만, "이게 정확히 뭐지?"라고 구별하는 데는 한계가 있었습니다.

이 연구는 **마이크로파 레이더 (mmWave)**를 사용했습니다. 이 레이더는 종이 상자나 플라스틱 같은 얇은 재질을 뚫고 들어가 안의 물체를 '느낄' 수 있는 능력을 가지고 있습니다. 문제는 "어떻게 그 미세한 신호 차이를 구별할 것인가?"였습니다.

2. ACCOR: 레이더를 위한 새로운 '귀'와 '뇌'

저자들은 ACCOR이라는 새로운 인공지능 모델을 만들었습니다. 이 모델은 세 가지 특별한 능력을 가지고 있습니다.

① 복잡한 신호를 그대로 이해하는 '복소수 뇌' (Complex-Valued CNN)

일반적인 인공지능 (카메라용) 은 숫자를 '실수'로만 봅니다. 하지만 레이더 신호는 **진폭 (세기)**과 **위상 (시간 차이)**이라는 두 가지 정보를 동시에 가지고 있는 '복소수'입니다.

• 비유: 음악을 들을 때, 일반 AI 는 '소리의 크기'만 듣고, ACCOR 는 '소리의 크기'와 '소리의 울림 (위상)'을 동시에 듣습니다.
• 효과: 이 두 정보를 분리하지 않고 하나로 처리하기 때문에, 물체의 미세한 특징을 놓치지 않습니다.

② 중요한 부분에 집중하는 '초점 렌즈' (Attention Mechanism)

레이더 신호에는 잡음도 많고, 물체의 모든 부분이 다 중요하지는 않습니다.

• 비유: 시험지를 볼 때, 모든 글자를 다 읽는 게 아니라 정답이 될 만한 핵심 키워드에 집중하는 것과 같습니다.
• 효과: ACCOR 는 레이더 신호 중에서 "아, 이 부분이 물체의 특징을 잘 보여주고 있구나!"라고 스스로 집중할 부분을 찾아냅니다.

③ 비슷한 것들을 구별하는 '스승의 지도' (Contrastive Learning)

상자 안의 물체들이 서로 너무 비슷하면 AI 가 헷갈리기 쉽습니다.

• 비유: 두 쌍둥이를 구별할 때, 단순히 "누가 누구야?"라고 묻는 게 아니라, **"이 아이는 코가 작고, 저 아이는 코가 크니까 서로 멀리 떨어져 있어!"**라고 가르치는 것입니다.
• 효과: ACCOR 는 학습할 때 비슷한 물체끼리는 뭉치고, 다른 물체끼리는 멀리 떨어지도록 '혼자서도 잘 구분할 수 있는 능력'을 키워줍니다.

3. 실험 결과: 얼마나 잘할까요?

연구진은 64GHz 와 67GHz 라는 두 가지 다른 주파수 대역으로 실험을 했습니다. (마치 라디오 주파수를 조금씩 바꿔가며 테스트한 것과 같습니다.)

• 성적표: 10 가지 다른 물건 (망치, 물병, 볼펜 등) 을 상자 안에 넣고 테스트했을 때, **96.6%~93.6%**의 정확도로 맞췄습니다.
• 비교: 기존에 쓰이던 다른 레이더 모델이나, 카메라용 AI 를 레이더에 억지로 적용한 모델들보다 훨씬 더 잘했습니다.
• 의미: 이는 레이더 신호를 그대로 (복소수 형태로) 이해하고, 집중하며, 구별하는 훈련을 시켰을 때 얼마나 강력한지 보여줍니다.

4. 왜 이 기술이 중요할까요?

이 기술은 공장 자동화나 물류 분야에서 큰 역할을 할 수 있습니다.

• 예시: 컨베이어 벨트 위를 지나가는 밀봉된 상자에 무엇이 들어있는지, 사람이 열어보지 않고도 로봇이 알아서 분류할 수 있습니다.
• 장점: 안개, 연기, 어둠 속에서도 작동하며, 프라이버시 (카메라처럼 얼굴을 찍지 않음) 도 지켜줍니다.

요약

이 논문은 **"레이더 신호라는 복잡한 악보를, AI 가 마치 지휘자처럼 집중해서 듣고, 서로 다른 악기 (물체) 를 완벽하게 구별하도록 훈련시킨 기술"**이라고 할 수 있습니다.

앞으로 이 기술이 발전하면, 우리가 눈으로 볼 수 없는 곳에서도 로봇이 안전하게 물건을 찾고 분류하는 세상이 올 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 밀리미터파 (mmWave) 레이더는 안개, 연기, 비, 완전한 어둠과 같은 열악한 환경에서도 작동하며, 천이나 판지, 플라스틱 같은 비금속 경량 물질을 투과할 수 있는 능력을 가집니다. 이는 산업 자동화 및 로봇 분야에서 포장된 물체 (occluded objects) 의 분류에 매우 유용합니다.
• 문제점:
  • 기존 연구들은 주로 전처리된 거리 - 도플러 (Range-Doppler) 이미지나 점 구름 (Point Cloud) 을 사용하거나, 대규모 안테나 어레이 스캐너에 의존하여 확장성이 제한적입니다.
  • 직접적인 IQ(동위상/직교 위상) 신호를 처리하는 딥러닝 접근법은 드물며, 특히 다양한 주파수 대역에서의 성능 평가가 체계적으로 이루어지지 않았습니다.
  • 기존 모델들은 복소수 (Complex-valued) 신호의 위상과 진폭 정보를 효과적으로 활용하지 못하거나, 계산 비용이 높은 3D 컨볼루션을 사용하여 비효율적입니다.
  • 기존 데이터셋은 단일 주파수 대역 (64 GHz) 에만 국한되어 있어 주파수 의존적인 투과 특성을 분석하기 어렵습니다.

2. 제안된 방법론 (Methodology: ACCOR)

저자들은 ACCOR이라는 새로운 딥러닝 모델을 제안했습니다. 이는 복소수 기반 컨볼루션 신경망 (CNN), 어텐션 메커니즘, 그리고 하이브리드 손실 함수를 결합한 구조입니다.

• 데이터 전처리:
  • 20 개의 송신 (Tx) 및 20 개의 수신 (Rx) 안테나를 가진 MIMO 레이더를 사용하여 400 개의 가상 채널에서 IQ 신호를 수집합니다.
  • 수집된 시간 영역 IQ 신호에 FFT(Fast Fourier Transform) 를 적용하여 거리 프로파일 (Range Profile) 을 생성합니다. 이는 원시 신호보다 더 풍부한 특징을 제공합니다.
• 모델 아키텍처:
  • 복소수 CNN 백본 (Complex-valued CNN Backbone): 입력 신호를 실수/허수 성분으로 분리하지 않고, 복소수 도메인에서 직접 연산합니다. 이는 진폭과 위상 간의 상관관계를 보존하고 회전 불변성을 유지하여 특징 추출 능력을 극대화합니다. (커널 크기 5, 3 개의 레이어)
  • 멀티헤드 셀프 어텐션 (Multi-Head Self-Attention): CNN 을 통과한 특징 벡터를 토큰으로 변환한 후, 16 개의 헤드를 가진 어텐션 레이어를 적용합니다. 이를 통해 거리 (Range) 및 각도 (Angle) 영역에서의 다양한 특징 의존성을 포착하고 신호를 정제합니다.
  • 하이브리드 손실 함수 (Hybrid Loss Function): 분류 성능을 높이기 위해 두 가지 손실 함수를 결합합니다.
    • 가중 교차 엔트로피 (Weighted Cross-Entropy): 정확한 라벨 예측을 담당.
    • 지도 학습 대비 학습 (Supervised Contrastive Loss): 동일한 클래스의 샘플은 특징 공간에서 가깝게, 다른 클래스는 멀리 배치되도록 유도하여 클래스 간 분리를 강화합니다.
    • 총 손실: $\ell_{total} = (1-\alpha)\ell_{CE} + \alpha\ell_{contrastive}$

3. 주요 기여 (Key Contributions)

1. 복소수 CNN 과 어텐션 통합: 레이더 IQ 신호의 진폭 및 위상 정보를 효과적으로 활용하기 위해 맞춤형으로 설계된 컴팩트한 복소수 CNN 백본과 자기 어텐션 메커니즘을 도입했습니다.
2. 하이브리드 손실 함수 도입: 교차 엔트로피와 대비 학습 (Contrastive Learning) 을 결합하여, 레이더 신호가 서로 매우 유사하다는 특성을 극복하고 클래스 간 분리를 개선했습니다.
3. 새로운 67 GHz 데이터셋 확장: 기존 64 GHz 데이터셋에 67 GHz 대역의 새로운 서브셋을 추가하여, 서로 다른 주파수 대역에서의 포장 투과 및 분류 성능을 비교 분석할 수 있는 벤치마크를 마련했습니다.

4. 실험 결과 (Results)

• 데이터셋: 10 가지 일상 용품 (망치, 드라이버, 물병 등) 을 판지 상자에 넣어 64 GHz 와 67 GHz 에서 각각 측정. 총 1,000 개 샘플 (각 주파수당 500 개, 클래스당 50 개).
• 성능 (정확도):
  • 64 GHz: 96.60% (기존 RadarCNN: 90.14%, SMCNet: 91.89%, Dual-stream CNN: 95.15% 보다 우월)
  • 67 GHz: 93.59% (기존 모델들보다 우월)
  • 이미지 분류 모델 (ResNet, EfficientNet 등) 을 레이더 데이터에 적용한 경우보다 ACCOR 의 성능이 압도적으로 높았습니다.
• 초기화 및 하이퍼파라미터 분석:
  • $\alpha$ (손실 가중치): $\alpha=0.4$ (64 GHz) 및 $\alpha=0.5$ (67 GHz) 일 때 최적의 성능을 보였습니다. 대비 학습 (Contrastive loss) 이 포함되지 않은 경우 ($\alpha=0$) 성능이 크게 저하됨을 확인했습니다.
  • 복소수 vs 실수: 복소수 백본을 사용한 모델이 실수 백본 (I/Q 성분을 별도 채널로 처리) 을 사용한 모델보다 64 GHz 에서 약 6% 포인트, 67 GHz 에서 약 2% 포인트 더 높은 정확도를 기록하여 복소수 처리의 중요성을 입증했습니다.
  • t-SNE 시각화: 대비 학습을 적용한 모델은 특징 공간에서 클래스 간 거리가 명확히 분리되고 동일 클래스는 밀집되어 있음을 보여주었습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: ACCOR 은 mmWave 레이더를 이용한 포장된 물체 분류 분야에서 복소수 딥러닝, 어텐션 메커니즘, 대비 학습을 통합한 최초의 체계적인 접근법 중 하나로 평가됩니다.
• 실용성: 컴팩트하고 저렴한 MIMO 레이더를 사용하여 고가의 스캐너 없이도 산업 자동화 및 물류 환경에서 포장된 물체를 식별할 수 있는 가능성을 입증했습니다.
• 향후 방향: 현재는 판지 한 종류와 좁은 주파수 대역 (64-67 GHz) 에 국한되었으나, 더 다양한 물체, 다양한 차폐재, 그리고 더 넓은 주파수 대역으로 데이터를 확장하여 더욱 견고한 레이더 기반 지각 시스템을 개발할 수 있는 기반을 마련했습니다.

이 연구는 레이더 신호 처리의 본질적인 특성 (복소수 신호) 을 존중하고 심층 학습 기법을 최적화함으로써, 기존 시각 센서의 한계를 극복하는 새로운 패러다임을 제시합니다.