mmAnomaly: Leveraging Visual Context for Robust Anomaly Detection in the Non-Visual World with mmWave Radar

1. 문제 정의 (Problem Statement)

mmWave(밀리미터파) 레이더는 의복이나 특정 벽을 관통하여 비가시적 환경에서 인간을 감지할 수 있는 독특한 능력을 갖추고 있습니다. 이는 보안 (은밀한 무기 탐지), 의료 (비접촉 생체 신호 모니터링), 산업 (열악한 환경 모니터링) 분야에서 기존 카메라나 적외선 센서의 한계를 극복할 수 있는 대안입니다.

그러나 mmWave 레이더를 이용한 이상 탐지 (Anomaly Detection) 는 다음과 같은 이유로 매우 어렵습니다:

• 복잡한 신호 왜곡: 신호 반사는 재료 특성, 클러터 (잡음), 다중 경로 간섭 (multipath interference) 에 의해 크게 영향을 받아 복잡하고 비가우시안 (non-Gaussian) 형태의 왜곡을 일으킵니다.
• 문맥 부재 (Lack of Contextual Awareness): 기존 방법들은 레이더 신호만 단독으로 분석하여, 의복의 재질이나 환경적 요인으로 인한 정상적인 신호 변동을 '이상'으로 오인하는 경우가 많습니다.
• 기존 모델의 한계: 기존 레이더 특화 모델 (SiFall, CGAN 등) 은 단순화된 잡음 모델을 가정하거나 장면의 기하학적 구조, 재료 특성 등 중요한 문맥 정보를 고려하지 못해 정밀도가 낮습니다.

2. 제안 방법: mmAnomaly (Methodology)

저자들은 mmAnomaly를 제안했습니다. 이는 mmWave 레이더와 RGB-D(적외선 깊이) 카메라 입력을 결합하여 시각적 문맥 (Visual Context) 을 활용하는 다중 모드 이상 탐지 프레임워크입니다. 핵심 아이디어는 "시각적으로 보이는 장면 (RGB-D) 을 기반으로 정상적인 mmWave 신호를 생성하고, 실제 측정된 신호와 비교하여 차이를 이상으로 판단"하는 것입니다.

시스템은 크게 세 가지 모듈로 구성됩니다:

A. 전처리 모듈 (Preprocessor)

• 정렬 (Aligner): RGB 및 깊이 (Depth) 이미지를 레이더의 좌표계 (Range-Azimuth) 로 투영하여 **레이더 관점 투영 (Radar-Perspective Projection)**을 생성합니다. 이를 통해 시각적 구조와 레이더 반사 신호를 공간적으로 정렬합니다.
• 문맥 추출 (Context Extractor): ResNet 기반의 분류기를 사용하여 의복 재질, 환경 유형 (예: 복도, 계단) 등 고수준의 의미론적 단서를 추출합니다. 이를 자연어 프롬프트 (Natural Language Prompt) 로 변환하여 생성 모델에 조건부 입력으로 제공합니다.

B. 생성기 모듈 (Generator)

• 조건부 잠재 확산 모델 (Conditional Latent Diffusion Model): 추출된 시각적 문맥 (이미지 투영) 과 텍스트 프롬프트를 입력받아, 예상되는 정상 상태의 mmWave 스펙트럼을 합성합니다.
• 이 모델은 의복 재질이나 환경적 요소가 레이더 반사에 미치는 영향을 학습하여, 이상 (예: 은밀한 무기) 이 없는 상황에서 기대되는 신호를 정밀하게 예측합니다.
• 학습 손실 함수에는 유사도 (Similarity), 분산 (Divergence), 적대적 (Adversarial), 텍스트 일관성 (Textual) 손실이 결합되어 있습니다.

C. 로컬라이저 모듈 (Localizer)

• 이중 입력 비교 (Dual-Input Comparison): 실제 측정된 mmWave 스펙트럼과 생성된 예상 스펙트럼을 비교합니다.
• 비전 트랜스포머 (Vision Transformer, ViT): 두 스펙트럼을 병렬로 처리하는 이중 브랜치 ViT 아키텍처를 사용하여 공간적 편차 (Spatial Deviations) 를 탐지합니다.
• 이상 맵 생성: 실제와 생성된 신호 간의 잔차 (Residual) 를 기반으로 이상 발생 위치를 정밀하게 국소화 (Localization) 하고 이상 지도 (Anomaly Map) 를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 초기 크로스-모달 생성 접근법: co-located 카메라의 RGB-D 입력으로부터 직접 예상 mmWave 신호를 합성하여 이상을 탐지하는 최초의 프레임워크입니다.
2. 문맥 인식 이상 탐지: 레이더 신호의 물리적 특성을 시각적 문맥 (재료, 기하학) 과 결합하여, 환경적 변동에 의한 오검출을 줄이고 일반화 성능을 극대화했습니다.
3. 다양한 시나리오 검증: 은밀한 무기 탐지, 벽 뒤 침입자 탐지, 벽 뒤 낙상 탐지 등 세 가지 주요 응용 분야에서 광범위한 평가를 수행했습니다.
4. 해석 가능한 시스템: 이상 발생 위치를 시각적으로 보여주는 이상 지도를 제공하여, 검출 결과의 신뢰성과 해석 가능성을 높였습니다.

4. 실험 결과 (Results)

저자들은 두 개의 다중 모드 데이터셋을 사용하여 세 가지 응용 분야에서 mmAnomaly 를 평가했습니다.

• 은밀한 무기 탐지 (Through-Cloth Weapon Localization):
  • 다양한 의복 (플리스, 가죽, 스노우 재킷) 과 환경 조건에서 F1 스코어 약 94% 달성.
  • 평균 국소화 오차 (MLE) 16mm로, 기존 기법 (CVAE, CGAN, MMW-Carry) 보다 월등히 정확함.
• 벽 뒤 침입자 탐지 (Through-Wall Intruder Localization):
  • 스티로폼, 가터 보드, 파티클 보드 등 다양한 벽 재질에서 F1 스코어 약 92% 달성.
  • 국소화 오차 약 0.7m로, 혼잡하고 가려진 환경에서도 강력한 일반화 성능을 보임.
• 벽 뒤 낙상 탐지 (Through-Wall Fall Localization):
  • 자세 인식 및 시간적 엔트로피를 결합하여 F1 스코어 약 96% 달성.
  • 국소화 오차 약 0.5m로, 시야가 가려지거나 카메라 밖에서도 낙상을 정확히 탐지.

종합적 성과:

• 모든 응용 분야에서 기존 베이스라인 (GLAD, SiFall, CGAN, CVAE 등) 보다 탐지 정확도와 국소화 정밀도에서 일관되게 우위를 점함.
• 전처리 모듈 (Aligner, Context Extractor) 의 중요성을 입증하기 위한 애블레이션 연구 (Ablation Study) 를 통해, 시각적 문맥이 없으면 성능이 크게 저하됨을 확인.

5. 의의 및 결론 (Significance)

mmAnomaly 는 mmWave 센싱 분야에서 생성 모델 (Generative Modeling) 과 시각적 문맥 (Visual Context) 의 결합을 통해 새로운 패러다임을 제시합니다.

• 강건성: 의복, 가려짐 (Occlusion), 복잡한 환경적 클러터에 대한 강건성을 크게 향상시켜, 기존 레이더 기반 시스템의 주요 약점인 '거짓 긍정 (False Positive)'을 획기적으로 줄였습니다.
• 범용성: 특정 작업에 국한되지 않고, 은밀한 위협 탐지부터 안전 모니터링 (낙상) 까지 다양한 비가시적 이상 탐지 시나리오에 적용 가능한 범용 프레임워크입니다.
• 실용성: 1 초 미만의 지연 시간 (Response Time) 을 달성하여 실시간 적용 가능성을 보여주었으며, 향후 Gaussian Splatting 등 최적화 기법을 통해 더 빠른 처리가 가능할 것으로 기대됩니다.

이 연구는 보안, 의료, 산업 모니터링 등 mmWave 센싱이 필수적인 분야에서 더 정확하고 해석 가능한 이상 탐지 시스템의 실용화를 위한 중요한 발걸음이 됩니다.