Activity Recognition Using mm-Wave Radar and Deep Learning: Prayer Tracker Case Study

1. 문제 정의 (Problem Statement)

• 개인정보 보호의 중요성: 감시 및 추적 시스템에서 비디오 카메라의 사용은 사생활 침해 우려로 인해 많은 국가 (특히 유럽) 에서 제한되거나 금지되고 있습니다. 또한, 이슬람 교도들의 기도 (Salat) 공간과 같은 보수적인 사회나 의료 시설 (요양원 등) 에서는 카메라 설치에 대한 거부감이 큽니다.
• 기존 기술의 한계: 카메라 기반 시스템은 조명 조건이나 악천후에 취약하며, 사생활 보호 규정을 준수하기 어렵습니다.
• 필요성: 사생활을 침해하지 않으면서도 인간의 동작을 정확하게 추적하고 피드백을 제공할 수 있는 대안 기술이 필요합니다. 특히, 기도의 순서를 잊어버리거나 실수를 하는 노인, 초보자, 또는 대예배 시 이맘 (Imam) 의 순서를 모르는 신자들을 돕기 위한 시스템이 요구됩니다.

2. 방법론 (Methodology)

가. 하드웨어 및 신호 처리

• 센서: Texas Instruments 의 상용 mm-Wave 레이더 모듈인 AWR-1642를 사용했습니다. (77 GHz 대역, 2 개의 송신 안테나, 4 개의 수신 안테나 구성).
• 신호 모델: FMCW (Frequency-Modulated Continuous Wave) 레이더를 사용하여 표적 (신체 부위) 의 거리 (Range), 각도 (Angle), 속도 (Velocity) 를 추정합니다.
  • 다중 안테나를 활용하여 공간 해상도를 높이고, 산란체 (scatterers) 의 위치를 정밀하게 파악합니다.
  • FFT(Fast Fourier Transform) 를 적용하여 비트 주파수 (beat frequency) 를 분석하고 거리, 속도, 각도 정보를 추출합니다.

나. 데이터 전처리 및 특징 추출

• 점 구름 (Point Cloud) 변환: 레이더에서 추출된 거리, 반사 진폭, 도플러, 각도 값을 기반으로 2 채널 이미지로 변환합니다.
  • 채널 1: 반사 진폭 (Reflection Amplitude)
  • 채널 2: 도플러 값 (Doppler Shift)
• 이미지 생성: 35x40 픽셀 크기의 이미지로 매핑하며, 노이즈 제거를 위해 저역 통과 필터링 및 스케일링/중앙화 과정을 거칩니다.
• 동작 인식: 기도 동작 (서기, 절, 엎드려 절, 앉기) 에 따라 산란체의 분포 패턴이 고유한 이미지를 형성하는 원리를 이용합니다.
• 피드백 로직: 무어 유한 상태 기계 (Moore Finite State Machine) 를 사용하여 기도 순서를 추적하고, 버퍼에 저장된 최근 3 회 예측을 기반으로 최종 결정을 내려 오작동을 방지합니다.

다. 분류 알고리즘 비교

연구진은 다양한 머신러닝 및 딥러닝 알고리즘을 비교 평가했습니다.

• 전통적 특징 추출: 상식적 특징 추출 (Common Sense), 주성분 분석 (PCA), 희소 이미지 표현 (Sparse Image Representation).
• 분류기: 의사결정나무 (Decision Trees), 다중 클래스 로지스틱 회귀, 최소 유클리드 거리, 밀집 신경망 (Dense NN), 서포트 벡터 비교.
• 딥러닝 (CNN): ResNet과 SqueezeNet 아키텍처를 적용하여 정확도와 계산 효율성을 비교했습니다.

3. 주요 기여 (Key Contributions)

1. 프라이버시 보호형 기도 추적 시스템: 카메라 없이 레이더와 딥러닝을 결합하여 사생활을 침해하지 않으면서 정교한 동작 인식을 가능하게 한 최초의 연구 중 하나입니다.
2. 점 구름 기반 이미지 변환: 원시 I-Q 데이터 대신, 레이더 처리 파이프라인을 통해 생성된 점 구름 정보를 2 채널 이미지로 변환하여 CNN 에 입력하는 효율적인 방식을 제안했습니다.
3. 실시간 피드백 및 오류 수정: 기도 중 실수를 감지하고 실시간으로 다음 동작을 안내하여, 사용자가 기도를 중단하거나 처음부터 다시 시작하지 않고도 수정할 수 있도록 돕습니다.
4. 강건한 데이터셋 및 평가: 10 가지 다른 환경에서 40,000 개의 레이더 샷을 수집하여 다양한 시나리오 (동일인, 타인, 환경 변화) 에 대한 일반화 능력을 검증했습니다.

4. 실험 결과 (Results)

• 데이터 분할 시나리오:
  1. 무작위 분할 (모든 정보 포함)
  2. 9 개 시나리오 학습, 1 개 시나리오 테스트 (동일인, 다른 환경)
  3. 9 개 시나리오 학습, 1 개 시나리오 테스트 (완전히 새로운 사람)
• 성능 비교:
  • ResNet: 미지의 데이터 (새로운 사람) 에 대해 **95.4%**의 최고 정확도를 기록했습니다.
  • SqueezeNet: ResNet 과 유사한 높은 정확도를 보였으며, 계산 효율성 면에서 우수했습니다.
  • 전통적 방법: PCA + 로지스틱 회귀나 의사결정나무 등은 새로운 사람에 대한 일반화 성능이 현저히 떨어졌습니다 (약 45~50% 수준).
• 입력 채널 분석:
  • 반사 진폭 채널만 사용: 2 채널 (반사 + 도플러) 을 사용할 때와 거의 동일한 정확도를 달성했습니다.
  • 도플러 채널: 정적 자세 인식에는 반사 진폭 채널이 더 많은 정보를 제공하며, 도플러 채널은 추가적인 정보 제공이 미미했습니다.
• 압축 효과: 이미지를 압축 (35x40 -> 20x21) 하면 SqueezeNet 의 성능이 크게 저하되었으나, ResNet 은 상대적으로 덜 민감했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 의의: 레이더 기술이 단순한 감시를 넘어, 복잡한 인간 동작 (기도) 을 인식하고 실시간 피드백을 제공하는 보조 도구로 활용될 수 있음을 입증했습니다.
• 실용성: 저비용 (약 $300) 상용 모듈을 사용하여 구현 가능하며, 어두운 곳이나 악천후에서도 작동하여 카메라의 한계를 극복합니다.
• 사회적 영향: 이슬람 교도들의 기도 보조, 노인의 낙상 방지 및 재활 운동 모니터링, 병원 환자 감시 등 사생활이 민감한 다양한 분야에 적용 가능한 확장성을 가집니다.
• 향후 과제: 정적 자세 인식을 넘어 동적 행동 인식 (비디오 인식 시스템과 유사) 으로 발전시키기 위해서는 도플러 채널의 중요성이 커질 것이며, 이를 위한 더 복잡한 분류 알고리즘 도입이 필요하다고 제안했습니다.

이 논문은 mm-Wave 레이더와 딥러닝의 결합이 프라이버시 보호와 고도화된 동작 인식이라는 두 마리 토끼를 잡을 수 있는 유망한 솔루션임을 명확히 보여줍니다.