Wi-Spike: A Low-power WiFi Human Multi-action Recognition Model with Spiking Neural Networks

1. 연구 배경 및 문제 정의 (Problem)

• 배경: WiFi 기반 인간 행동 인식 (HAR) 은 비침습적이고 프라이버시를 보호한다는 장점으로 인해 스마트 헬스케어, 보안 모니터링 등에 널리 연구되고 있습니다. 기존 연구는 주로 CNN, RNN, Transformer 기반의 딥러닝 모델을 사용하여 인식 정확도를 높이는 데 집중해 왔습니다.
• 주요 문제점:
  1. 높은 에너지 소비: 기존 딥러닝 모델은 연속적인 계산을 수행하여 전력 소모가 크며, 배터리 제약이 있는 엣지 장치 (IoT 노드 등) 에 배포하기 어렵습니다.
  2. 복잡한 다중 행동 (Multi-action) 인식의 부재: 기존 연구는 주로 걷기, 뛰기 등 단일 행동을 인식하는 데 초점을 맞추었습니다. 그러나 실제 환경에서는 여러 행동이 연속되거나 중첩되는 복잡한 다중 행동 패턴이 발생하며, 이를 인식하는 것은 기존 모델에서 큰 도전 과제입니다.
  3. 정확도와 효율성의 트레이드오프: 높은 정확도와 낮은 전력 소비를 동시에 만족시키는 통합 프레임워크가 부족합니다.

2. 제안 방법론: Wi-Spike (Methodology)

저자들은 생체 영감을 받은 **스파이크 신경망 (Spiking Neural Network, SNN)**을 기반으로 한 새로운 모델 Wi-Spike를 제안합니다. SNN 은 생물학적 뉴런과 유사하게 이산적인 '스파이크 (spike)' 신호를 사용하여 정보를 처리하므로, 이벤트 기반 (event-driven) 으로 작동하여 에너지 효율이 매우 높습니다.

• 아키텍처 개요:

  1. 스파이크 인코더 (Spike Encoder): 연속적인 WiFi 채널 상태 정보 (CSI) 데이터를 이산적인 스파이크 열 (spike trains) 로 변환합니다.
  2. 스파이크 특징 추출 (Spike Feature Extraction):
     • 스파이크 합성곱 계층 (Spiking Convolutional Layers): CSI 데이터의 공간적 및 시간적 패턴을 추출합니다.
     • 시간적 어텐션 메커니즘 (Temporal Attention Layer): 스파이크 기반 어텐션 모듈을 도입하여, 행동과 관련된 중요한 시간적 특징 (도플러 편이, 진폭 변화 등) 을 강조하고 잡음을 억제합니다. 이는 복잡한 다중 행동 패턴을 구분하는 데 핵심적입니다.
  3. 스파이크 특징 인코딩 (Spike Feature Encoding): 스파이크 풀링 계층을 통해 공간 차원을 축소하면서도 중요한 시간 정보를 보존합니다.
  4. 투표 분류 (Voting Classification): 스파이크 완전 연결 계층과 **스파이크 투표 계층 (Spiking Voting Layer)**을 통해 최종 분류를 수행합니다. 시간 축에 걸친 뉴런의 발화 빈도 (firing rate) 를 집계하여 가장 활발하게 반응한 뉴런 그룹을 해당 행동 클래스로 결정합니다.

• 학습 목표 (Training Objectives):

  • 분류 정확도와 특징의 판별력을 동시에 향상시키기 위해 **평균 제곱 오차 (MSE)**와 **지도 학습 대비 손실 (Supervised Contrastive Loss, SCL)**을 결합한 하이브리드 손실 함수를 사용합니다.

3. 주요 기여 (Key Contributions)

1. Wi-Spike 모델 제안: WiFi CSI 신호를 인식하기 위해 스파이크 기반 인코딩을 사용하는 최초의 SNN 프레임워크를 제안했습니다. 이는 기존 ANN 기반 모델 대비 낮은 전력 소비를 유지하면서도 경쟁력 있는 정확도를 달성합니다.
2. 다중 행동 인식 문제의 정립 및 해결: 단일 행동을 넘어 2 개 또는 3 개의 행동이 중첩된 복잡한 다중 행동 인식 문제를 새로운 과제로 제시하고, Wi-Spike 가 이를 효과적으로 해결함을 입증했습니다.
3. 스파이크 기반 시간적 어텐션 레이어 개발: 인코딩된 CSI 신호에서 인간 행동의 중요한 시공간적 패턴을 포착하여 SNN 의 표현력을 강화하는 새로운 모듈을 설계했습니다.

4. 실험 결과 (Results)

저자들은 UT-HAR, NTU-Fi-HAR, NTU-Fi-HumanID 등 3 개의 벤치마크 데이터셋과 이를 재조합하여 생성한 다중 행동 (Double/Triple action) 데이터셋을 사용하여 실험을 수행했습니다.

• 단일 행동 인식 성능:

  • NTU-Fi-HAR: 96.97% 정확도
  • NTU-Fi-HumanID: 95.58% 정확도
  • UT-HAR: 96.51% 정확도
  • 기존 CNN, LSTM, ViT 등 주요 모델들과 비교하여 경쟁력 있는 성능을 보였습니다.

• 다중 행동 인식 성능:

  • 복잡한 다중 행동 (2 개, 3 개 행동 중첩) 시나리오에서 Wi-Spike 는 기존 모델들 (CNN, ResNet18, LSTM, ViT 등) 보다 우월한 성능을 보였습니다.
  • 특히 행동 수가 증가함에 따라 다른 모델들의 정확도가 급격히 떨어지는 반면, Wi-Spike 는 **95.83% (NTU-Fi-HAR Double)**의 높은 정확도를 유지하며 강건성 (Robustness) 을 입증했습니다.

• 에너지 효율성:

  • 전력 소모: Wi-Spike 는 다른 방법론에 비해 최소 50% 이상 에너지 비용을 절감했습니다.
  • 구체적 수치: NTU-Fi-HAR Double 데이터셋에서 ViT 모델 대비 약 1/33 수준의 에너지 (0.07 pJ) 만 소모하면서도 더 높은 정확도 (95.83% vs 86.40%) 를 달성했습니다.
  • 발화율 (Firing Rate): 네트워크의 평균 발화율이 0.1~0.3 범위로 안정적으로 수렴하여, 정보 전송 효율과 에너지 소비 간의 최적 균형을 이루고 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 에지 컴퓨팅의 실현: Wi-Spike 는 높은 정확도와 극도로 낮은 전력 소모를 동시에 달성함으로써, 배터리 제약이 있는 IoT 및 엣지 디바이스에서의 실시간 WiFi 기반 인간 행동 인식 시스템을 가능하게 합니다.
• 새로운 SOTA 달성: 특히 복잡하고 중첩된 다중 행동 인식 분야에서 새로운 State-of-the-Art (SOTA) 를 수립했습니다.
• 생체 모방 기술의 확장: 생물학적 뇌의 작동 원리 (이벤트 기반, 스파이크) 를 WiFi 센싱에 성공적으로 적용하여, 기존 딥러닝의 한계를 극복하고 에너지 효율적인 차세대 지능형 환경 (Smart Home, 헬스케어 등) 을 위한 핵심 기술로 자리매김했습니다.

요약하자면, Wi-Spike는 WiFi 신호를 이용한 인간 행동 인식의 정확도를 유지하면서 전력 소모를 획기적으로 줄인 혁신적인 모델로, 특히 기존에 해결되지 않았던 복잡한 다중 행동 인식 문제를 성공적으로 해결하여 에너지 효율적인 엣지 센싱 솔루션의 새로운 방향을 제시합니다.