Sparse Spike Encoding of Channel Responses for Energy Efficient Human Activity Recognition

기술 요약: 에너지 효율적인 인간 행동 인식을 위한 채널 응답의 희소 스파이크 인코딩

문제 정의
통합 센싱 및 통신(ISAC) 시스템은 채널 임펄스 응답(CIR)을 활용하여 광범위한 모니터링 능력을 제공하며, 특히 인간 행동 인식(HAR)에 유용합니다. 그러나 현대의 딥러닝(DL) 기반 센싱 알고리즘은 RF 데이터가 수집되는 자원 제한적인 엣지 장치에서 사용하기에는 계산 복잡도가 너무 높고 에너지 소모가 큽니다. 또한, 도플러 스펙트로그램이나 거리-도플러 맵을 생성하는 것과 같은 무거운 전처리 단계에 의존하는 기존 방식은 지연 시간과 계산 오버헤드를 가중시킵니다. 스파이킹 신경망(SNN)은 희소하고 이벤트 기반인 처리 방식 덕분에 에너지 효율성 측면에서 유망한 대안이지만, 기존의 SNN 기반 HAR 솔루션은 원시(raw) CIR 데이터보다는 전처리된 레이더 특징(예: 마이크로 도플러 시그니처)에 주로 의존하며, 이로 인해 무선 채널 특징의 희소성을 충분히 활용하지 못한다는 한계가 있습니다.

방법론
저자들은 도플러 영역의 전처리가 필요 없는 엔드 투 엔드(end-to-end) 처리 파이프라인을 제안하며, 이를 통해 원시 CIR 데이터로부터 최적화된 스파이크 인코딩 표현을 직접 학습합니다. 이 방법론의 핵심은 스파이킹 컨볼루션 오토인코더(SCAE)와 스파이킹 신경망(SNN) 분류기를 결합하여 공동 학습시키는 것입니다.

1. 아키텍처:

   • SCAE (인코더-디코더): 인코더는 범위 빈(range bin)과 시간 창에 걸친 실수 및 허수 성분을 포함하는 원시 CIR 샘플을 입력받아, 3D 컨볼루션 레이어와 Leaky Integrate-and-Fire(LIF) 뉴런을 통해 처리합니다. 이는 이진 스파이크 열(binary spike train)을 출력합니다. 디코더는 이 스파이크들로부터 원래의 CIR을 재구성하려고 시도합니다. 이러한 재구성 작업은 인코더가 데이터를 이진화하는 과정에서도 핵심적인 움직임 특징을 보존하도록 강제합니다.
   • SNN 분류기: SCAE의 스파이크 출력은 LIF 뉴로뉴로 구성된 완전 연결 계층(fully connected layers)으로 이루어진 분류기로 전달됩니다. 이 네트워크는 걷기, 달리기, 앉기/서기, 손 흔들기 등 네 가지 인간 행동 중 하나를 예측합니다.
   • 학습: 시스템은 복합 손실 함수 $L = L_{rec} + \gamma L_{class}$를 사용하여 엔드 투 엔드로 학습됩니다. 여기서 $L_{rec}$는 입력과 재구성된 CIR 사이의 평균 제곱 오차(MSE)이며, $L_{class}$는 스파이크 카운트(rate coding)에 기반한 크로스 엔트로피 손실입니다. 저자들은 스파이크 생성의 비미분성을 처리하기 위해 서로게이트 그래디언트(arctangent 근사법)를 사용합니다.

2. 비교 베이스라인:
   제안된 접근 방식을 검증하기 위해 저자들은 다음 모델들과 비교합니다:

   • CAE-SNN: LIF 뉴런 대신 표준 ReLU 뉴로뉴를 사용하는 컨볼루션 오토인코더로, 유사하게 학습되었습니다.
   • Delta Thresholding + SNN: SNN에 입력하기 위해 시간적 신호 차이에 기반한 고정 임계값 인코딩 방식을 사용했습니다.
   • Direct-SNN: 인코딩 오토인코더 없이 원시 CIR 데이터에 대해 직접 학습된 SNN 분류기입니다.
   • Baseline CNN: 도플러 스펙트로그램을 기반으로 학습되었던 표준 CNN을 여기의 원시 CIR 데이터에 맞게 재학습시킨 모델입니다.

주요 기여

1. CIR을 위한 학습된 스파이크 인코딩: 본 논문은 CIR 데이터에 특화된 학습형 스파이크 인코딩 메커니즘을 도입합니다. 고정된 임계값 방식이나 표준 오토인코더와 달리, 이 방법은 행동 인식 정확도와 스파이크 희소성 사이의 균형을 맞춥니다.
2. 전처리 제거: 이 프레임워크는 원시 CIR 데이터를 직접 처리함으로써 도플러 맵이나 스펙트로그램 생성에 따른 계산 부담을 제거합니다.
3. 결합 최적화: 오토인코더와 분류기를 공동 학습시킴으로써, 시스템은 인코딩을 별개의 정적 단계로 취급하는 대신 신호 재구성과 분류 모두에 최적인 스파이크 표현을 학습합니다.
4. 성능 대 효율성 트레이드오프: 연구는 제안된 방식이 인코딩을 거쳐 분류하는 것이 직접 처리하거나 표준 CNN을 사용하는 것보다 행동 인식 정확도와 에너지 효율성 모두를 크게 향상시킨다는 것을 입증합니다.

실험 결과
실험은 60 GHz IEEE 802.11ay 신호를 사용하여 7명의 피험자가 수행한 4가지 활동의 CIR 측정을 포함하는 DISC 데이터셋을 사용하여 수행되었습니다.

• 정확도: 제안된 SCAE-SNN은 **95.75%**의 F1 점수를 달성하여, CAE-SNN(95.16%)과 대등한 성능을 보였으며, Delta Thresholding 방식(74.59%) 및 Direct-SNN 변형 모델들(약 50% 또는 그 이하로 하락)을 크게 앞질렀습니다. 특히, 원시 CIR 데이터로 재학습된 베이스라인 CNN은 원래의 도플러 스펙트로그램 기반 성능보다 약 10 퍼센트 포인트 낮은 성능을 보였는데, 이는 제안된 아키텍처 없이는 원시 신호로부터 직접 학습하는 것이 어렵다는 점을 강조합니다.
• 희소성: SCAE는 81.1%의 희소성을 가진 가장 희소한 스파이크 표현을 생성했습니다. 이는 CAE(28.6%)나 Delta Thresholding 방식(71.7%)보다 현저히 높은 수치입니다. 높은 희소성은 뉴로모픽 하드웨어에서 더 적은 연산과 낮은 에너지 소비를 의미합니다.
• 효율성: SCAE-SNN 모델은 28k개의 파라미터로 구성되어 매우 경량하며, 약 19.8 ms의 추론 시간을 달ates합니다. 인코딩 단계가 지연 시간을 추가하지만, 높은 희소성과 이벤트 기반 특성은 배포 시 상당한 에너지 절감을 시사합니다.
• 시간 해상도: 저자들은 타임스텝($T$)의 수와 F1 점수 사이의 트레이드오프를 분석하였으며, 성능이 $T=29$ 부근에서 포화된다는 것을 발견하여 이를 최적의 배포 설정으로 선택했습니다.

의의 및 주장
본 논문은 제안된 SCAE-SNN 아키텍처가 엣지 장치에서 실시간, 에너지 효율적인 HAR을 위한 실질적인 솔루션을 제공한다고 주장합니다. 원시 CIR 데이터로부터 학습된 희소하고 맞춤화된 스파이크 인코딩을 통해, 시스템은 높은 정확도(F1 기준 거의 96%)를 달성하는 동시에 희소성(81.1%)을 통해 계산 부하를 획기적으로 줄입니다. 저자들은 이 접근 방식이 고복잡도 딥러닝 모델과 비효율적인 고정 전처리 방식의 한계를 극복하여, 다가오는 ISAC 패러다임에 적합함을 강조합니다. 본 연구는 향후 연구가 다중 안테나 시스템 및 다중 사용자 시나리오로 확장되어야 함을 시사합니다.