Seeing Through WiFi: Lightweight Human Pose Estimation with Dynamic Kernel Attention

기술 요약: WiLHPE – 동적 커널 어텐션을 이용한 경량형 인간 포즈 추정

문제 정의
인간 포즈 추정(HPE)은 일상적인 활동 모니터링에 있어 매우 중요하지만, 실제 환경 배포에는 상당한 장벽이 존재한다. 전통적인 시각 센서는 폐쇄(occlusion), 조명 조건, 개인정보 보호 문제로 어려움을 겪으며, 웨어러블 기기는 착용하기 번거로운 경우가 많다. 채널 상태 정보(CSI)를 이용한 무선 주파수(RF) 센싱은 프라이버시를 보호하는 대안을 제공하지만, 기존의 WiFi 기반 HPE 솔루션은 성능과 효율성 사이의 트레이드오프 문제에 직면해 있다. 현재의 최첨단(SOTA) 방식들은 종종 복잡하고 비싼 하드웨어(예: 특수 안테나 어레이)에 의존하거나, 높은 계산 비용을 요구하는 딥 뉴럴 네트워크(예: 수백만 개의 파라미터)를 채택하여 자원이 제한된 일반 기기에는 부적합하다. 또한, 기존의 경량화 접근 방식들은 해상도가 제한적이거나 WiFi CSI 데이터에 내재된 관절의 공간적-스펙트럼 특징을 효과적으로 포착하지 못하는 경우가 많다.

방법론
본 논문은 가공되지 않은(raw) WiFi CSI 신호를 사용하는 경량화되고 효율적인 인간 포즈 추정을 위한 새로운 프레임워크인 WiLHPE를 제안한다. 이 시스템은 교사-학생(teacher-student) 구조로 작동한다:

1. 교사-학생 학습(Teacher-Student Training): 사전 훈련된 비전 기반 모델(교사)이 RGB 이미지로부터 포즈 레이블을 추출하여 WiFi 기반 모델(학생)의 학습을 감독한다. 테스트 단계에서 학생 네트워크는 카메라 없이 raw CSI 데이터로부터 직접 포즈를 예측하며 독립적으로 작동한다.
2. CF-DyNet 아키텍처: 학생 네트워크의 핵심은 **채널-주파수 동적 컨볼루션 네트워크(CF-DyNet)**이다. 이 서브 네트워크는 일반적으로 채널 도메인에만 집중하는 표준 동적 컨볼루션(DyConv)의 한계를 해결하기 위해 설계된 새로운 CF-DyConv 모듈을 활용한다.
   • 이중 도메인 어텐션(Dual-Domain Attention): CF-DyConv는 CSI 데이터의 주파수와 채널 차원 모두에 걸쳐 어텐션 메커니즘을 적용한다. 이는 Squeeze-and-Excitation(SE) 스타일의 메커니즘을 사용하여 주파수 및 채널 특징에 대한 어텐션 가중치($\alpha_f$ 및 $\alpha_c$)를 각각 생성한다.
   • 동적 커널 생성(Dynamic Kernel Generation): 이러한 어텐션 가중치는 동적으로 커널을 조정하고 가중치를 부여하는 데 사용된다. 출력은 특정 주파수 및 채널 패턴을 포착하는 데 중요한 여러 커널을 가중 합산하여 계산되며, 이를 통해 모델이 관절 위치와 관련된 유익한 스펙트럼 시그니처에 적응적으로 집중할 수 있게 한다.
3. 하이퍼파라미터 최적화: 휴리스틱한 튜닝에 의존하는 것을 피하기 위해, 본 프레임워크는 Tree-Structured Parzen Estimator (TPE) 알고리즘을 사용하여 하이퍼파라미터를 효율적으로 최적화한다. 이 방법은 어텐션 메커니즘의 감소 비율($r$)과 온도($\tau$), 그리고 배치 크기 및 커널 크기와 같은 구조적 파라미터를 효율적으로 최적화한다.
4. 손실 함수(Loss Function): 모델은 교사 네트워크가 제공하는 그라운드 트루스(ground truth)와 예측된 키포인트 사이의 평균 제곱 오차(MSE) 손실을 사용하여 학습되며, 이를 통해 CSI 데이터의 높은 정밀도를 활용한다.

주요 기여

• CF-DyConv 아키텍 l처: 채널 및 주파수 도메인을 모두 활용하여 동적으로 커널을 학습하는 경량 컨볼루션 아키텍처를 도입하였다. 이 방식은 큰 복잡도 증가 없이 인식 능력을 향상시키기 위해 커널을 다양화하며, 단기 프레임(short-frame) CSI의 특성을 해결한다.
• 효율적인 하이퍼파라미터 탐색: TPE 알고리즘을 적용하여 CF-DyNet 서브 네트워크를 자동으로 최적화함으로써, 전통적인 방식에 비해 하이퍼파라미터 탐색에 소요되는 시간을 단축하였다.
• 고성능 경량 모델: 표준 데이터셋에서 SOTA 성능을 달면서도 낮은 파라미터 수(MM-Fi의 경우 약 1.78M, WiPose의 경우 3.49M)와 낮은 계산 오버헤드(FLOPs)를 유지하여, 일반적인 상용 WiFi 기기에 적합한 시스템을 개발하였다.

실험 결과
저자들은 두 가지 공개 데이터셋인 MM-Fi와 WiPose를 통해 WiLHPE를 평가하였다.

• MM-Fi 데이터셋: WiLHPE는 **85.96%**의 PCK50과 **79.22%**의 PCK40을 달성하였다. 이는 MetaFi++(PCK50 약 2% 개선) 및 WiLDAR와 같은 SOTA 벤치마크를 능가하면서도, 훨씬 적은 자원(MetaFi++ 복잡도의 1/15 미만)을 필요로 한다.
• WiPose 데이터셋: 모델은 **94.27%**의 PCK50과 **89.41%**의 PCK20을 달성하여, 모든 지표(PCK, MPJPE, PA-MPJPE)에서 비교 대상인 모든 벤치마크 스킴(PerUnet 및 MetaFi++ 포함)을 앞질렀다.
• 강건성(Robustness): 가우시안 백색 잡음(AWGN, 분산 $\sigma^2_e = 0.5$) 환경에서도 WiLHPE는 약 **80%**의 PCK50을 유지하며, 약 60%로 급락하는 기본 CNN 모델보다 월등한 성능을 보였다. 마찬가지로, 적대적 공격(FGSM-U-N) 상황에서도 비동적(non-dynamic) 베이스라인 모델들에 비해 우수한 안정성을 입증하였다.
• 절제 연구(Ablation Studies): 실험을 통해 이중 도메인 어텐션(CF-DyConv)이 표준 CNN, SENet, SKConv 및 단일 도메인 DyConv보다 유의미하게 우수함을 확인하였다. 최적의 설정은 감소 비율($r$) 16과 온도($\tau$) 30에서 발견되었다.

의의
본 논문은 WiLHPE가 실제 환경에서 WiFi 기반 인간 감지의 실용적 배포를 향한 중요한 진전임을 주장한다. 고정밀 포즈 추정과 경량화된 효율적 뉴럴 네트워크 아키텍처 사이의 균형을 성공적으로 맞춤으로써, 본 프레임워크는 이전의 RF 기반 접근 방식들이 가진 하드웨어 및 계산적 한계를 극복한다. 저자들은 이 방법이 값비싼 특수 장비나 침습적인 웨어러블 센서 없이도 스마트 홈 및 건강 모니터링 시스템과 같은 환경에서 프라이버시를 보호하면서도 정밀한 인간 활동 모니터링을 수행할 수 있도록, 상용 WiFi 기기를 활용한 가능성을 열어준다고 강조한다.