WiFi2Cap: Wi-Fi CSI 를 통한 시맨틱 행동 캡셔닝 (Semantic Action Captioning)

1. 문제 정의 (Problem Statement)

기존의 Wi-Fi 채널 상태 정보 (CSI) 기반 인간 감지 시스템은 주로 자세 추정 (Pose Estimation) 이나 사전 정의된 행동 분류 (Action Classification) 에 집중해 왔습니다. 그러나 사생활이 중요한 실내 공간 (침실, 병원 등) 에서는 카메라 기반의 비주얼 캡셔닝 (Video Captioning) 이 어렵기 때문에, Wi-Fi 신호만으로 인간의 행동을 자연어 문장으로 생성하는 기술이 요구됩니다.

이러한 과제를 해결하는 데에는 두 가지 주요 난제가 존재합니다:

1. 심한 시맨틱 간격 (Semantic Gap): 무선 신호 (숫자 데이터) 와 자연어 간의 의미적 연결이 매우 약하며, CSI-텍스트 쌍으로 된 학습 데이터가 부족합니다.
2. 방향 민감성 모호성 (Direction-sensitive Ambiguity): Wi-Fi 신호는 거울 반사 (Mirroring) 나 좌/우 팔 구분에 대한 모호성이 발생하기 쉽습니다. 예를 들어, "오른손을 흔든다"와 "왼손을 흔든다"를 구별하는 것이 매우 어렵습니다.

2. 제안 방법론 (Methodology: WiFi2Cap Framework)

저자들은 Wi-Fi CSI 에서 직접 행동 캡션을 생성하는 3 단계 프레임워크인 WiFi2Cap을 제안합니다.

• Stage 1: 비주얼 - 언어 교사 모델 (Vision-Language Teacher)

  • 동기화된 비디오 - 텍스트 쌍을 사용하여 CLIP 기반의 교사 모델을 학습시킵니다.
  • **거울 일관성 손실 (Mirror-Consistency Loss)**을 도입하여, 좌우 반전된 프레임과 텍스트 쌍을 학습시켜 방향성 모호성을 줄입니다.
  • 교사 모델은 비디오와 텍스트가 공유하는 시맨틱 공간 (Semantic Space) 을 정의합니다.

• Stage 2: CSI-텍스트 학생 모델 (CSI-Text Student)

  • 비주얼 - CSI 정렬: CSI 신호 (진폭 및 위상) 를 인코딩하여 교사 모델의 비주얼 임베딩 공간에 정렬합니다 (지식 전이).
  • CSI-텍스트 정렬: 정렬된 CSI 임베딩을 텍스트 임베딩과 대비 학습 (Contrastive Learning) 을 통해 매칭합니다.
  • 거울 일관성 손실 적용: 텍스트 기반의 거울 일관성 손실을 적용하여, CSI 임베딩이 올바른 방향성 텍스트와 더 높은 유사도를 갖도록 강제합니다.

• Stage 3: 프리픽스 기반 언어 생성 (Prefix-Guided Generation)

  • 고정된 (Frozen) GPT-2 와 같은 생성 언어 모델을 사용합니다.
  • CSI 임베딩을 학습 가능한 **프리픽스 (Prefix)**로 변환하여 각 어텐션 레이어에 주입합니다 (Prefix Tuning).
  • 이를 통해 CSI 에 기반한 자연어 캡션을 생성합니다.

3. 주요 기여 (Key Contributions)

1. Wi-Fi CSI 행동 캡셔닝 프레임워크: 시각적 지식 전이 (Visual Knowledge Transfer) 와 대비 학습을 결합하여, Wi-Fi CSI 에서 직접 미세한 행동 캡션을 생성하는 첫 번째 프레임워크 중 하나를 제안했습니다.
2. 방향 민감성 시맨틱을 위한 거울 일관성 (Mirror-Consistency): 좌/우 팔 혼동 및 거울 행동 모호성을 해결하기 위한 새로운 손실 함수 (Mirror-Consistency Loss) 를 도입하여, 교차 모달 정렬 시 방향성을 명시적으로 보존하도록 했습니다.
3. WiFi2Cap 데이터셋 구축: Wi-Fi CSI, RGB 비디오, 그리고 문장 수준의 행동 설명이 동기화된 새로운 벤치마크 데이터셋을 공개했습니다. (100 개 행동 클래스, 5 초 클립, 1 송신기/3 수신기 구성)

4. 실험 결과 (Experimental Results)

• 성능 향상: 제안된 WiFi2Cap 은 기존 CSI 기반 베이스라인 (CSI→LM) 에 비해 모든 캡셔닝 지표 (BLEU-4, METEOR, ROUGE-L, CIDEr, SPICE) 에서 압도적인 성능 향상을 보였습니다.
  • 예: BLEU-4 점수가 14.85 에서 51.78로 크게 향상되었습니다.
• 전이 학습 효과: 공개 데이터셋인 'Person-in-WiFi 3D'에서도 동일한 아키텍처로 적용 시 베이스라인 대비 BLEU-4 가 12.15 에서 47.07로 크게 개선되어 모델의 일반화 능력을 입증했습니다.
• 방향성 모호성 해결: 거울 일관성 손실을 제거한 경우와 비교했을 때, 방향성 관련 메트릭이 크게 개선되어 좌/우 구별 능력이 향상되었음을 확인했습니다.
• 모달리티 정렬 시각화: 학습 전에는 CSI 와 텍스트 임베딩 간의 매칭 정확도가 6.7% 였으나, 학습 후에는 60.0% 로 크게 향상되어 두 모달리티 간의 정렬이 성공적으로 이루어졌음을 보여줍니다.

5. 의의 및 결론 (Significance)

이 연구는 사생활 보호가 가능한 (Privacy-preserving) 실내 감지의 새로운 지평을 열었습니다. 카메라를 사용하지 않고도 Wi-Fi 신호만으로 인간의 행동을 자연어로 상세하게 설명할 수 있게 함으로써, 병원, 요양 시설, 스마트 홈 등 카메라 설치가 제한된 환경에서의 인간 중심 상호작용 및 모니터링에 큰 기여를 할 것으로 기대됩니다. 특히, Wi-Fi 신호의 고유한 한계인 '좌우 모호성'을 해결하기 위한 거울 일관성 기법은 향후 RF 기반 시맨틱 이해 연구에 중요한 통찰을 제공합니다.