기술 요약: RePos – 교차 환경 WiFi 기반 3D 인간 포즈 추정을 위한 상대적-절대적 포즈 분해 (Relative-to-Absolute Pose Factorization)

1. 문제 정의

본 논문은 범용 WiFi 채널 상태 정보(CSI)를 이용한 비접촉식(device-free) 3D 인간 포즈 추정에서 **교차 환경 일반화(cross-environment generalization)**라는 핵심적인 과제를 다룹다. WiFi 센싱은 카메라 기반 시스템의 대안으로서 프라이버시를 보호하고 조명 변화에 강하다는 장점이 있지만, 기존 모델들은 환경별 보정(calibration) 없이 미지의 환경에 배포될 때 성능이 저하되는 문제를 겪는다.

핵심적인 어려움은 CSI의 특성에 있다. 이미지와 달리 CSI는 신체 부위에 대한 공간적 국소 대응 관계가 부족하며, 방의 구조, 가구 배치, 송수신기 기하학적 구조에 따라 결정되는 다중 경로 전파(multipath propagation)에 크게 영향을 받는다. 결과적으로, 절대 포즈(실내 공간 내 관절 좌표)를 회귀하도록 학습된 모델은 신체 구조와 환경 특유의 위치 단서를 뒤섞어 버리는 경향이 있다. 이러한 "좌표 과적합(coordinate overfitting)" 현상으로 인해, 모델은 단일 훈련 환경 내에서는 높은 정확도를 달성하지만, 학습된 위치 사전 지식(position priors)이 전이되지 않기 때문에 미지의 방에 배치될 경우 성능이 급격히 저하된다.

2. 방법론: RePos 프레임워크

저자들은 신체 구조 예측과 절대 위치 예측을 분리하는 분해 프레임워크인 RePos(Relative-to-Absolute Pose)를 제안한다. RePos는 CSI로부터 단일 매핑을 학습하는 대신, 작업을 두 개의 독립적으로 훈련된 브랜치로 나누고 이를 출력단에서 결합한다.

A. 포즈 분해 (Pose Factorization)

절대 포즈 $J_{abs}$는 다음과 같이 분해된다:
$$J_{abs} = J_{rel} + r$$
여기서 $J_{rel}$은 루트 상대적 포즈(전역 이동과 무관한 신체 구성)이며, $r$은 루트 위치(방 안의 골반 위치)이다.

• 구조 브랜치 (Structure Branch): $J_{rel}$만을 대상으로 훈련되며, 절대 위치에 대한 감독(supervision)을 받지 않는다. 이는 환경 특유의 위치 단서가 구조적 표현에 유입되는 것을 방지한다.
• 로컬라이제이션 브랜치 (Localization Branch): CSI 진폭으로부터 $r$을 예측하도록 훈련되며, 학습 가능한 공간적 사전 지식 역할을 한다.

B. 1단계: 구조적 포즈 디코더 (Structure Branch)

이 단계는 원시 CSI에 해부학적 구조를 부여하도록 설계된 모달리티 특화 아키텍처를 통해 루트 상대적 포즈 $J_{rel}$을 추정한다.

1. CSI 인코더: CNN과 Transformer를 사용하여 CSI 진폭을 인코딩된 특징으로 처리한다.
2. 신체 부위 잠재 쿼리 (Body-Part Latent Queries, BP-LQs): 구조화된 중간 표현을 도입한다. 학습 가능한 잠재 토큰들을 6개의 해부학적 영역(머리, 몸통, 왼팔, 오른팔, 왼다리, 오른다리)으로 그룹화한다. 이 토큰들은 CSI 특징에 어텐션(attention)을 수행하는 쿼리 역할을 하며, 정보를 신체 부위별로 조직하는 병목(bottleneck)을 형성하여 원시 신호를 체계화한다.
3. 스켈레톤 그래프 어텐션 (Skeleton Graph Attention, SGA): BP-LQs를 정교화하는 그래프 어텐션 모듈이다. 이 모듈은 이진 인접 행렬을 사용하여 특징 정교화 과정에서 골격 연결 제약 조건(예: 몸통은 팔다리와 연결됨)을 강제함으로써, 중간 표현이 관절 디코딩 전에 해부학적 위상(topology)을 준수하도록 한다.
4. 부위-관절 디코더 (Part-to-Joint Decoder): 부위 수준의 특징을 집계하고 이를 루트 기준의 17개 관절 좌표로 디코딩한다.

C. 2단계: 진폭 기반 공간 사전 네트워크 (Amplitude-based Spatial Prior Network, ASPN)

이 단계는 (범용 기기에서 신뢰하기 어려운 위상(phase)을 제외하고) 오직 CSI 진폭만을 사용하여 루트 위치 $r$을 추정한다.

1. 잠재 변조 코드 (Latent Modulation Code): CNN이 CSI 진폭을 학습 가능한 잠재 코드로 매핑하여, 복합 신호를 합성하기 위해 진폭을 변조한다.
2. 미분 가능한 공간 분해 (Differentiable Spatial Decomposition): 합성된 신호는 물리적 근거를 두되 학습 가능한 방식의 분해 과정을 거친다. 여기에는 수신 전용 빔포밍(각 스펙트럼)과 IFFT가 포함되어 공간 히트맵을 생성한다. 이는 명시적인 물리적 위상 보정 없이도 최적화된 공간 표현을 생성한다.
3. 루트 회귀기 (Root Regressor): CNN과 MLP를 통해 공간 히트맵으로부터 3D 루트 위치를 예측한다.

D. 훈련 전략

모델은 두 단계의 순차적 과정으로 훈련된다:

1. 1단계: 사지 길이 정규화 항(limb-length regularizer)과 함께 루트 상대적 타겟을 사용하여 전체 구조적 포즈 디코더를 최적화한다.
2. 2단계: 1단계를 고정(freeze)하고 절대 포즈 타겟을 사용하여 ASPN 파라미터만을 최적화한다. 이는 구조 브랜치가 위치 그래디언트에 의해 오염되지 않도록 보장한다.

E. RePos-D (인도메인 변형 모델)

위치 단서가 일관적인 단일 환경 배포를 위해, 저자들은 동일한 1단계 백본을 사용하되 분해 및 ASPN을 생략하고 절대 포즈를 엔드투엔드(end-to-end)로 회귀하는 직접적인 변형 모델인 RePos-D를 도입한다.

3. 주요 기여

1. 분해된 프레임워크: RePos는 루트 상대적 포즈 추정과 루트 로컬라이제이션을 분리하여 좌표 과적합 문제를 해결하며, 이를 통해 구조 브랜치가 환경에 안정적인 표현을 학습하도록 보장한다.
2. 신체 부위 잠재 쿼리 (BP-LQs): 관절 디코딩 이전에 골격 구조를 부과하는 해부학적으로 그룹화된 잠재 토큰 표현이며, SGA에 의해 정교화된다.
3. 보정 불필요 로컬라이제이션: ASPN 설계를 통해 물리적 위상 보정이나 명시적인 AoA/ToF 추정 없이도 미분 가능한 공간 분해를 통해 CSI 진폭으로부터 루트 위치를 추정한다.
4. 최첨단 성능 (SOTA): 교차 환경 및 인도메인 설정 모두에서 우수한 성능을 입증하였다.

4. 실험 결과

본 방법론은 MM-Fi(교차 환경) 데이터셋과 Person-in-WiFi-3D(인도메인) 데이터셋에서 평가되었다.

• 교차 환경 (MM-Fi): 엄격한 프로토콜(E01–E03 환경에서 훈련, 미지의 E04 환경에서 테스트) 하에서, RePos는 기존 WiFi 전용 방식(예: DT-Pose, MetaFi++) 대비 평균 관절 위치 오차(MPJPE)를 10–21% 감소시켰다.
  • RePos는 다양한 활동 프로토콜에 대해 254.4–296.1 mm의 MPJPE를 달축성했다.
  • 결정적으로, **루트 위치 오차(Root Position Error)**가 크게 감소하였다 (예: 베이스라인의 >260 mm 대비 RePos는 203 mm). 이는 개선의 원인이 신체 구조 재구성 능력의 근본적 변화보다는 위치 처리 능력의 향상에 있음을 확인시켜 준다.
• 인도메인 (Person-in-WiFi-3D): 직접 변형 모델인 RePos-D는 86.9 mm MPJPE를 달성하여, 이전 최고 성능 모델인 DT-Pose(90.0 mm)보다 3.4% 향상된 성능을 보였다. 이는 환경이 고정되었을 때 백본이 매우 효과적임을 입증한다.
• 절제 연구 (Ablation Studies):
  • 분해 과정을 제거할 경우(교차 환경 설정에서 RePos-D 사용), 성능이 베이스라인 수준으로 저하되어 구조와 위치를 분리하는 것의 필요성을 확인했다.
  • BP-LQs 또는 SGA를 제거하면 구조와 루트 정확도가 모두 저하되어, 해부학적 그룹화의 중요성을 입증했다.
  • 오차 분석 결과, 두 브랜치가 오류를 전이시키지 않으며 로컬라이제이션 브랜치가 구조 브랜치의 노이즈에 강건함을 보여주었다.

5. 의의 및 주장

본 논문은 배포 가능한 WiFi 센싱의 주요 장애물이 신체 형태를 재구성하는 능력이 아니라, **신체 구조와 환경 특유의 위치 단서 간의 뒤섞임(entanglement)**이라고 주장한다.

• 특징 불변성보다 아키텍처적 편향: 저자들은 RePos가 단순히 "환경 불변 특징"을 학습해서 성공한 것이 아니라고 강조한다. 분석 결과 내부 표현(구조적 특징 포함)은 여전히 환경에 따라 구별 가능하다. 대신, 성공의 핵심은 환경 의존적 양량(위치)을 별도의 브랜치로 라우팅하는 **아키텍처적 귀납 편향(inductive bias)**에 있으며, 이를 통해 구조 브랜치가 환경에 안정적인 타겟인 상대적 포즈만을 학습하도록 유지할 수 있었다.
• 실제적 배포: 이 프레임워크는 특정 소스 환경에서 훈련된 모델이 보정이나 미세 조정 없이 미지의 타겟 환경에서 실행될 수 있게 한다.
• 범위 및 한계: 저자들은 RePos가 교차 환경 격차를 크게 줄였으나, 로컬라이제이션 브랜치는 여전히 환경 의존성을 가진다는 점(루트 오차가 약 260 mm로 남음)을 솔직하게 언급한다. 이 방법은 낙상 감지나 건강 모니터링과 같은 애플리케이션에 적합한 거친(coarse) 수준의 보정 불필요 로컬라이저로 제시되었으며, 더 정밀한 AR/VR 상호작용을 위해서는 추가적인 개선이 필요할 수 있다. 또한 단일 인원 제약과 자유로운 이동 데이터 및 다인(multi-person) 시나리오에 대한 향후 연구 필요성을 인정하였다.

요약하자면, RePos는 고성능 인도메인 배포(RePos-D를 통해)와 견고한 보정 불필요 교차 환경 배포(RePos를 통해)를 모두 지원하는 통합된 백본을 제공함으로써, 현재 WiFi 센싱 방식의 고질적인 문제인 좌표 과적합 실패 모드를 효과적으로 해결한다.