🤖 machine learning

KOALA: Koopman Operator Learning for WiFi-Based Anticipatory Hum

KOALA는 비선형 동역학이 선형화되는 학습된 쿱만(Koopman) 잠재 공간으로 포즈 시퀀스를 들어 올림으로써, 자기회귀 방식에서 전형적으로 나타나는 오차 누적을 방지하는 동시에 흔한 동역학적 결함들을 해결하기 위한 특정 아키텍처 구성 요소를 도입하여, 노이즈가 있는 WiFi CSI로부터 강건한 다중 시계열 인간 동작 예측을 직접 가능하게 하는 새로운 프레임워크이다.

원저자: Quang-Anh N. D., Duc Pham Minh, Thao Phuong Pham, Minh Anh Nguyen, Huan X. Nguyen, Tuan Dang

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Quang-Anh N. D., Duc Pham Minh, Thao Phuong Pham, Minh Anh Nguyen, Huan X. Nguyen, Tuan Dang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

불이 꺼진 방에서, 벽은 두껍고, 카메라는 고장 난 상태로 영화를 보려고 노력하는 모습을 상상해 보십시오. 이것은 인간의 움직임을 이해하기 위해 카메라에 의존하는 많은 스마트 시스템이 마주하는 일상의 현실입니다. 카메라는 명확한 시야가 필요하고, 어둠 속에서 고전하며, 가정이나 병원에 설치될 경우 심각한 사생활 침해 문제를 일으킵니다. 수년 동안 과학자들은 실제로 보지 않고도 볼 수 있는 더 나은 방법을 찾아왔습니다. 그들은 우리 집을 채우고 있는 보이지 않는 파동인 와이파이(Wi-Fi) 신호에서 유망한 후보를 발견했습니다. 이 신호들은 사람을 포함한 모든 것에 부딪혀 튕겨 나가며, 사람이 움직임에 따라 신호가 변하는 방식은 그 움직임의 숨겨진 서명을 담고 있습니다. 연구자들은 이미 이 신호를 사용하여 사람이 현재 어디에 서 있는지 알아내는 방법을 찾아냈지만, 훨씬 더 어려운 질문이 남아 있었습니다. 과연 컴퓨터가 그 사람이 도착하기도 전에 그 사람이 어디로 갈지를 예측할 수 있을 것인가 하는 점이었습니다.

'Transactions on Machine Learning Research'에 발표된 새로운 연구는 이 질문에 답하기 위해 설계된 KOALA라는 시스템을 소개합니다. 두 개의 주요 와이파이 센싱 데이터셋을 활용하여 연구를 진행한 연구진은, 와이파이 공유기에서 나오는 노이즈가 많고 튀는 신호를 신뢰할 수 있는 인간 움직임의 예측치로 변환하는 방법을 개발했습니다. 이전의 시도들이 마지막 순간을 바탕으로 다음 순간을 추측하려 했던 방식(이는 종종 연쇄적인 오류로 이어지는 과정입니다)과 달리, KOALA는 전체 미래를 하나의 선형적인 경로로 취급하는 수학적 접근 방식을 사용합니다. 이 시스템은 인간의 자세를 최대 2초 앞서까지 성공적으로 예측하며, 기존 방식보다 훨씬 높은 정확도를 보여줌으로써 와이파이가 단순히 기기를 연결하는 것 이상으로 인간의 행동을 예견할 수 있음을 증명했습니다.

와이파이로부터 움직임을 예측하는 도전은 비디오 카메라로 하는 것과는 근본적으로 다릅니다. 카메라가 사람을 녹화할 때는 깨끗하고 상세한 골격 이미지를 포착합니다. 그러나 와이파이는 간섭이라는 안개를 통해 세상을 봅니다. 사람이 움직임에 따라 신체 부위는 무선 전파를 반사하고 산란시키며, 이는 종종 불완전하고 정전기로 가득 찬 복잡한 신호 변화 패턴을 만들어냅니다. 이전의 시스템들은 이를 현재 위치를 신호로부터 추측하는 단순한 문제로 취급했지만, 그 위치가 시간이 지남에 따라 어떻게 변하는지는 모델링하지 못했습니다. 연구자들이 표준 비디오 예측 기술을 이 지저받은 와이파이 신호에 적용하려고 했을 때, 오류는 빠르게 누적되었습니다. 만약 시스템이 다음 단계를 잘못 예측하면, 그 실수가 다음 추측의 시작점이 되어 예측이 순식간에 엉터리로 흘러가 버립니다.

KOALA는 컴퓨터가 문제를 생각하는 방식을 바꿈으로써 이를 해결합니다. 시스템은 동작을 단계별로 예측하는 대신, 전체 움직임의 시퀀스를 규칙이 단순하고 직선적인 특수한 수학적 공간으로 끌어올립니다. 이 공간에서 인간 신체의 복잡하고 뒤틀린 경로는 모든 미래의 순간에 적용되는 단 하나의 변하지 않는 규칙으로 설명될 수 있습니다. 연구진은 지저분한 와이파이 신호를 이 깨끗한 공간으로 번역하고, 규칙을 적용하여 시간을 앞으로 건너뛴 다음, 그 결과를 다시 인간의 자세로 번역하는 법을 배우는 신경망을 구축했습니다. 시스템이 한 단계씩 추측할 필요가 없기 때문에, 다른 방식들을 괴롭히는 오류의 누적을 피할 수 있습니다. 시스템은 현재의 신호를 보고 1초, 2초, 혹은 그 너머의 미래에 사람이 어디에 있을지를 즉각적으로 계산할 수 있으며, 이 과정에서 예측력이 저하되지 않습니다.

이를 구현하기 위해 연구팀은 시스템이 단순히 현재의 자세를 복제하여 아무것도 변하지 않는 것처럼 가장하는 특정 문제를 극복해야 했습니다. 이는 매우 짧은 시간 동안은 작동하지만, 더 긴 시간 동안에는 실패하는 방식입니다. 그들은 시스템이 현재의 자세 자체가 아니라, 현재의 자세와 미래의 자세 사이의 '차이'만을 예측하도록 설계함으로써 이를 해결했습니다. 또한, 시스템이 서로 다른 시간 척도에 걸쳐 일관성을 유지하도록 강제하는 특별한 학습 방법을 추가하여, 시스템이 학습하는 수학적 규칙이 실제로 인간의 움직임을 반영하도록 했습니다. 그 결과, 와이파이 신호가 노이즈가 많거나 환경이 변하더라도 안정적인 모델을 유지하게 되었습니다.

연구진은 사람들이 다양한 방에서 다양한 동작을 수행하는 수천 개의 사례가 포함된 두 개의 대규모 데이터셋을 통해 KOALA를 테스트했습니다. 2차원 움직임을 포함하는 한 테스트에서, 시스템은 0.1초 앞의 미래에 대해 평균 26.14mm, 1초 앞의 미래에 대해 27.28mm의 오차만으로 자세를 예측했습니다. 이는 기존의 차세대 방식보다 약 19% 더 높은 정확도로, 상당한 개선을 보여준 것입니다. 더 어려운 3차원 움직임 테스트에서는, 시스템이 가장 짧은 시간 척도에서 기존의 최고 경쟁 방식보다 오차를 6배 이상의 배수로 줄이며 압도적인 성능을 보였습니다. 결정적으로, 예측 시간이 길어짐에 따라 오류가 완만하고 꾸준하게 증가한 반면, 다른 방식들은 실제 움직임을 추적하는 것이 아니라 단순히 평균 위치를 추측하고 있음을 시사하듯 오류가 폭발하거나 평탄해지는 양상을 보였습니다.

이러한 발견은 와이파이 신호가 사람의 위치를 찾는 것뿐만 아니라, 높은 정밀도로 미래의 움직임을 예측할 수 있는 충분한 정보를 담고 있음을 시사합니다. 이러한 능력은 스마트 환경이 인간과 상호작용하는 방식을 변화시켜, 가정에서의 선제적 보조, 공장에서의 더 안전한 인간-로봇 협업, 그리고 의료 모니터링에서의 조기 개입을 가능하게 할 수 있습니다. 이 시스템은 사람이 센서를 착용하거나 카메라에 포착될 필요 없이 작동하며, 항상 켜져 있고 항상 듣고 있는 사생활 보호형 대안을 제공합니다. 현재 버전의 시스템은 단일 인원을 대상으로 하며 환경이 비교적 안정적이라고 가정하지만, 이 접근 방식의 성공은 더 복잡한 응용 분야로 가는 문을 열어줍니다. 연구진은 향-후 작업이 여러 명의 움직임을 동시에 예측하거나 더 갑작스러운 행동 변화를 처리할 수 있도록 확장될 수 있다고 언급했지만, 핵심적인 성과는 분명합니다. 즉, 기계가 와이파이 신호의 정전기 속에서 미래를 보는 법을 배웠다는 것입니다.

기술 요약: KOALA – WiFi 기반 선제적 인간 움직임 예측을 위한 Koopman 연산자 학습

1. 문제 정의

본 논문은 **WiFi 채널 상태 정보(CSI)**를 이용한 **선제적 인간 움직임 예측(anticipatory human motion prediction)**의 과제를 다룹니다. WiFi CSI는 카메라 기반 센싱에 비해 프라이버시를 보호하면서도 인프라가 필요 없는 인간 포즈 추정 대안을 제공하지만, 기존 방식들은 포즈 추론을 즉각적인 회귀 문제로 취급합니다. 이는 시간적 역학(temporal dynamics)을 모델링하지 못해 미래의 움직임을 예측하는 것을 불가능하게 만듭니다.

비전 기반 예측 방법을 CSI 유래 포즈에 직접 적용하는 것은 다음과 같은 이유로 효과적이지 않습니다:

노이즈 증폭: CSI 유래 포즈는 다중 경로 페이딩(multipath fading)과 환경 간섭으로 인해 본질적으로 노이즈가 많고 불완전합니다. 자기회귀적 롤아웃(autoregressive rollouts)은 매 단계에서 이러한 오류를 증폭시킵니다.
시간적 불안정성: 정교한 모션 캡처 시퀀스와 달리, CSI에서 추출된 시간적 역학은 덜 안정적이며 모델링하기 더 어렵습니다.
오류 누적: 다중 호라이즌(multi-horizon) 예측을 위해서는 긴 시퀀스 동안 일관성을 유지해야 하는데, 표준 자기회귀 전략은 이 과정에서 노출 편향(exposure bias)과 오류 누적 문제를 겪습니다.

핵심 문제는 노이즈가 많은 WiFi 신호로부터 자기회귀적 반복이나 시간 경과에 따른 오류 누적 없이 미래의 골격 상태를 예측하는 것입니다.

2. 방법론: KOALA 프레임워크

저자들은 KOALA(Koopman Operator with Attentive Lifting Architecture)를 제안합니다. 이는 노이즈가 있는 CSI 유래 포즈 시퀀스를 학습된 **Koopman 잠재 공간(latent space)**으로 리프팅(lifting)하는 통합 프레임워크입니다. 이 공간에서는 비선형 역학이 선형 역학으로 변환되어, 단순한 행렬-벡터 곱을 통해 다중 호라이즌 예측이 가능해집니다.

2.1 아키텍처 개요

프레임워크는 네 가지 순차적 단계로 작동합니다:

CSI 인코딩:
- Mamba 기반 인코더가 원시 CSI 텐서( $X \in \mathbb{R}^{T \times S \times A}$ )를 처리하여 프레임별 특징과 전역 컨텍스트 벡터( $c$ )를 추출합니다.
- Mamba 아키텍처는 선형 시간 복잡도를 가지며, 신체가 프레넬 존(Fresnel zones)을 통과할 때 발생하는 CSI 신호의 장거리 상관관계를 처리하기에 적합합니다.
- 전역 컨텍스트 $c$ 는 Koopman 연산자를 독점적으로 조건화하며, 이는 CSI가 포즈가 '무엇인지'가 아니라 움직임이 '어떻게' 진화하는지를 조절한다는 귀납적 편향(inductive bias)을 구현합니다.
통합 포즈 추정 및 인코딩:
- HPE 모듈: Mamba 기반 인간 포즈 추정(Human Pose Estimation) 모듈이 CSI 특징으로부터 추정된 3D 관절 좌표를 복원합니다. 이 모듈은 관절 조건부 시간적 정밀화, 해부학적 임베딩, 골격 편향 셀프 어텐션을 활용합니다.
- 그래디언트 분리(Gradient Detachment): 결정적으로, 추정된 포즈는 역학 모듈에 들어가기 전에 계산 그래프에서 분리(detach)됩니다. 이는 포즈 로컬라이제이션 목적 함수를 예측 목적 함수로부터 격리하여, 예측 손실이 기하학적 포즈 정확도를 저하시키는 것을 방지합니다.
- 골격 인코더: 공유된 해부학적 유형 임베딩을 가진 골격 인식 인코더를 사용하여 추정된 포즈를 압축되고 운동학적으로 구조화된 특징으로 변환합니다.
이중 스트림 융합 및 Koopman 역학:
- 융합: 포즈 유래 특징과 CSI 특징은 가산 잔차 융합(additive residual fusion)을 통해 결합됩니다. 이를 통해 역학 모듈이 직접적인 CSI 정보를 받도록 보장하며, 부정확한 포즈 추정치가 표현을 지배하는 것을 방지합니다.
- 리프팅(Lifting): 신경망( $\phi$ )이 융합된 특징을 고차원 Koopman 잠재 공간( $z_t \in \mathbb{R}^{D_z}$ , 여기서 $D_z > d$ )으로 매핑합니다.
- 잔차 CSI 조건부 연산자: 핵심 혁신은 다음과 같이 정의되는 잔차 Koopman 연산자( $K_{eff}$ $K_{e f f}$ )입니다:
  $K_{eff} = I + B + \gamma U(c)V(c)^\top$
  - $I + B$ : 공유된 기본 역학을 포착합니다.
  - $\gamma U(c)V(c)^\top$ : 환경 특유의 다중 경로 효과를 설명하기 위해 전역 CSI 컨텍스트( $c$ )에 따라 역학을 적응시키는 저차원(low-rank) 항입니다.
  - 이 공식은 초기화를 통해 항등 행렬을 강제하는 대신 아키텍처 자체에 항등성을 내장함으로써, 이전 Koopman 방식들의 **항등 부착 문제(identity attractor problem, 연산자가 항등 행렬 $I$ 로 붕괴되는 현상)**를 해결합니다.
앵커 기반 디코딩:
- 모델은 절대적인 포즈를 예측하는 대신, 앵커 포즈(마지막 관측된 포즈)에 대한 **포즈 델타(pose deltas)**를 예측합니다.
- 미래 상태는 $z_{T+k} = K_{eff} z_{T+k-1}$ (단계당 단일 행렬-벡터 곱)을 통해 전파됩니다.
- 최종 예측은 $\hat{p}_{T+h} = \bar{p} + \Delta_\theta(z_{T+h})$ 입니다. 이 "앵커-델타" 공식은 현재 포즈를 모든 호라이즌에 대해 그대로 복사하는 퇴보적인 지름길을 제거합니다.

2.2 손실 함수

훈련 목적 함수( $L$ )는 세 가지 항을 결합하며, 별도의 대조(contrastive), 스펙트럴(spectral), 또는 보조 손실을 필요로 하지 않습니다:

예측 손실 ( $L_{pred}$ ): 모든 호라이즌에서의 포즈 공간 오차에 벌점을 부여하며, 긴 호라이즌에 더 높은 가중치를 둡니다.
Koopman Anchored Latent (KAL) 손실 ( $L_{KAL}$ ): 시간적 인코더 특징 공간에서 작동하는 새로운 손실입니다. 이는 연산자 롤아웃이 모델이 미래 프레임을 관찰했을 때 생성했을 특징과 일치할 것을 요구합니다.
- 이는 재구성 항( $k=0$ )과 호라이즌 가중치 예측 항( $k>0$ )을 포함합니다.
- 단기 호라이즌이 KAL 그래디언트를 지배하여 안정성을 확보하고, 장기 호라이즌에 대한 감독은 $L_{pred}$ 에 의해 처리됩니다.
- 이 손실은 역학적 일관성을 강제하고, 리프팅 및 재구성 네트워크가 연산자 노름(norm)이 무한히 커지는 퇴보적인 솔루션으로 붕괴하는 것을 방지합니다.
포즈 추정 손실 ( $L_{est}$ ): 지면 참값(ground-truth) 관측 포즈를 사용하여 HPE 모듈을 감독합니다.

3. 주요 기여

새로운 프레임워크: KOALA는 WiFi CSI로부터 직접 멀티 호라이즌 인간 포즈를 예측하는 최초의 통합 프레임워크로서, RF 센싱과 선제적 움직임 이해 사이의 가교 역할을 합니다.
잔차 CSI 조건부 연산자: 이전 Koopman 방식들의 고질적인 문제인 항등 부사(identity attractor) 문제를 해결하는 잔차 파라미터화와, 평균 포즈 붕괴를 방지하는 앵커-델타 예측 공식을 도입했습니다.
Koopman Anchored Latent (KAL) 손실: 재구성, 선형성, 안정성 목적 함수를 단일 특징 공간 예측 항으로 통합하여, 복잡한 대조 또는 스펙트럴 손실의 필요성을 제거했습니다.
강력한 성능: 표준 데이터셋에서 다양한 단기 및 장기 호라이즌에 걸쳐 베이스라인 모델들을 지속적으로 능가함을 입증했습니다.

4. 실험 결과

저자들은 두 가지 데이터셋인 WiPose(2D 포즈)와 MM-Fi(3D 포즈, 대규모, 다중 피험자, 다중 환경)에서 KOALA를 평가했습니다.

WiPose (2D): KOALA는 모든 호라이즌에서 가장 낮은 MPJPE 및 PA-MPJPE를 달성했습니다 (예: 100ms에서 26.14 mm, 1000ms에서 27.28 mm). 이는 가장 강력한 베이스라인인 VMRNN보다 약 19% 개선된 수치입니다. 결정적으로, 호라이즌에 따른 오류 저하가 미미했습니다 (단 1.14 mm 차이), 이는 유의미한 오류 누적이 없음을 나타냅/니다.
MM-Fi (3D): KOALA는 모든 베이스라인(MetaFi++와 같은 WiFi 특화 방법 및 VMRNN과 같은 시공간 모델 포함)을 상당한 차이로 앞질렀습니다.
- 100ms에서 KOALA는 52.1 mm MPJPE를 달성하였는데, 이는 가장 우수한 경쟁 모델인 SwinLSTM(332.6 mm)보다 약 6.4 배 낮은 수치입니다.
- PCK@10은 73.9%에 도달했으나, 다른 베이스라인은 18.1%를 넘지 못했습니다.
- 모델은 교차 피험자(cross-subject) 및 교차 환경(cross-environment) 설정에서도 높은 성능을 유지했으며, 오류 증가 폭이 기하급급수적이지 않고 완만했습니다.

5. 의의 및 주장

본 논문은 KOALA가 무선 신호로부터 인간 움직임 예측의 새로운 패러다임을 구축한다고 주장합니다. 그 의의는 다음과 같습니다:

노이즈 극복: 자기회귀적 방식에서 흔히 나타나는 오류 누적 없이, 본질적으로 노이즈가 많은 CSI 데이터로부터 시간적 역학을 성공적으로 모델링했습니다.
비선형성의 선형화: Koopman 이론을 활용하여 복잡하고 비선형적인 인간의 움직임을 선형 잠재 공간으로 변환함으로써, 효율적이고 비반복적인 다단계 예측을 가능하게 했습니다.
프라이버시 및 보편성: 스마트 홈, 헬스케어, 인간-로봇 협업 분야를 위한 고정밀, 프라이버시 보호형 대안을 제공합니다.

한계점 및 향후 연구:
저자들은 현재의 한계점을 다음과 같이 인정하였습니다:

현재의 공식은 단일 인원 시나리오를 다루며, 다수 거주자가 있는 환경에서의 신호 중첩 문제를 다루지 않습니다.
CSI 조건부 연산자가 제로샷 교차 사이트 전이(zero-shot cross-site transfer) 환경에서도 유효한지에 대한 검증이 이루어지지 않았습니다.
모델은 단일 결정론적 예측을 생성하며, 가능한 미래 움직임의 전체 분포를 포착하는 능력은 부족합니다.
시간 불변적(time-invariant) 역학 가정은 급격한 동작 전환 시 깨질 수 있습니다.

향후 연구로는 KOALA를 확률적 예측으로 확장하고, 혼합 연산자(mixture-of-operators) 또는 모드 전환(mode-switching) 확장을 통해 급격한 전환을 처리하는 것이 제안되었습니다.