PHASE-Net: Physics-Grounded Harmonic Attention System for Efficient Remote Photoplethysmography Measurement

본 논문은 혈역학의 나비에-스토크스 방정식에서 유도된 물리 기반의 제 2 차 동적 시스템을 바탕으로, 제로 FLOPs 축 스와퍼, 적응형 공간 필터, 게이트형 TCN 을 결합한 경량 모델 PHASE-Net 을 제안하여 헤드 모션과 조명 변화 하에서도 높은 정확도와 효율성을 갖춘 원격 광용적맥파 (rPPG) 측정 솔루션을 제시합니다.

핵심

이 논문은 **'PHASE-Net'**이라는 새로운 기술을 소개합니다. 이 기술은 카메라로 사람의 얼굴을 찍기만 해도 심박수 (맥박) 를 정확히 측정할 수 있게 해줍니다.

기존의 기술들은 얼굴이 움직이거나 빛이 변하면 측정이 잘 안 되는 문제가 있었는데요. 이 논문은 **"왜 기존 기술은 실패했는지"**를 물리학 법칙으로 설명하고, 그 법칙을 그대로 따라 만든 새로운 모델을 제시합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "소란스러운 파티에서의 속삭임"

기존의 심박수 측정 기술 (딥러닝) 은 마치 시끄러운 파티장에서 누군가의 속삭임을 듣는 상황과 비슷합니다.

• 속삭임: 진짜 심박수 신호 (매우 약함)
• 소음: 머리를 흔들거나, 표정이 바뀌거나, 빛이 깜빡이는 것 (매우 큼)

기존 기술들은 "소음과 속삭임이 섞인 소리를 들어보니까, 아마 이 패턴이 심박수일 거야!"라고 **추측 (시행착오)**하는 방식이었습니다. 그래서 파티가 너무 시끄러우면 (빛이 변하거나 얼굴이 움직이면) 완전히 헷갈려서 틀린 답을 내놓곤 했습니다.

2. 해결책: "물리학이라는 나침반"

저자들은 "추측만 하지 말고, 심장 박동이 실제로 어떻게 움직이는지 물리 법칙을 먼저 공부하자"라고 생각했습니다.

• 물리 법칙: 심장의 혈액 흐름은 물리학의 '나비에 - 스토크스 방정식'이라는 복잡한 공식으로 설명됩니다.
• 발견: 저자들은 이 복잡한 공식을 단순화해보니, 심박수 신호는 마치 **"스프링에 달린 추가 흔들리는 진동"**과 똑같은 수학적 성질을 가진다는 것을 증명했습니다.
  • 비유: 심장이 뛰는 것은 마치 그네를 타는 아이와 같습니다. 한 번 밀어주면 (심장 수축) 자연스럽게 앞뒤로 흔들리다가 (맥파), 서서히 멈추는 (감쇠) 패턴을 따릅니다.

이제부터는 이 '그네 타는 법칙'을 그대로 따르는 모델을 만들면 됩니다.

3. PHASE-Net 의 3 가지 핵심 기능 (마법 같은 도구들)

이 모델은 물리 법칙을 구현하기 위해 세 가지 특별한 도구를 사용합니다.

① ZAS (제로-플롭스 축 스와퍼): "무 cost 로 섞어주는 요술 주사위"

• 역할: 얼굴의 여러 부분 (이마, 볼 등) 에서 온 정보를 서로 뒤섞어줍니다.
• 비유: 마치 주사위를 굴려서 얼굴의 정보를 섞는 것처럼, 정보를 섞는 데 전혀 추가적인 계산 비용 (에너지) 이 들지 않습니다.
• 효과: 얼굴의 한 부분만 보지 않고, 멀리 떨어진 부분들끼리 정보를 공유하게 해서 더 넓은 시야를 확보합니다.

② ASF (적응형 공간 필터): "노이즈 제거 안경"

• 역할: 얼굴 중 심박수 신호가 잘 들리는 곳 (이마, 볼) 에는 초점을 맞추고, 신호가 안 들리는 곳 (입술 주변, 눈썹 등) 은 무시합니다.
• 비유: 시끄러운 파티에서 노이즈 캔슬링 이어폰을 끼고, 진짜 말소리가 들리는 사람 쪽으로만 귀를 기울이는 것과 같습니다.
• 효과: 빛 반사나 표정 변화 같은 '불필요한 소음'을 걸러내어 깨끗한 신호만 남깁니다.

③ GTCN (게이트드 TCN): "물리 법칙을 따르는 시간 여행자"

• 역할: 위에서 걸러낸 깨끗한 신호를 시간의 흐름에 따라 분석합니다.
• 비유: 앞서 말한 **'그네 타는 아이'**의 움직임을 예측하는 역할입니다. "지금 이 자리에 있다면, 다음 순간은 이렇게 움직일 거야"라고 물리 법칙에 기반하여 미래를 예측합니다.
• 효과: 기존 AI 가 "이전 데이터 패턴을 외워서" 추측하는 것과 달리, 자연의 법칙을 따르기 때문에 어떤 상황에서도 흔들리지 않는 정확한 예측을 합니다.

4. 결과: "어떤 상황에서도 흔들리지 않는 정확도"

이 모델을 실험해 보니 놀라운 결과가 나왔습니다.

• 정확도: 기존 최고 기술들보다 훨씬 정확합니다.
• 강인함: 빛이 어둡거나, 얼굴을 많이 흔들거나, 다른 나라 사람 얼굴을 봐도 (데이터가 달라도) 여전히 정확합니다.
• 효율성: 모델이 매우 가볍습니다. (휴대폰이나 작은 칩에서도 쉽게 돌아갈 수 있음)

5. 요약: 왜 이 연구가 중요한가요?

기존의 AI 는 "데이터를 많이 먹여서 패턴을 외우는 암기왕"이었다면, PHASE-Net은 "심장 박동의 물리 법칙을 이해하는 천재"입니다.

• 암기왕은 낯선 상황 (새로운 빛, 새로운 얼굴) 이 오면 당황합니다.
• 천재는 상황은 달라도 '물리 법칙'은 변하지 않으므로, 어떤 상황에서도 올바른 답을 찾아냅니다.

이 연구는 AI 가 단순히 데이터를 맞추는 것을 넘어, 자연의 이치 (물리 법칙) 를 배우는 새로운 방향을 제시했다는 점에서 매우 의미가 큽니다. 앞으로는 이 기술로 심박수뿐만 아니라 호흡, 혈압 등 다양한 건강 정보를 카메라 한 대로 쉽게 측정할 수 있을 것입니다.

기술 요약

1. 문제 정의 (Problem)

원격 광용적맥파 (rPPG) 기술은 비접촉 방식으로 심박수 및 심박 변이도 (HRV) 와 같은 생리학적 신호를 측정할 수 있는 혁신적인 기술입니다. 그러나 실제 환경에서의 적용은 다음과 같은 심각한 한계에 직면해 있습니다.

• 신호 왜곡 및 노이즈: 머리의 움직임, 표정 변화, 주변 조명 변화 등으로 인해 실제 맥박 신호보다 수 배에서 수 십 배 더 강한 아티팩트 (노이즈) 가 발생합니다.
• 기존 딥러닝 방법의 한계: 현재 주류를 이루는 딥러닝 기반 방법들은 대부분 경험적 (heuristic) 인 접근 방식을 취합니다. 즉, 네트워크 구조가 데이터 피팅을 위해 시행착오 (trial-and-error) 로 설계되어, rPPG 신호의 물리적 본질을 반영하지 못합니다.
• 결과: 이로 인해 모델은 특정 데이터셋의 노이즈 패턴에 과적합 (overfitting) 되기 쉽고, unseen 조건 (새로운 환경) 에서의 일반화 성능이 떨어지며, 모델의 의사결정 과정을 해석하기 어렵다는 문제가 발생합니다.

2. 방법론 (Methodology)

이 논문은 rPPG 신호의 물리적 원리 (유체역학) 에서 출발하여, 이를 신경망 아키텍처로 직접 유도하는 PHASE-Net을 제안합니다. 핵심은 나비에 - 스토크스 (Navier-Stokes) 방정식에서 시작하여 맥박 신호가 **2 차 감쇠 조화 진동자 (Second-order Damped Harmonic Oscillator)**를 따름을 수학적으로 증명하고, 이를 **시계열 합성곱 (Causal Convolution)**으로 구현하는 것입니다.

2.1. 물리 기반 시간 모델링 (Physics-Informed Temporal Modeling)

• 물리적 유도: 혈류의 나비에 - 스토크스 방정식을 선형화하고 1 차원 평균화를 거친 후, 특정 얼굴 지점에서의 관찰을 가정하여 감쇠 파동 방정식을 유도합니다. 이는 최종적으로 2 차 상미분 방정식 (ODE, 강제 감쇠 조화 진동자) 으로 축소됩니다.
• 아키텍처 연결: 이 ODE 를 이산화 (Discretization) 하면 선형 시불변 (LTI) 상태 공간 모델이 되며, 이는 수학적으로 **인과적 합성곱 (Causal Convolution)**과 동치임을 증명합니다.
• 결과: 따라서 rPPG 신호의 동역학을 모델링하기 위해 **Temporal Convolutional Network (TCN)**을 사용하는 것은 단순한 경험적 선택이 아니라 물리 법칙에 기반한 필수적인 아키텍처 선택이 됩니다.

2.2. 주요 구성 요소 (Key Components)

PHASE-Net 은 세 가지 핵심 모듈로 구성됩니다:

1. Zero-FLOPs Axial Swapper (ZAS):

   • 기능: 채널의 일부에 대해 가역적인 공간 전치 (transpose) 를 수행하여 먼 얼굴 영역 간의 상호작용을 조기에 유도합니다.
   • 특징: 연산 비용 (FLOPs) 이 0 이며, 파라미터가 없습니다. 시간 축을 변경하지 않으면서 공간적 의존성을 강화하여 장기적인 공간 의존성을 학습합니다.

2. Adaptive Spatial Filter (ASF):

   • 기능: 프레임 단위 (frame-wise) 로 가중치 맵 (attention mask) 을 학습하여 신호가 풍부한 영역 (이마, 볼 등) 을 강조하고 노이즈가 많은 영역을 억제합니다.
   • 동역학 인코딩: 공간적으로 집계된 특징에 **1 차 시간 미분 (temporal derivative)**을 계산하여 병합합니다. 이는 맥박의 '속도' 정보를 포함시켜 복잡한 환경에서의 강인성을 높입니다.

3. Gated TCN (GTCN):

   • 기능: 위에서 유도된 물리 법칙에 기반한 인과적 Dilated TCN입니다. 게이트 메커니즘 (tanh, sigmoid) 을 사용하여 장기적인 시간적 동역학을 모델링하고 정확한 맥박 신호를 복원합니다.

3. 주요 기여 (Key Contributions)

1. 물리 기반 모델링 패러다임: 생리학적 동역학과 특정 네트워크 아키텍처 (인과적 합성곱) 사이의 이론적 다리를 최초로 구축했습니다.
2. ZAS 모듈 제안: 연산 비용 없이 공간적 상호작용을 강화하는 새로운 모듈을 설계했습니다.
3. ASF 모듈 도입: 공간적 노이즈를 제거하고 시간적 동역학을 명시적으로 인코딩하여 복잡한 환경에서의 강인성을 극대화했습니다.
4. 성능과 효율성의 균형: 이론적 엄밀함과 실용적인 효율성을 동시에 달성한 초경량 모델을 제시했습니다.

4. 실험 결과 (Results)

다양한 공개 데이터셋 (UBFC-rPPG, PURE, BUAA-MIHR, MMPD) 에서 기존 최첨단 (SOTA) 방법들과 비교 평가되었습니다.

• 내부 데이터셋 성능 (Intra-Dataset):
  • UBFC-rPPG: MAE 0.15 bpm, RMSE 0.53 bpm, 상관관계 0.99 달성 (기존 SOTA 인 LST-rPPG 보다 MAE 0.01 개선).
  • PURE: MAE 0.14 bpm, RMSE 0.35 bpm 달성. 기존 RhythmFormer (MAE 0.27) 보다 약 2 배 낮은 오차 기록.
  • BUAA-MIHR 및 MMPD: 조명 변화와 다양한 센서 조건에서도 기존 딥러닝 모델들이 실패하거나 성능이 급격히 떨어지는 상황에서 PHASE-Net 은 양호한 상관관계와 낮은 오차를 유지했습니다.
• 일반화 능력 (Generalization):
  • 교차 도메인 (Leave-One-Out): 훈련 데이터셋과 완전히 다른 테스트 데이터셋으로 이동했을 때, 기존 모델들이 MAE 20 bpm 이상으로 급증하거나 상관관계가 음수가 되는 반면, PHASE-Net 은 MAE 2.56~10.33 bpm 수준을 유지하며 압도적인 일반화 성능을 보였습니다.
  • 제한된 소스 도메인: 소수 데이터셋으로 학습하여 다른 도메인을 테스트하는 상황에서도 최상의 성능을 기록했습니다.
• 조명 변화에 대한 강인성: LED, 백열등, 자연광 등 다양한 조명 조건에서 PhysNet 및 RhythmFormer 보다 훨씬 낮은 오차를 기록했습니다.
• 효율성: 파라미터 수 0.29M, MACs 28.3G로, 기존 모델들 (PhysNet, PhysFormer 등) 보다 훨씬 경량화되어 엣지 디바이스 배포에 적합합니다.

5. 의의 및 결론 (Significance)

• 이론적 근거의 부활: rPPG 연구가 단순한 데이터 피팅 (Black-box) 에서 벗어나, 물리 법칙 (유체역학) 에 기반한 해석 가능하고 (Interpretable) 강인한 모델 설계로 전환되어야 함을 증명했습니다.
• 실용적 가치: 매우 적은 파라미터로 높은 정확도와 도메인 불변성 (Domain Invariance) 을 달성하여, 실제 모바일 및 엣지 환경에서의 rPPG 상용화를 가속화할 수 있는 솔루션을 제시했습니다.
• 미래 전망: 이 물리 기반 접근법은 호흡, 혈압 측정 등 다른 생리학적 신호 감지로 확장될 수 있는 가능성을 열었습니다.

요약하자면, PHASE-Net은 rPPG 신호의 물리적 본질을 수학적으로 유도하여 네트워크 구조에 직접 반영함으로써, 기존 딥러닝 모델이 겪던 일반화 부족과 해석 불가능성 문제를 해결하고, 동시에 뛰어난 효율성을 갖춘 새로운 표준을 제시한 연구입니다.