Reliability-Aware Weighted Multi-Scale Spatio-Temporal Maps for Heart Rate Monitoring

1. 문제 정의 (Problem Statement)

• 원격 광용적맥파 (rPPG) 의 한계: rPPG 는 얼굴 비디오의 미세한 피부 색상 변화를 분석하여 접촉 없이 심박수 (HR) 및 생리학적 신호를 추정하는 기술입니다. 그러나 조명 변화, 움직임, 그림자, 반사광 (specular reflections) 과 같은 환경적 노이즈에 매우 취약하여, 제약 없는 환경 (unconstrained environments) 에서 신호 대 잡음비 (SNR) 가 낮아집니다.
• 기존 방법의 부족:
  • 전통적인 신호 처리 및 영역 기반 접근법은 수동으로 설계된 특징 (handcrafted features) 에 의존하여 제약 없는 상황에서는 성능이 떨어집니다.
  • 최근의 딥러닝 기반 방법은 대규모 라벨 데이터에 의존하며, 자기 지도 학습 (Self-Supervised Learning, SSL) 을 도입한 방법들도 노이즈를 적절히 모델링하지 못하거나, 부정적 예시 (negative examples) 로서 현실적인 얼굴 역동성을 유지하지 못하는 단순한 증강 기법을 사용합니다.

2. 제안된 방법론 (Proposed Methodology)

저자들은 신뢰도 인식 가중 다중 스케일 시공간 (WMST) 맵과 HHH 웨이브렛 맵을 활용한 새로운 SSL 대비 학습 (Contrastive Learning) 프레임워크를 제안합니다.

2.1. 신뢰도 인식 가중 다중 스케일 시공간 (WMST) 맵 생성

기존의 MST (Multi-Scale Spatio-Temporal) 맵을 개선하여 픽셀의 신뢰도를 모델링합니다.

• 신뢰도 가중치 모델링: 각 픽셀이 생리학적 신호에 기여하는 정도를 판단하기 위해 다음과 같은 가중치를 계산하여 노이즈를 억제합니다.
  • 피부 확률 (Skin Probability): U, V 채널의 마할라노비스 거리를 기반으로 피부 영역의 가중치 ($w_{skin}$) 를 산출합니다.
  • 에지 억제 (Edge Suppression): 정지 웨이브 변환 (SWT) 을 사용하여 HL, LH, HH 서브밴드의 에지 에너지를 기반으로 움직임 경계나 비생리학적 질감을 억제하는 가중치 ($w_{edge}$) 를 적용합니다.
  • 반사 및 그림자 억제: HSV 색 공간의 밝기 (Value) 와 채도 (Saturation) 를 분석하여 반사광 ($w_{reflection}$) 과 그림자 ($w_{shadow}$) 로 인한 픽셀을 지수 함수를 통해 부드럽게 억제합니다.
• 적응적 집계: 위 모든 가중치를 각 가중치의 분산 (Variance) 을 기반으로 적응적으로 집계하여 최종 WMST 맵을 생성합니다. 이는 신뢰할 수 있는 영역과 노이즈가 많은 영역을 효과적으로 분리합니다.

2.2. 대비 학습 (Contrastive Learning) 프레임워크

생리학적 라벨 없이 robust 한 rPPG 표현을 학습하기 위해 대비 학습을 적용합니다.

• 앵커 (Anchor): 제안된 WMST 맵을 사용합니다.
• 양성 쌍 (Positive Pairs): 기존 6 가지 전통적 방법 (ICA, PCA, CHROM 등) 으로 추출된 1D 생리학적 신호와, WMST 맵을 시간적으로 확장하고 ROI 를 무작위 셔플링한 증강 데이터를 사용합니다.
• 음성 쌍 (Negative Pairs):
  • 기존: 다른 비디오의 WMST 맵 및 시간적으로 증강된 WMST 맵.
  • 새로운 제안 (HHH 맵): High-High-High (HHH) 웨이브렛 맵을 도입했습니다. 3D SWT 를 통해 입력 비디오의 높이, 너비, 시간 축에서 모두 고주파수 성분 (HHH) 만 추출합니다. 이는 생리학적 정보는 제거하되, 움직임과 구조적 노이즈는 유지하여 대비 학습에서 강력한 음성 샘플로 작용합니다.
• 손실 함수: 온도가 없는 InfoNCE 손실 (Temperature-free InfoNCE loss) 을 사용하며, 신호의 형태와 위상에 집중하기 위해 주파수 영역 (0.5~3.0 Hz) 에서의 피크스파트럼 밀도 (PSD) 간 피어슨 상관관계를 유사도 척도로 활용합니다.

2.3. 네트워크 아키텍처 및 최적화

• 백본: 장기적인 시공간 의존성을 모델링하는 Swin-Unet을 사용합니다.
• 학습 전략:
  1. 프리트레이닝: 전통적 방법으로 생성된 1D 신호를 타겟으로 하여 생리학적 가중치를 학습합니다 (L1 거리 + 피어슨 상관관계 손실).
  2. 대비 학습: WMST 맵과 HHH 맵을 활용한 대비 학습을 수행하여 노이즈에 강인한 표현을 학습합니다.
  3. 심박수 추정: 학습된 시공간 신호를 채널 및 ROI 에 대해 평균화하고, 주파수 영역에서 최대 전력 성분을 찾아 심박수를 추정합니다.

3. 주요 기여 (Key Contributions)

1. WMST 맵 제안: 환경적 노이즈 (반사, 그림자, 움직임 등) 를 명시적으로 모델링하고 픽셀 신뢰도에 따라 가중치를 부여하여 기존 MST 맵보다 우수한 SNR 을 제공합니다.
2. HHH 웨이브렛 맵 도입: 생리학적 정보는 제거하고 움직임/구조적 노이즈만 남기는 새로운 음성 샘플을 생성하여, 대비 학습에서 생리학적 신호와 노이즈의 분리를 극대화합니다.
3. SSL 기반 프레임워크: 라벨 데이터 없이도 높은 정확도와 강인성을 달성하는 새로운 자기 지도 학습 파이프라인을 구축했습니다.

4. 실험 결과 (Results)

데이터셋: VIPL-HR (다양한 조명/움직임 조건, 108 명) 및 UBFC-rPPG (안정적 조건, 42 명).

• 통계적 유의성: VIPL-HR 데이터셋에서 WMST 맵이 기존 MST 맵보다 SNR 을 유의미하게 향상시켰음을 t-test 와 Wilcoxon 부호 순위 검정을 통해 입증했습니다 ($p < 10^{-13}$).
• 정량적 성능 (VIPL-HR):
  • MAE (평균 절대 오차): 4.32 (기존 SOTA SSL 방법 중 가장 낮음, RS+rPPG 의 4.40 보다 우위).
  • Pearson 상관관계 (R): 0.86 (기존 방법 대비 가장 높음).
  • RMSE 는 RS+rPPG 와 유사하거나 약간 높았으나, 전체적인 정확도와 GT(실측값) 와의 동기화 능력은 가장 뛰어났습니다.
• 정량적 성능 (UBFC-rPPG): 제어된 환경에서도 SOTA 수준 (MAE 0.50, R 0.99) 의 성능을 보여주어 일반화 능력을 입증했습니다.
• Ablation Study: WMST 맵과 HHH 맵을 모두 제거했을 때 성능이 저하됨을 확인하여, 각 구성 요소가 신호 품질 향상과 동기화에 필수적임을 증명했습니다.
• 정성적 결과: VIPL-HR 의 복잡한 구간 (이중 피크 패턴, 급격한 변화 등) 에서 기존 방법 (RS+rPPG) 이 발생하는 위조 진동 (spurious oscillations) 이나 과도한 오버슈트를 제안 방법은 정확히 추적했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 제약 없는 환경에서의 원격 생리학적 모니터링 문제를 해결하기 위해 신뢰도 기반의 전처리 (WMST) 와 구조적 노이즈를 활용한 대비 학습 (HHH 맵) 을 결합한 혁신적인 접근법을 제시했습니다.

• 기술적 의의: 라벨 데이터에 의존하지 않으면서도 환경적 노이즈에 강인한 rPPG 신호를 추출할 수 있는 새로운 SSL 패러다임을 정립했습니다.
• 실용적 가치: 이동 중이나 다양한 조명 조건에서도 정확한 심박수 추정이 가능해져, 웨어러블 기기가 아닌 스마트폰 카메라 등을 활용한 비접촉 건강 모니터링 시스템의 실용성을 높입니다.
• 향후 과제: WMST 맵을 위한 대체 신뢰도 융합 전략 탐구 및 교차 데이터셋 일반화, 모바일 배포 가능성 평가 등이 향후 연구 과제로 제시되었습니다.