Uncertainty-quantified Pulse Signal Recovery from Facial Video using Regularized Stochastic Interpolants

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 영상 광용적맥파 (iPPG) 기술은 카메라를 통해 피부의 혈류량 변화 (BVP) 를 비접촉식으로 측정하여 심박수 등 생체 신호를 추정하는 기술로, 임상 및 소비자 분야에서 큰 관심을 받고 있습니다.
• 현재의 한계:
  • 기존 iPPG 알고리즘 (전통적 신호 처리 및 딥러닝 기반) 은 벤치마크 데이터셋에서 높은 정확도를 보이지만, 테스트 시 (Test-time) 해 공간 (Solution Space) 을 샘플링하지 않습니다.
  • 이는 단일 점 추정 (Point Estimate) 만 제공하여, 예측 결과에 대한 불확실성 (Uncertainty) 을 정량화할 수 없음을 의미합니다.
  • 임상 현장에서는 의사들이 AI 도구의 신뢰성, 특이도, 민감도뿐만 아니라 "개인적인 경험에서 환자를 반복적으로 성공적으로 예측하는지"를 중요하게 여깁니다. 불확실성 정량화가 부재하면 임상적 도입이 어렵습니다.
  • 특히 피부색, 성별과 같은 보호 속성 (Protected Attributes) 에 따른 편향을 평가하기 위해 불확실성 분석이 필수적입니다.

2. 제안 방법론: RIS-iPPG (Methodology)

저자들은 iPPG 신호 복원 문제를 **확률적 보간 (Stochastic Interpolants)**을 기반으로 한 역문제 (Inverse Problem) 로 재정의하고, **RIS-iPPG (Regularized Interpolants with Stochasticity for iPPG)**라는 새로운 프레임워크를 제안했습니다.

2.1. 확률적 보간 (Stochastic Interpolants) 기반 모델링

• 개념: 카메라 픽셀 신호 분포 ($p_1$) 와 실제 혈량 맥파 (BVP) 신호 분포 ($p_0$) 사이에 시간 의존적인 확률 경로를 구축합니다.
• 과정:
  1. 전향 과정: 카메라 신호 ($x_1$) 에서 BVP 신호 ($x_0$) 로 이동하는 확률적 과정을 정의합니다.
  2. 학습: 신경망을 통해 이 경로의 **순간 유속 (Flow, $v$)**과 스코어 (Score, $s$) 벡터를 학습합니다.
     • Flow: 두 분포 간의 이동 방향 예측.
     • Score: 데이터 분포의 로그 기울기 (Denoising 방향).
  3. 역방향 샘플링 (Test-time): 학습된 유속과 스코어를 사용하여 확률 미분 방정식 (SDE) 의 드리프트 계수 (Drift Coefficient) 를 구성합니다. 카메라 측정값을 초기 조건으로 SDE 를 역방향으로 풀어, 가능한 BVP 신호의 여러 실현 (Realizations) 을 샘플링합니다. 이를 통해 **사후 분포 (Posterior Distribution)**를 추정하고 불확실성을 계산할 수 있습니다.

2.2. 잔류 상관 손실 (Residual Correlation Loss, RCL)

• 동기부여: 생리학적 변화 (혈량 변화) 는 일반적으로 천천히 변하며 (Slowly Varying), 인접한 시간 윈도우 간의 신호는 유사해야 합니다.
• 기법:
  • 인접하고 겹치는 (Overlapping) 두 시간 윈도우에 대해 예측된 유속 벡터와 실제 유속 벡터 사이의 **잔차 (Residual)**를 계산합니다.
  • 이 두 잔차 벡터가 같은 방향을 향하도록 정규화합니다. 즉, 예측 오차의 패턴이 시간적으로 일관되도록 유도합니다.
  • 손실 함수: 피어슨 상관계수를 기반으로 한 정규화된 잔차 상관 손실 (RCL) 을 최소화합니다.
• 효과: 이 정규화는 모델이 시간적 일관성을 갖도록 하여, 잡음이 많은 환경에서도 더 강건한 신호 복원과 분포의 모드 (Mode) 를 효과적으로 포착하도록 돕습니다.

3. 주요 기여 (Key Contributions)

1. iPPG 를 위한 사후 샘플링 프레임워크: iPPG 신호 복원을 확률적 보간을 이용한 사후 샘플링 문제로 공식화했습니다. 카메라 신호에서 BVP 신호로의 확률적 경로를 학습하여 SDE 를 통해 다중 해를 생성하고 불확실성을 추정할 수 있습니다.
2. 잔류 상관 손실 (RCL) 제안: 인접 시간 윈도우 간의 예측 잔차 벡터 간 상관관계를 최대화하는 새로운 정규화 기법을 도입했습니다. 이는 생리학적 신호의 시간적 특성을 반영하여 복원 성능을 향상시킵니다.
3. 불확실성 정량화 및 보호 속성 평가:
   • 세 가지 데이터셋 (MMSE-HR, PURE, UBFC-rPPG) 에서 테스트 시 해 공간 샘플링을 수행했습니다.
   • 예측이 틀린 경우에도 다른 가능한 해를 포착할 수 있음을 보였습니다.
   • 피부색 (Light/Dark Skin Tone) 및 성별 (Men/Women) 과 같은 보호 속성별로 불확실성 보정 (Calibration) 기준을 최초로 설정하고 평가했습니다.

4. 실험 결과 (Results)

• 데이터셋: MMSE-HR, PURE, UBFC-rPPG 총 3 개 데이터셋에서 평가.
• 성능 (심박수 추정):
  • PURE 데이터셋에서 새로운 State-of-the-Art (SOTA) 성능을 달성했습니다 (MAE: 0.38 bpm, RMSE: 1.28 bpm).
  • 다른 데이터셋에서도 기존 SOTA 모델들과 경쟁력 있는 성능을 보였으며 (UBFC-rPPG MAE < 1 bpm), 특히 RCL 을 적용했을 때 성능이 향상되었습니다.
• 스펙트럼 추정 및 불확실성:
  • RCL 을 적용한 모델은 RCL 을 적용하지 않은 모델보다 스펙트럼 추정 정확도 (PCC 상승, RMSE 감소) 가 높았습니다.
  • 정성적 결과: RCL 을 사용하면 분포의 여러 모드 (예: 실제 심박수, 측정값의 피크 등) 를 더 잘 포착하고, 관심 없는 주파수 대역의 불확실성을 줄이는 것을 확인했습니다.
  • 불확실성 보정 (Calibration): PURE 및 UBFC-rPPG 데이터셋에서 잘 보정된 결과를 보였으며, 보호 속성 (피부색, 성별) 에 따른 보정 오차도 0.10 이내로 유지되었습니다. 다만, 어두운 피부색 그룹에서 NLL(음의 로그 가능도) 이 상대적으로 높게 나와 분포 학습의 어려움이 있음을 시사했습니다.
• 비교 분석: 기존 베이지안 신경망 (BNN), 조건부 VAE(cVAE) 등 다른 사후 샘플링 방법보다 복잡한 비가우시안 잡음과 다중 모드 분포를 더 효과적으로 모델링함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 임상적 신뢰성 확보: 본 연구는 iPPG 알고리즘이 단순히 점 추정을 제공하는 것을 넘어, **불확실성을 정량화하여 의사에게 신뢰할 수 있는 정보 (예: "이 예측은 95% 신뢰구간 내에 있습니다")**를 제공할 수 있음을 보였습니다. 이는 의료 AI 의 임상 도입에 필수적인 요소입니다.
• 편향 및 공정성 평가: 보호 속성 (피부색, 성별) 에 따른 불확실성 보정 성능을 평가함으로써, 알고리즘의 공정성과 편향을 진단할 수 있는 새로운 기준을 마련했습니다.
• 향후 과제: 학습 데이터와 테스트 데이터 간의 도메인 시프트 (Domain Shift) 문제와 보호 하위 집단 간의 성능 격차를 해결하는 것이 향후 연구 과제로 제시되었습니다.

요약하자면, RIS-iPPG 는 확률적 보간과 시간적 정규화를 결합하여 iPPG 신호 복원의 정확도를 높일 뿐만 아니라, 임상적 적용에 필수적인 불확실성 정량화 기능을 최초로 도입한 획기적인 연구입니다.