Video-based Heart Rate Estimation with Angle-guided ROI Optimization and Graph Signal Denoising

1. 문제 정의 (Problem Statement)

• 비접촉 심박수 측정 (rPPG) 의 한계: 원격 광용적맥파 (rPPG) 기술은 얼굴 비디오에서 심박수 (HR) 를 비접촉 방식으로 측정할 수 있지만, 얼굴 움직임 (말하기, 고개 흔들기 등) 으로 인한 모션 아티팩트에 매우 취약합니다.
• 기존 방법의 부족:
  • 기존 연구들은 대부분 얼굴을 하나의 통합된 신호원으로 간주하여 단일 신호를 추출하거나, 심층 학습을 통해 특징을 학습합니다.
  • 그러나 얼굴의 각 영역 (이마, 볼, 턱 등) 은 국소적인 움직임과 생리학적 이질성으로 인해 신호 품질이 다릅니다. 전체 얼굴을 평균화하면 저품질 영역의 노이즈가 고품질 영역의 신호를 훼손하여 성능이 저하됩니다.
  • 특히 고개 회전과 같은 전역적 (Global) 움직임은 ROI(관심 영역) 와 카메라 간의 각도 변화를 유발하여 조명 품질을 떨어뜨리고 신호 신뢰성을 크게 낮춥니다.

2. 제안 방법론 (Methodology)

저자들은 모션 아티팩트를 해결하고 다중 ROI 간의 상관관계를 활용하기 위해 두 가지 플러그 앤 플레이 (Plug-and-Play) 모듈을 제안합니다. 전체 파이프라인은 Fig. 2 에 요약되어 있습니다.

A. 각도 유도 ROI 적응형 최적화 모듈 (Angle-guided ROI Adaptive Optimization)

• 목적: 전역적 고개 움직임을 감지하고, 움직임으로 인해 신호 품질이 저하된 ROI 를 보정합니다.
• 구현 과정:
  1. ROI 추출: MediaPipe 를 통해 468 개의 얼굴 랜드마크를 추출한 후, 이마, 볼, 턱에 위치한 60 개의 랜드마크를 기반으로 $20 \times 20$ 픽셀의 60 개 ROI 를 생성합니다.
  2. 각도 신호 추정: 각 ROI 의 평면 법선 벡터와 카메라 벡터 사이의 각도 ($C$) 를 계산합니다. 이를 위해 3D 랜드마크 정보를 활용하여 2D ROI 모서리 점들의 깊이를 추정합니다.
  3. 전역 운동 감지: 60 개 ROI 의 각도 신호를 PCA 로 융합하여 전역 각도 신호를 생성하고, 이를 미분하여 운동 신호 ($S_{motion}$) 를 도출합니다. 각도 변화율이 30°/s 를 초과하고 0.5 초 이상 지속되는 구간을 '전역 운동 구간'으로 라벨링합니다.
  4. 신호 보정: 전역 운동 구간에서 카메라와 60° 미만의 각도를 가진 고품질 ROI 를 식별하고, 저품질 ROI 의 RGB 특징을 가장 가까운 고품질 이웃 ROI 로 대체하여 최적화된 신호를 생성합니다.

B. 다중 영역 결합 그래프 신호 제거 모듈 (Multi-region Joint Graph Signal Denoising)

• 목적: 다중 ROI 간의 상관관계를 그래프 신호 처리 (Graph Signal Processing) 를 통해 모델링하여 노이즈를 제거합니다.
• 구현 과정:
  1. 그래프 구성: 60 개의 ROI 노드를 기반으로 인접 행렬 ($A$) 을 구성합니다. 인접 행렬은 세 가지 가중치 요소를 통합합니다:
     • 노드 신호 품질 ($q_{ij}$): 주파수 대역 내 전력 스펙트럼 비율과 프레임 간 안정성을 기반으로 고품질/저품질 신호를 판별합니다.
     • 영역 간 상관관계 ($r_{ij}$): 해부학적 근접성 (이마 - 볼, 볼 - 턱 등) 에 따라 기본 연결 강도를 설정합니다.
     • 쌍별 신호 일관성 ($d_{ij}$): 슬라이딩 윈도우를 이용한 피어슨 상관관계를 통해 동적 동기화 정도를 측정합니다.
  2. 그래프 신호 제거 (Denoising):
     • 조합 그래프 라플라시안 ($L = D - A$) 을 정의합니다.
     • 최대 사후 확률 (MAP) 추정을 통해 노이즈가 포함된 신호 ($S'_{bvp}$) 에서 깨끗한 신호 ($S''_{bvp}$) 를 복원하는 최적화 문제를 풉니다:
       $$\arg \min_{S''_{bvp}} \|S'_{bvp} - S''_{bvp}\|_2^2 + \lambda S''_{bvp}{}^\top L S''_{bvp}$$
     • 가중치 ($w_1, w_2, w_3$) 는 그래디언트 하강법을 통해 적응적으로 학습됩니다.
  3. 최종 융합: 제거된 신호를 지역별로 가중치 융합 (주기성과 품질 기반) 한 후, 전역 운동 구간을 제거하고 PCA 를 통해 최종 BVP 신호를 도출합니다.

3. 주요 기여 (Key Contributions)

1. 각도 유도 ROI 적응형 최적화: 고개 자세 변화를 활용하여 모션 아티팩트에 영향을 받은 ROI 신호를 적응적으로 정제하면서도 신호의 중복성 (Redundancy) 을 보존하는 모듈을 제안했습니다.
2. 다중 영역 결합 그래프 신호 제거: 얼굴의 서로 다른 영역 및 동일 영역 내 ROI 신호 간의 상관관계를 그래프 신호 처리로 모델링하여 모션 아티팩트를 효과적으로 억제하는 모듈을 개발했습니다.
3. 범용성: 제안된 모듈은 반사 모델 기반의 기존 rPPG 방법 (PBV, POS, OMIT 등) 과 호환되며, 플러그 앤 플레이 방식으로 적용 가능합니다.

4. 실험 결과 (Results)

• 데이터셋: COHFACE, PURE, MMPD 세 가지 공개 데이터셋에서 검증되었습니다.
• 평가 지표: 평균 절대 오차 (MAE) 와 평균 절대 백분율 오차 (MAPE).
• 성능 향상:
  • 제안된 두 모듈을 기존 방법 (PBV, POS, OMIT) 에 적용한 결과, 평균 MAE 가 20.38% 감소했습니다.
  • 특히 POS & AGROI & BGSD 조합에서 COHFACE 데이터셋 기준 MAE 4.06, PURE 기준 4.21, MMPD 기준 13.79 로 가장 우수한 성능을 보였습니다.
  • 각 모듈의 개별 효과 (Ablation Study) 를 확인한 결과, ROI 최적화만으로도 성능이 개선되었고, 그래프 신호 제거를 추가하면 추가적인 향상을 확인할 수 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실제 환경 적용 가능성: 얼굴 움직임이 빈번한 실제 시나리오 (텔레의료, 운전자 상태 모니터링 등) 에서 rPPG 기반 심박수 측정의 견고성 (Robustness) 을 크게 향상시킵니다.
• 기술적 혁신: 단순한 신호 평균화를 넘어, 얼굴의 기하학적 정보 (각도) 와 생리학적 신호 간의 상관관계 (그래프) 를 통합적으로 활용하여 노이즈를 제거하는 새로운 패러다임을 제시했습니다.
• 확장성: 제안된 모듈은 기존 알고리즘에 쉽게 통합되어 성능을 개선할 수 있어, 비접촉 생리학적 모니터링 기술의 발전에 기여할 것으로 기대됩니다.