1. 연구 배경 및 문제 정의 (Problem)

• 원격 광용적맥파 (rPPG) 의 한계: rPPG 는 얼굴 영상에서 비접촉 방식으로 생리학적 신호 (심박수, 혈류 맥파 등) 를 추정하는 기술입니다. 그러나 실제 배포 시 도메인 시프트 (Domain Shift) 로 인해 성능이 급격히 저하되는 문제가 발생합니다.
• 도메인 시프트의 원인: 조명 조건, 카메라 특성, 색상 응답, 피사체의 외모 변화 등이 학습 데이터 (Source) 와 테스트 데이터 (Target) 간의 분포 차이를 만들어냅니다.
• 기존 방법의 부족: 기존 딥러닝 기반 rPPG 방법들은 특정 데이터셋에 과적합 (Overfitting) 되어 있어, 외모 관련 요인 (illumination, camera characteristics) 에 민감하게 반응합니다. 또한, 기존 도메인 적응 기법들은 대부분 특징 공간의 정규화에 의존하거나 명시적인 데이터 수준의 변환을 수행하지 않아, rPPG 의 미세한 색상 변화를 왜곡할 위험이 있습니다.

2. 제안 방법론 (Methodology)

저자들은 주파수 도메인 적응 (Frequency-Domain Adaptation, FDA) 과 조화 제약 최적 수송 (Harmonic-Constrained Optimal Transport, HOT) 을 결합한 새로운 프레임워크를 제안합니다.

A. 주파수 도메인 적응 (FDA)

• 개념: rPPG 에서 도메인 차이는 주로 카메라의 스펙트럼 응답과 조명 변화로 인해 저주파수 영역 (Low-frequency) 의 진폭 스펙트럼에 반영됩니다.
• 작동 원리:
  1. 소스 도메인 영상과 타겟 도메인 참조 영상을 2D 푸리에 변환 (DFT) 합니다.
  2. 소스 영상의 저주파수 진폭 (Amplitude) 을 타겟 도메인 영상의 저주파수 진폭으로 교체합니다.
  3. 위상 (Phase) 은 소스 영상의 원래 위상을 그대로 유지하여 생리학적 신호 (심장 박동에 의한 미세한 색상 변화) 를 보존합니다.
  4. 역푸리에 변환을 통해 타겟 도메인의 외모를 반영하면서도 생리학적 동역학이 유지된 '스타일화된 (Stylized)' 영상을 생성합니다.

B. 조화 제약 최적 수송 (HOT)

• 문제 제기: 단순히 FDA 로 생성된 영상과 원본 영상의 특징 (Embedding) 을 유사하게 맞추는 것만으로는 생리학적 일관성이 보장되지 않을 수 있습니다.
• 해결책: 심박수 신호의 조화성 (Harmonic property, 즉 기본 주파수와 고조파 간의 관계) 을 활용하여 정렬을 유도합니다.
• 구현:
  1. 국소 조화 기술자 (Local Harmonic Descriptor): 시간 토큰 시퀀스 내에서 국소적인 생리학적 동역학을 분석하여 주파수 영역의 에너지 분포 (기본 주파수 및 2 차 고조파 비율) 를 계산합니다.
  2. 최적 수송 (Optimal Transport): 소스 토큰과 FDA 변환된 토큰 간의 정렬 비용을 정의할 때, 단순한 기하학적 거리 (코사인 유사도) 에 더해 조화 불일치 (Harmonic discrepancy) 를 패널티로 추가합니다.
  3. 손실 함수: Sinkhorn 알고리즘을 사용하여 최적 수송 계획을 계산하며, 생리학적 맥락이 일관된 토큰 쌍이 정렬되도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. rPPG 를 위한 첫 번째 FDA 프레임워크: rPPG 도메인 일반화를 위해 주파수 도메인 적응을 도입하여, 라벨이 없는 타겟 데이터를 활용하여 외모가 변형된 학습 데이터를 생성하고 도메인 격차를 줄였습니다.
2. HOT (Harmonic-Constrained Optimal Transport) 제안: Sinkhorn 수송에 생리학적 조화 제약을 부과하여, 외모 변화가 있더라도 생리학적 신호가 일관되게 정렬되도록 하는 새로운 정규화 손실 함수를 개발했습니다.
3. 광범위한 실험 검증: 다양한 데이터셋 (PURE, UBFC-rPPG, MMPD) 간의 크로스-데이터셋 실험을 통해 제안된 방법이 기존 모델 (DeepPhys, PhysNet, TSCAN 등) 의 일반화 성능을 일관되게 향상시킴을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: PURE, UBFC-rPPG, MMPD (다양한 조명, 피부색, 동작 조건 포함) 를 사용했습니다.
• 성능 향상:
  • 모든 평가 시나리오 (예: PURE → MMPD) 에서 HOT 를 적용한 모델이 MAE(평균 절대 오차), RMSE, MAPE 는 감소시키고, 피어슨 상관 계수 (r) 는 증가시켰습니다.
  • 특히 MMPD 와 같이 조명과 동작 변화가 심한 타겟 도메인에서 성능 향상이 두드러졌습니다.
  • CNN 기반 (PhysNet, DeepPhys) 과 Transformer 기반 (PhysFormer, RhythmFormer) 모델 모두에서 효과적이었으며, 아키텍처에 구애받지 않는 보편적인 효과를 보였습니다.
• Bland-Altman 분석: HOT 를 적용한 모델은 기준 심박수와의 일치도가 높고 오차가 0 주변에 더 밀집되어 있음을 확인했습니다.
• 계산 비용: 학습 시간과 GPU 메모리는 약 11~98% 증가했으나, 추론 (Inference) 단계에서는 HOT 가 적용되지 않아 지연 시간 (Latency) 과 처리량 (Throughput) 은 거의 변하지 않았습니다.

5. 의의 및 결론 (Significance)

• 생리학적 일관성 보장: 기존 도메인 적응 기법들이 외모 변화만 고려한다면, HOT 는 심박수 신호의 고유한 주파수 특성 (조화성) 을 활용하여 생리학적 타당성을 갖춘 정렬을 강제합니다.
• 실용적 가치: 라벨이 없는 타겟 데이터만으로도 효과적인 적응이 가능하며, 추론 속도를 희생하지 않으면서도 다양한 환경에서의 rPPG 신뢰도를 높입니다.
• 한계 및 향후 과제: 현재는 학습 시 라벨이 없는 타겟 참조 데이터가 필요하며, Sinkhorn 알고리즘으로 인한 학습 비용 증가가 있습니다. 향후 타겟 데이터 의존도를 낮추고 계산 효율성을 높이는 방향으로 연구가 진행될 예정입니다.

이 논문은 rPPG 기술의 실용적 배포를 위한 핵심 장벽인 '도메인 시프트' 문제를 해결하기 위해 주파수 기반 데이터 증강과 생리학적 제약이 포함된 최적 수송을 결합한 혁신적인 접근법을 제시했습니다.