PhysFlow: Frequency Decoupled with Dual-Field Rectified Flow for Remote Photoplethysmography

PhysFlow 기술 요약: 원격 광혈류측정(rPPG)을 위한 주파수 분리형 이중 필드 정류 흐름(Dual-Field Rectified Flow)

문제 정의
원격 광혈류측정(rPPore Photoplethysmography, rPPG)은 얼굴 영상의 미세한 색상 및 강도 변화를 분석하여 심박수와 같은 생체 신호를 비접촉 방식으로 추정할 수 있게 한다. 그러나 현재의 딥러닝 방식은 조명 변화, 얼굴 표정, 머리 움직임이 발생하는 복잡하고 통제되지 않은 시나리오에서 어려움을 겪는다. 이러한 환경에서는 미세한 생리학적 신호가 외부 간섭에 의해 압도되기 쉽다. 저자들은 기존 접근 방식의 주요 한계점을 지적하는데, 대부분의 방법이 rPPG 신호를 통합된 방식으로 모델링하여, 서로 다른 신호 성분(예: 맥박 관련 변화와 방해로 인한 변화)이 재구성 과정에서 결합된다는 점이다. 이러한 결합은 강력한 방해 요소가 존재할 때 약한 맥박 관련 변화를 보존하는 것을 어렵게 만든다. 또한, 기존 방법들은 종종 반복적인 디노이징(예: 확산 모델)에 의존하여 계산 지연 시간이 높으며, 재구성된 파형의 형태학적 충실도보다 심박수(HR) 정확도를 우선시하는 경-경향이 있다.

방법론: PhysFlow
이러한 과제를 해결하기 위해, 저자들은 주파수 분리형 이중 필드 정류 흐름 프레임워크인 PhysFlow를 제안한다. 핵심 혁신은 rPPG 신호의 모델링을 통합된 전체로 취급하는 대신, 별개의 성분으로 분리하는 데 있다.

1. 주파수 영역 분해 (FDD):
   지면 진실(Ground-truth) rPPG 신호는 두 가지 별개의 감독 대상(supervisory targets)으로 분해된다:

   • 트렌드 성분 (Trend Component): 완만하게 변하는 파형 프로파일(저주파)을 포착한다.
   • 진폭 성분 (Amplitude Component): 타당한 심박수 범위 내의 미세하고 맥박과 관련된 변화를 보존한다.
     이 분해는 특정 저주파 및 대역 통과 마스크를 사용하는 실제 고속 푸리에 변환(RFFT)과 그 역변환(IRFFT)을 통해 수행된다.

2. 이중 필드 정류 흐름 프레임워크:
   PhysFlow는 이러한 성분들을 단순히 보조적인 단서로 사용하는 대신, 이를 명시적인 생성 대상으로 취급한다. 프레임워크는 두 개의 별도 조건부 속도장(conditional velocity fields)을 학습한다:

   • 트렌드 헤드 (Trend Head): 매끄러운 저주파 트렌드를 모델링하도록 설계되었다. 이는 스펙트럴 및 다항식 기저(basis)를 사용하는 기저 재구성 방식을 채택하여 매끄러움을 강제하고 불필요한 고주파 변동을 억제한다.
   • 진폭 헤드 (Amplitude Head): 비디오 의존적 방해에 더 민감한 맥박 관련 변화를 모델링하도록 설계되었다. 이는 FiLM 변조, 팽창된 시간 컨볼루션(dilated temporal convolutions), 그리고 Squeeze-and-Excitation(SE) 재가중화를 포함하는 조건 인지형 시간 예측기를 활용하여 복잡한 시간적 의존성을 포착한다.
     두 헤드는 모두 주기적 트랜스포머 블록(Periodic Transformer Block)을 통해 입력 비디오에서 추출된 특징에 의해 가이드되며, 이 블록은 두 브랜치에 공유되는 글로벌 특징과 성분별 가이드 특징을 포함한다.

3. 정류 흐름을 통한 효율적인 추론:
   반복적인 디노이징이 필요한 전통적인 확산 모델과 달리, PhysFlow는 정류 흐름(Rectified Flow) 공식을 활용한다. 이 모델은 가우시안 초기화된 잠재 상태로부터 타겟 트렌드 및 진폭 상태를 따라 직선 경로를 통해 샘플을 직접 이동시키는 속도장을 학습한다. 추론 과정에서 최종 rPPG 신호는 단 몇 단계(예: 4단계)의 ODE 적분을 통해 재구성되어, 확산 기반 접근 방식의 계산 오버헤드를 크게 줄인다.

주요 기여

• 이중 필드 아키텍처: 본 논문은 rPPG 신호의 트렌드와 진폭 성분을 분리하고, 이를 두 개의 별도 조건부 속도 필드로 모델링하여 상호 간섭을 줄이는 새로운 프레임워크를 제안한다.
• 명시적 감독 분해: 주파수 영역 분해 전략을 도입하여 트렌드 및 진폭 성분에 대한 명시적인 감독 대상을 도출하며, 이를 통해 분해가 사후적 보조 수단이 아닌 생성 과정에 능동적으로 참여하도록 한다.
• 효율적이고 견고한 재구성: 정류 흐름을 활용함으로써, PhysFlow는 최소한의 ODE 적분 단계만으로 고품질의 파형 재구성을 달anam하며, 이는 확산 기반 접근 방식의 지연 문제를 해결하는 동시에 견고성을 향상시킨다.

실험 결과
저자들은 네 가지 벤치마크 데이터셋인 BUAA-MIHR(저조도), VIPL-HR(다양한 움직임 및 조명), NIRP-DRV(주행 시나리오), NIRP-IND(실내 주행)에서 PhysFlow를 평가하였다.

• 심박수 추정: PhysFlow는 모든 데이터셋에서 최첨단(SOTA) 성능을 달성했다. 예를 들어, 까다로운 NIRP-DRV 데이터셋에서 5.93 bpm의 RMSE를 기록하여 이전 최고 성능인 PHASE-Net(6.23 bpm)을 앞질렀다. BUAA-MIHR 데이터셋에서는 RMSE를 1.43 bpm에서 1.17 bpm으로 낮추었다.
• 파형 재구성: 심박수 정확도 외에도, PhysFlow는 우수한 파형 충실도를 입증했다. BUAA 데이터셋에서 Waveform Correlation(Wave-Corr) 0.95, Phase Error(PE) 0.12, SNR 17.18을 달성하여, 형태 및 스펙트럼 품질을 보존하는 데 있어 타 방법론을 크게 압도했다.
• 교차 데이터셋 일반화: 교차 데이터셋 평가(예: NIRP에서 학습하고 VIPL-HR에서 테스트)에서도 PhysFlow는 최고의 전반적 성능을 유지하였으며, 이는 다양한 획득 장치 및 환경에 대한 우수한 일반화 능력을 나타낸다.
• 효율성: 가장 적은 파라미터 수를 가진 것은 아니지만, PhysFlow는 비교된 방법들 중 가장 높은 처리량(63.74 Kps)과 가장 낮은 추론 시간(13.63 ms, NVIDIA RTX 4090 GPU 기준)을 보여주어 실시간 배포 적합성을 검증했다.

의의 및 주장
본 논문은 Phys-Flow가 생리학적 신호와 환경적 방해 요소의 얽힘을 명시적으로 다룸으로써 rPPG 추정 분야에서 중요한 발전을 이루었다고 주장한다. 신호를 트렌드와 진폭 성분으로 분리하고 이를 특화된 속도장으로 모델링함으로써, 이 방법은 효율성을 희생하지 않으면서 견고성을 개선한다. 저자들은 정확한 심박수 추정이 반드시 충실한 파형 회복을 보장하는 것은 아니라는 점을 강조하며, 따라서 형태학적 충실도에 초점을 맞춘 것이 rPPG 품질에 대한 더 포괄적인 평가를 제공한다고 강조한다.

저자들은 현재의 모델 복잡도가 경량 배포를 저해할 수 있고, 분해 전략의 고정된 주파수 컷오프가 비정상적인 심박수나 극단적인 움직임 하에서 유연성을 제한할 수 있음을 언급하며 모델의 한계를 겸허히 인정한다. 향후 연구로는 더 가벼운 특징 추출 프레임워크와 적응형 분해 전략 개발이 제안되었다.