Rhythm-Structured Predictive Learning for Remote Photoplethysmography

기술 요약: RhythmJEPA

1. 문제 정의

원격 광혈류 측정(rPPG)은 얼굴 영상에서 혈류에 의해 유도되는 미세한 피부 색상 변화를 분석하여 심박수와 같은 생리적 신호를 추정합니다. 최근의 발전에도 불구하고, 기존의 자기지도 학습 기반 rPPG 방식들은 두 가지 주요 한계점에 직면해 있습니다:

1. 표현 편향(Representation Bias): 대부분의 자기지도 학습 접근 방식은 마스킹된 RGB 픽셀이나 저수준의 시각적 특징을 재구성하는 데 의존합니다. 이는 모델이 잠재적인 생리적 역동성보다는 얼굴의 외형과 질감을 학습하도록 편향되게 만듭니다.
2. 시간적 스캐닝 제약(Temporal Scanning Constraints): 최근의 상태 공간 모델(예: Mamba 기반 접근 방식)은 일반적으로 얼굴 비디오 토큰을 엄격하게 연대순으로 처리합니다. 이는 맥박 신호의 주기적이고 준주기적인(quasi-periodic) 특성을 활용하는 능력을 제한합니다. 즉, 시간적으로 멀리 떨어진 프레임들이 유사한 생리적 상태를 공유할 수 있는 반면, 인접한 프레임들은 서로 다른 심장 주기에 속할 수 있다는 점을 간과합니다.

결과적으로, 현재의 방법론들은 다양한 카메라, 피험자 및 환경 조건이 존재하는 데이터셋에 대해 일반화하는 데 어려움을 겪으며, 견고한 rPPG 추정에 필수적인 주기 간 관계(inter-period relationships)를 포착하는 데 실패하곤 합니다.

2. 방법론: RhythmJEPA

저자들은 RhythmJEPA라는 리듬 구조화된 결합 임베딩 예측 학습(joint-embedding predictive learning) 프레임워크를 제안합니다. 이 모델은 입력 프레임을 직접 재구성하는 대신, 마스킹된 얼굴 영상으로부터 잠재적인 튜터(teacher) 표현을 예측함으로써 생리학적 인식을 갖춘 임베딩을 학습하도록 유도합니다. 아키텍처는 네 가지 핵심 모듈로 구성됩니다:

A. 공간 펄스 믹서 (Spatial Pulse Mixer, SPM)

Transformer 기반 공간 모델링의 계산 복잡성을 피하기 위해, RhythmJEPA는 경량화된 SPM을 채택합니다.

• 기능: RGB 외형과 단기적 시간 차이를 결합하여 맥박에 민감한 공간적 단서를 포착합니다.
• 메커니즘: 수평, 수직 및 로컬 뎁스 와이즈(depth-wise) 컨볼루션 브랜치를 사용한 후 어텐티브 공간 풀링(attentive spatial pooling)을 수행합니다. 이를 통해 복잡도와 성능 사이의 균형을 맞춘 압축된 프레임 단위 펄스 토큰($Z$)을 생성합니다.

B. 순환 리듬-상태 플래너 (Cyclic Rhythm-State Planner, CRSP)

맥박 신호의 시간적 구조를 명시적으로 모델링하기 위해, CRSP는 프레임에 잠재적 생리 상태를 할당합니다.

• 상태 추정: 푸리에 분석 네트워크(FAN)가 프레임별 리듬-상태 로짓(logits)을 예측합니다.
• 경로 디코딩: 모델은 전이 문법(transition grammar)에 의해 제약된 동적 계획법(Viterbi 스타일)을 사용하여 가장 그럴듯한 순환 상태 경로($s^*$)를 디코딩합니다. 이 문법은 상태가 변하지 않거나 다음 순환 상태로 전이($A(i) = \{i, (i+1) \mod K\}$)될 수 있음을 강제합니다.
• 정규화: 안정적인 상태 할당을 보장하기 위해 두 가지 손실 함수를 도입합니다:
  • 순환 전이 손실 ($L_{cyc}$): 순환 전이 문법을 준수하도록 장려합니다.
  • 상태 균형 손실 ($L_{bal}$): 펄스 주기 전반에 걸쳐 상태 사용이 고르게 분포되도록 하여 상태 붕괴(state collapse)를 방지합니다.

C. 듀얼 오더 맘바 인코더 (Dual-Order Mamba Encoder, DOM)

DOM은 연대순 스캐닝의 한계를 해결하기 위해 두 가지 상보적인 순서로 토큰 시퀀스를 처리합니다:

1. 연대순 브랜치(Chronological Branch): 로컬 연속성을 포착하기 위해 토큰을 원래의 시간 순서대로 스캔합니다.
2. 리듬-상태 브랜치(Rhythm-State Branch): 디코딩된 순환 상태($s^*$)에 따라 토큰을 재정렬한 후 스캔합니다. 이를 통해 Mamba 모듈은 시간적 거리와 관계없이 유사한 생리적 단계(phase)를 공유하는 프레임 간의 장기 의존성을 포착할 수 있습니다.

• 융합: 두 브랜치의 출력은 토큰 단위 게이팅 메커니즘을 통해 융합되어 리듬 인식 시간 특징($Y$)을 생성합니다.

D. 예측 헤드 및 학습 전략

• 사전 학습(Pre-training): 모델은 JEPA 목적 함수를 사용하여 사전 학습됩니다. 학생(student) 브랜치는 마스킹된 영상을 처리하고, 지수 이동 평균(EMA) 튜터 브랜치는 원본 영상을 처리합니다. 학생 모델은 마스킹된 위치에서의 튜터의 잠재 표현을 예측합니다.
• 미세 조정(Fine-tuning): 사전 학습된 모델은 예측된 rPPG 파형을 실제 값(ground truth)과 정렬하기 위해 음의 피어슨 상관계수(negative Pearson correlation) 손실을 사용하여 파형 회귀를 위해 미세 조정됩니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. RhythmJEPA 프레임워크: 픽셀 재구성의 편향을 피하면서 마스킹된 얼굴 영상으로부터 잠재적인 생리적 표현을 학습하는 결합 임베딩 예측 학습 프레임워크입니다.
2. 공간 펄스 믹서 (SPM): Transformer 기반 공간 어텐션의 오버헤드 없이 맥박에 민감한 단서를 효과적으로 포착하는 경량 공간 모델링 모듈입니다.
3. 리듬 인식 시간 모델링: 순환적 생리적 재발을 모델링하기 위해 CRSP와 듀얼 오더 맘바 인코더(DOM)를 도입했습니다. 이는 단순한 연대순 스캐닝을 넘어, 주기 일관성 및 상태 균형 손실에 의해 정규화된 주기 간 관계를 포착하도록 합니다.
4. 실증적 검증: 프레임워크의 효과와 견고함을 입증하는 광범한 데이터셋 내(intra-dataset) 및 교차 데이터셋(cross-dataset) 실험을 수행했습니다.

4. 실험 결과

저자들은 세 가지 벤치마크인 PURE, UBFC-rPPG, MMPD에서 RhythmJEPA를 평가했습니다.

• 데이터셋 내 성능 (Intra-dataset Performance): RhythmJEJPA는 모든 지표(MAE, MAPE, RMSE, Pearson's $r$)에서 최첨단(SOTA) 결과를 달성했습니다.
  • PURE에서 완벽한 상관관계($r=1.00$)를 달성했으며, 이전 최고 모델인 LSTS 대비 MAE를 20.0% 감소시켰습니다.
  • UBFC-rPPG에서는 MAE를 0.51에서 0.21로 줄였습니다 (58.8% 개선).
  • 도전적인 MMPD 데이터셋에서 상관관계는 0.74에서 0.76으로 향상되었고, MAE는 4.9% 감소했습니다.
• 교차 데이터셋 일반화 (Cross-dataset Generalization): 모델은 한 데이터셋에서 학습하고 다른 데이터셋에서 테스트했을 때 우수한 전이성을 보여주었습니다 (예: PURE $\to$ UBFC-rPPG). 이는 PhysNet 및 RhythmFormer와 같은 베이스라인을 지속적으로 능가하며, 모델이 데이터셋 특유의 외형 통계가 아닌 도메인 불변적인 생리적 표현을 학습하고 있음을 시사합니다.
• 효율성: 3.20M의 파라미터와 33.50G의 MACs를 가진 RhythmJEPA는 최근의 Transformer 기반 방법들(예: PhysFormer, LSTS)보다 훨씬 가볍습니다. 높은 정확도를 유지하면서도 우수한 정확도-효율성 트레이드오프를 제공하며, 파라미터 및 지연 시간 측면에서 두 번째로 효율적인 모델이면서 가장 높은 정확도를 달러성했습니다.

5. 의의 및 주장

본 논문은 RhythmJEPA가 외형 기반 재구성에서 생리학적 인식을 갖춘 표현 학습으로의 전환을 나타낸다고 주장합니다. RGB 픽셀 대신 잠재적인 튜터 임베딩을 예측함으로써, 모델은 근본적인 맥박 신호에 집중하도록 유도됩니다.

이 연구의 의의는 맥박 신호의 주기적 특성을 명시적으로 모델링했다는 점에 있습니다. 저자들은 견고한 추정을 위해 연대적 연속성만으로는 불충분하다고 주장하는데, 이는 유사한 생리적 상태를 가진 프레임들이 시간적으로 멀리 떨어져 있을 수 있기 때문입니다. CRSP와 DOM의 통합은 모델이 잠재 리듬 상태에 따라 시간 순서를 "재정렬"할 수 있게 하여, 표준 순차 모델이 놓치는 주기 간 의존성을 포착할 수 있게 합니다.

저자들은 학습된 리듬 상태가 추정에 효과적이기는 하지만, 여전히 암시적(implicit)이며 임상적으로 해석 가능한 심장 단계와 직접적으로 대응하지 않을 수 있다는 점을 겸허히 언급했습니다. 향후 연구로서 더 해석 가능한 리듬 모델링과 더 다양한 실제 환경에서의 평가를 조사할 것을 제안했습니다.