Illumination-Robust Camera-Based Heart-Rate Estimation for Physiological Sensing in Robots

기술 요약: 로봇의 생리적 감지를 위한 조명 강건성 기반 카메라 기반 심박수 추정

문제 정의
원격 광혈류 측정(rPPG)은 표준 RGB 카메라를 사용하여 심박수(HR)를 추정하는 비접촉 방식을 제공하며, 이는 서비스, 소셜 및 보조 로봇을 위한 생리적 감지 분야에서 유망한 양상입니다. 그러나 실제 인간-로봇 상호작용(HRI) 환경에서의 견고한 배포는 조명 변화에 의해 저해됩니다. 역동적인 설정에서 실내 조명의 변화, 시야각, 사용자 위치의 변화는 미세한 맥박 관련 색상 신호를 압도하여 기존 rPPG 모델의 성능 저하를 유발할 수 있습니다. 선행 연구들이 시계열-주파수 하이브리드 감독(temporal-frequency hybrid supervision)을 탐구해 왔으나, 제어된 조명 변화 하에서 강건성을 유지하기 위해 필요한 구체적인 균형에 대해서는 아직 충분히 검토되지 않았습니다.

방법론
저자들은 조명 강건한 심박수 추정을 위해 특별히 설계된 엔드 투 엔드(end-to-end) 시공간 트랜스포머 프레임워크를 제안합니다. 이 시스템은 네 가지 핵심 구성 요소로 통합됩니다:

1. 전처리: 원본 비디오는 PRNet을 이용한 3D 얼굴 정렬을 거쳐 UV 위치 맵 회귀를 통해 의미론적으로 정렬된 얼굴 영역을 생성합니다. 이는 특징 추출 전 안정적인 얼굴 입력을 보장합니다.
2. 데이터 증강: 교차 비디오 조명 변화를 시뮬레이션하기 위해 클립 수준의 밝기 및 대비 섭동(perturbation)이 적용됩니다. 프레임 단위의 무작위화와 달리, 이 방식은 10초 클립(50 fps 기준 500 프레임) 내의 모든 프레임에 일관된 $\alpha_c$(대비) 및 $\beta_b$(밝기) 오프셋을 적용하여, 글로벌 비디오 외관을 변경하면서도 시간적 연속성을 보존합니다.
3. 아키텍처: 백본은 PhysFormer 스타일의 시계열 차분(temporal-difference) 트랜스포머로, TD-MHSA(Temporal-Difference Multi-Head Self-Attention)와 ST-FF(Spatio-Temporal Feed-Forward) 블록을 활용합니다. 컨볼루션 스템(stem) 이후와 튜브 토큰 임베딩 이전에 새로운 **잔차 시계열 표준화 모듈(RTSM)**이 삽기됩니다. RTSM은 각 채널과 공간 위치에 대해 시간 차원에 따른 시간 평균과 표준 편차를 계산하고, 원래의 생리적 신호를 지우지 않으면서 중간 특징의 분포 변화를 교정하기 위해 학습 가능한 잔차 스케일링 파라미터($\alpha$)를 적용합니다.
4. 손실 함수: 훈련 목적 함수는 하이브리드 시계열-주파수 손실인 $L_{total} = L_{time} + \beta L_{freq}$를 사용합니다.
   • $L_{time}$: 미세한 시간적 불일치를 허용하기 위해 이동 세트($S = \pm 3$ 프레임)에 대해 상관관계를 계산하는 Soft-Shifted Pearson 손실입니다.
   • $L_{freq}$: 예측된 파형의 전력 스펙트럼을 40–180 bpm 범위 내의 정답(ground truth)과 일치시키는 스펙트럴 쿨백-라이블러(KL) 발산 손실입니다.
   • $\beta$: 주파수 영역 가이드의 기여도를 제어하는 튜너블 가중치입니다.

주요 기여
본 논문은 세 가지 주요 기여를 합니다:

1. 문제 정식화: 조명 변화 하의 인간 지향적 로봇 시스템을 위한 카메라 기반 생리적 인지 문제로서 rPPG 기반 심박수 추정을 정의했습니다.
2. 아키텍처 혁신: 조명으로 인한 시계열 특징 통계 변화를 억제하면서 미세한 맥박 패턴을 보존하는 잔차 교정 역할을 하는 RTSM을 도입했습니다.
3. 하이브리드 감독의 경험적 분석: 피험자 독립적, 다중 조명 프로토콜에서 시계열-주파수 감독 가중치의 튜닝을 조사했습니다. 본 연구는 시계열 파형의 일관성과 스펙트럴 심박수 가이드 사이의 실질적인 균형을 식별하였으며, 변화하는 조명 조건 하에서 시계열 또는 스펙트럴 감독 단독으로는 견고한 성능을 내기에 불충분함을 입증했습니다.

결과
실험은 세 가지 조명 수준(저, 중, 고)을 포함하는 75명의 피험자 데이터셋에서 정적 전-레벨 혼합 프로토콜을 사용하여 수행되었습니다.

• 최적 가중치: 테스트된 $\beta$ 값들 중, $\beta = 5$가 가장 강력한 결과를 나타냈으며, 최적 실행 심박수 평균 절대 오차(MAE) 0.79 bpm과 상관계수 0.982를 달s했습니다.
• 성능 향상: 동일한 데이터셋에서 평가된 PhysFormer 베이스라인과 비교했을 때, 제안된 추정기는 심박수 MAE를 93.6%(12.33 bpm에서 0.79 bpm으로) 감소시켰으며, 심박수 상관관계를 0.088에서 0.982로 증가시켰습니다.
• 구성 요소 절제 실험(Ablation):
  • 하이브리드 손실만 사용했을 경우 MAE는 3.54 bpm으로 감소했습니다.
  • 조명 증강을 추가했을 때 MAE는 2.33 bpm으로 추가 감소했습니다.
  • RTSM만 추가했을 때 MAE는 1.25 bpm으로 감소했습니다.
  • 모든 구성 요소를 결합한 전체 모델은 최종 0.79 bpm의 MAE를 달성했습니다.
• 학습 가능한 파라미터: RTSM의 학습 가능한 잔차 계수 $\alpha$는 음수 값으로 수렴하였으며, 이는 모델이 비생리적 변동을 줄이기 위해 표준화된 시계열 성분을 억제적 교정으로 사용하는 법을 학습했음을 나타냅니다.

의의 및 주장
본 논문은 객체 수준의 하이브리드 감독, 특징 수준의 잔차 시계열 표준화, 그리고 데이터 측면의 조명 증강을 결합하는 것이 변화하는 조명 조건에서 견고한 rPPG 학습을 위해 필수적이라고 주장합니다. 저자들은 본 연구를 조명 변화를 운동 및 운동(exercise) 요인과 분리하여 격리함으로써, 로봇을 위한 견고한 생리적 감측을 향한 통제된 첫 단계로 규정합니다. 저자들은 제안된 추정기가 조명이 변할 때 카메라 기반 심박수 추정을 사용 가능하게 만든다고 주장하며, 이는 비침습적인 인간 인식형 로봇 인지의 전제 조건입니다. 본 연구는 운동(speaking), 머리 회전, 자전거 운동 등의 과제를 포함하는 향후 연구 과제로 남겨두며, 동작 강건성이나 온라인 적응 문제를 해결했다고 주장하지 않습니다.