🤖 machine learning

CanonicalPhys: Pose-Robust Remote Photoplethysmography via Canonical-Space Priors

CanonicalPhys는 얼굴 영역을 정준 프레임(canonical frame)으로 매핑하기 위해 미분 가능한 호모그래피를 도입함으로써 다양한 머리 포즈에 따른 딥 원격 광혈류측정(remote photoplethysmography)의 급격한 성능 저하 문제를 해결하며, 이를 통해 이색성 반사 모델(dichromatic reflection model) 및 맥박 위상 불변성(pulse-phase invariance)과 같은 해부학적 사전 지식의 효과적인 적용을 가능하게 하여 다양한 포즈 조건 전반에서 심박수 추정 오차를 유의미하게 감소시킵니다.

원저자: Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

게시일 2026-07-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

친구의 가슴에 청진기를 대고 심장 박동 소리를 듣는다고 상상해 보세요. 쉽죠? 하지만 이제, 당신을 전혀 만지지 않고 오직 비디오 카메라만을 이용해 이 일을 해내야 한다고 상상해 보세요. 이것이 바로 **원격 광혈류 측정(remote photplethysmography, rPPG)**의 마법입니다. 이는 "비디오로 맥박을 읽는다"는 것을 멋지게 표현한 말입니다. 심장이 뛸 때, 혈액은 얼굴을 통해 아주 작은 파동을 일으키며 흐르는데, 이때 피부색이 아주 미세하게 변합니다. 요즘 카메라는 매우 민감해서 이러한 미세한 색상 변화를 포착하여 심박수로 바꿀 수 있습니다. 이 기술은 의사가 수 마일 떨어진 곳에서 환자의 심장을 체크하거나, 바늘을 찌르지 않고도 신생아를 모니터링하거나, 운전자의 피로도를 감시할 수 있게 해주기 때문에 매우 중요합니다.

하지만 문제가 하나 있습니다. 카메라가 당신이 가만히 앉아서 렌즈를 정면으로 바라보고 있을 때는 아주 잘 작동합니다. 하지만 당신이 고개를 돌리는 순간, 시스템은 혼란에 빠집니다. 마치 거리가 계속 움직이는 지도를 읽으려고 애쓰는 것과 같습니다. 고개를 돌리면, 화면상의 이마였던 지점이 갑자기 뺨이나 관자놀이가 될 수 있습니다. 컴퓨터는 자신이 보고 있는 '픽셀'이 신체의 다른 부분으로 이동했다는 사실을 알지 못하므로, 엉뚱한 곳에서 심박수를 찾으려 하고 측정값은 엉망이 됩니다. 과학자들은 컴퓨터가 고개를 돌리는 다양한 사례를 점점 더 많이 학습시켜서 결국 그 요령을 "배우게" 하려고 노력해 왔습니다. 하지만 만약 문제가 컴퓨터가 충분히 똑똑하지 못한 것이 아니라, 세상을 잘못된 각도에서 바라보고 있는 것이라면 어떨까요?

이것이 바로 CanonicalPhys라고 불리는 새로운 방법이 해결하고자 하는 퍼즐입니다. 연구진은 머리의 움직임이 단순히 데이터의 문제가 아니라, 좌표의 문제라고 주장합니다. 그들은 고개를 돌릴 때 화면상의 픽셀은 뒤섞이지만, 얼굴 자체는 변하지 않는다는 점을 깨달았습니다. 그래서 컴퓨터에게 픽셀이 어디로 가는지 추측하도록 가르치는 대신, 컴퓨터가 심박수를 읽으려고 시도하기도 전에 얼굴을 완벽하게 정면을 향한 위치로 되돌려 놓는 영리한 "디지털 교정기"를 만들었습니다.

그 방법은 이렇습니다. 옆으로 돌아간 얼굴 사진이 있다고 상상해 보세요. 연구진은 호모그래피(homography)(디지털 왜곡 도구라고 생각하세요)라는 수학적 기법을 사용하여 얼굴의 네 가지 핵심 지점인 눈꼬리와 입꼬리를 잡아, 마치 사람이 카메라를 정면으로 보고 있는 것처럼 고정된 완벽한 위치로 끌어당깁니다. 일단 얼굴이 이 캐노니컬(canonical, 표준) 프레임으로 "곧게 펴지면", 픽셀은 제자리를 유지하게 됩니다. 이마는 이마에 있고, 뺨은 뺨에 있게 됩니다.

얼굴이 곧게 펴지면, 시스템은 움직이는 얼굴에서는 이전에는 불가능했던 세 가지 간단한 물리 기반 규칙을 사용할 수 있습니다:

빛의 규칙: 카메라를 마주 보는 피부는 카메라를 등지는 피부와 빛을 반사하는 방식이 다르다는 것을 알고 있습니다. 따라서 카메라 렌즈를 정면으로 바라보는 부분에 더 많은 가중치를 두고, 돌아선 부분은 무시합니다.
리듬의 규칙: 심박수는 하나의 파동이라는 것을 알고 있습니다. 따라서 이마와 양쪽 뺨이 서로 동기화되어 맥동하는지 확인합니다. 만약 동기화되지 않는다면, 무언가 잘못되었다는 것을 인지합니다.
선생님 규칙: 정면을 향한 이마에 고전적인 수학 기법(POS라고 불림)을 사용하여 "선생님" 신호를 생성하고, 이를 통해 메인 컴퓨터 뇌가 더 정확해지도록 훈련시킵니다.

가장 좋은 점은 무엇일까요? 이 모든 과정은 컴퓨터가 새로운 무거운 규칙을 학습할 필요가 없다는 것입니다. 마치 카메라에 안경 한 쌍을 씌워주는 것과 같습니다. 카메라의 뇌 크기는 그대로 유지되지만, 이제는 선명하게 볼 수 있게 되는 것입니다.

결과는 꽤 인상적입니다. 사람들이 고개를 돌리는 데이터셋(MMPD)으로 테스트했을 때, 기존 방식들은 고개가 돌아갈수록 성능이 크게 떨어졌습니다. 예를 들어, 고개가 45도 이상 돌아갔을 때 오차율은 정면을 볼 때보다 1.60배 급증했습니다. 하지만 CanonicalPhys를 사용하면 이 급증 폭이 단 1.33배로 줄어들었습니다. 더 놀라운 것은, "가벼운" 회전(15도에서 30도 사이)의 경우, 기존 방식은 오차가 1.32배 증가한 반면, CanonicalPhys는 오차가 거의 변하지 않고 겨우 1.07배에 그쳤습니다.

그들은 또한 다양한 카메라와 조명 조건에서도 테스트를 진행했습니다. 한 데이터셋에서 학습시키고 다른 데이터셋에서 테스트했을 때, CanonicalPhys는 16가지의 서로 다른 시나리오 중 13가지에서 기존 방식들을 이겼습니다. 특정 테스트(PURE)에서는 오차를 32% 줄였고, 또 다른 테스트(MMPD)에서는 오차를 20% 줄였습니다.

하지만 저자들은 이것이 모든 상황에 적용되는 마법 지팡이는 아니라는 점을 주의 깊게 언급합니다. 만약 누군가 고개를 너무 많이 돌려(60도 이상) 네 가지 핵심 지점을 찾을 수 없게 되면, 시스템은 포기하며 기존 방식보다 나은 성과를 내지 못합니다. 또한, 얼굴이 격렬하게 움직이거나 조명이 이상할 경우 시스템이 다소 혼란을 겪을 수도 있습니다. 그러나 사람들이 대화를 나누거나 주변을 둘러보는 대부분의 실제 상황에서, 이 "디지털 교정기"는 비디오를 통해 심박수를 읽는 것을 훨씬 더 신뢰할 수 있게 만들어 줍니다. 이는 때때로 문제를 해결하는 최선의 방법이 컴퓨터를 더 똑똑하게 만드는 것이 아니라, 세상을 컴퓨터가 이해하기 더 쉽게 만들어 주는 것임을 증명합니다.

기술 요약: CanonicalPhys

문제 정의
심층 원격 광혈류 측정(rPPG) 모델은 정면을 향한 정지된 얼굴에 대해서는 sub-bpm 수준의 심박수 정확도를 달행하지만, 피험자의 머리 포즈 변화가 발생하면 성능이 크게 저하됩니다. 저자들은 이러한 성능 저하가 단순한 데이터 증강(data-augmentation)의 문제가 아니라, **좌표-구조적 문제(coordinate-structural problem)**라고 주장합니다. 표준 이미지 좌표계에서 고정된 픽셀 $(x, y)$ 는 머리가 회전함에 따라 서로 다른 해부학적 영역(예: 이마에서 관자놀이로 이동)으로 매핑됩니다. 이러한 불안정성은 다음과 같은 세 가지 근본적인 rPPG 사전 지식(priors)의 적용을 방해합니다:

이색 반사 모델(Dichromatic Reflection Model): 피부 반사율의 확산 및 맥동 성분은 피부 법선(normal)과 카메라 축 사이의 코사인 값에 비례하며, 이는 픽셀 단위가 아닌 해부학적 위치별로 정의되는 특성입니다.
맥파 위상 불변성(Pulse-Phase Invariance): 맥파 위상은 피부 영역(예: 이마와 볼) 전반에 걸쳐 일관되어야 하며, 이를 위해서는 포즈에 안정적인 관심 영역(ROI) 정의가 필요합니다.
색도 투영(Chromaticity Projection - POS/CHROM): 고전적인 방법들은 창(window) 기반의 RGB 트레이스를 색도 기저(chromaticity basis)로 투영하여 스펙큘러 및 조명 성분을 억제하는데, 이 과정은 고정된 피부 ROI 상에서만 잘 정의됩니다.

안정적인 해부학-픽셀 매핑이 없다면 이러한 사전 지식들을 효과적으로 활용할 수 없으며, 이로 인해 딥러닝 백본은 모델 용량(capacity)만으로 포즈에 의한 노이즈를 흡수해야 하는 상황에 놓이게 됩니다.

방법론: CanonicalPhys
제안된 CanonicalPhys 프레임워크는 특징 추출 전에 입력 영상을 **정준 얼굴 좌표계(canonical face coordinate system)**로 변환함으로써 이 문제를 해결합니다. 파이프라인은 수정되지 않은 FactorizePhys 백본(공간-시간-채널 어텐션을 위해 비음수 행렬 분해를 사용하는 최첨단 경량 모델)을 중심으로 네 단계로 구성됩니다.

4점 호모그래피를 통한 정준화(Canonicalization via 4-Point Homography):
- 각 프레임에 대해 미분 가능한 4점 호모그래피를 적용하여 네 개의 얼굴 앵커(좌우 눈 끝, 좌우 입술 끝)를 고정된 정준 타겟 위치로 매핑합니다.
- 이 워프(warp)는 2D 랜드마크(MediaPipe 활용)를 사용하여 계산되며, 폐쇄형 선형 시스템(DLT)을 통해 해결됩니다.
- 핵심 제약 조건: 이 모듈은 학습 가능한 파라미터를 도입하지 않습니다. 이는 머리 포즈의 지배적인 강체(rigid), 평면 내(in-plane) 성분을 흡수하여 안정적인 해부학-픽셀 매핑을 복원합니다.
- 랜드마크의 노이즈로 인한 지터(jitter)를 줄이기 위해 비디오 청크(chunk) 전체에 대한 중앙값 호모그래피를 계산하여 시간적 안정화를 적용합니다.
물리 기반 픽셀별 가중치( $w_{phys}$ ):
- 정준 프레임 내에서 이색 반사 모델을 기반으로 픽셀별 가중치를 계산합니다.
- 정준 3D 법선과 프레임별 얼굴 회전 행렬을 사용하여, 피부 법선과 카메라 축 사이의 각도의 코사인 값을 계산합니다.
- 시그모이드 함수를 사용하여 카메라를 향하는 픽셀의 가중치는 높이고, 경사각(grazing angles)을 가진 픽셀의 가중치는 낮춥니다. 이 가중치는 시간적 차분(temporal differencing) 이전에 정준 프레임에 곱해집니다.
교차 ROI 시간적 일관성 손실(Cross-ROI Temporal Consistency Loss):
- 맥파 위상 불변성을 강제하기 위해 백본의 특징 맵(feature maps)에 자기 지도 학습(self-supervised) 손실을 적용합니다.
- 정준 좌표계 상에 세 개의 가우시안 소프트 마스크(이마, 왼쪽 볼, 오른쪽 볼)를 정의합니다.
- 이 손실은 세 ROI에서 추출된 시간적 신호 간의 코사인 거리를 최소화하여, 백본이 공간적으로 일관된 맥파 특징을 학습하도록 합니다.
POS 지식 증류 손실(POS Knowledge Distillation Loss):
- 클래식한 POS 알고리즘을 **정준 이마(canonical forehead)**의 공간 평균 RGB 트레이스에 적용합니다(이 영역은 이제 포즈에 안정적입니다).
- 결과물인 의사 BVP(pseudo-BVP)를 교사 신호(teacher signal)로 사용합니다. 네트워크의 예측값과 이 분리된 의사 BVP 사이의 증류 손실(음의 피어슨 상관계수)을 계산합니다.
- 이 손실은 학습 중에만 적용되며 추가 파라미터를 생성하지 않습니다.

주요 기여

좌표 변환: 프레임을 정준 시스템으로 매핑하여 학습 가능한 파라미터 없이도 포즈의 강체 성분을 격리하는 미분 가능한 4점 호모그래피를 도입했습니다.
정준 공간 사전 지식(Canonical-Space Priors): 이 좌표계 변화를 통해 가능해진 세 가지 새로운 구성 요소를 제안합니다:
- 물리 기반 람베르시안(Lambertian) 가중치 맵.
- 위상 불변성을 강제하는 교차 ROI 시간적 일관성 손실.
- 안정적인 이마 ROI에 적용된 윈도우 기반 POS로부터의 지식 증류.
- 결정적으로, 이 구성 요소들은 백본에 학습 가능한 파라미터를 추가하지 않습니다.
엄격한 평가: 포즈 효과를 다른 분포 변화와 분리하여 분석하기 위해 MMPD 데이터셋에 대한 포즈 계층화 분석을 수행하였으며, 전체 교차 데이터셋 전이 평가를 병행하였습니다.

실험 결과

포즈 계층화 분석 (MMPD):
- 베이스라인인 FactorizePhys는 정면( $|yaw|<15^\circ$ )에서 큰 요(yaw)( $|yaw|\ge45^\circ$ ) 프레임으로 갈 때 MAE(평균 절대 오차)가 1.60배 저하됩니다.
- CanonicalPhys는 이 저하 비율을 1.33배로 줄입니다.
- "완만한 요" 구간( $15^\circ$ – $30^\circ$ )에서의 저하율은 1.32배에서 1.07배로 완화됩니다.
교차 데이터셋 전이:
- UBFC-rPPG로 학습되어 포즈가 풍부한 타겟에서 테스트될 때, CanonicalPhys는 PURE 데이터셋에서 32%, MMPD에서 **20%**의 MAE 감소를 달성했습니다.
- 4×4 교차 데이터셋 전이 매트릭스(UBFC, PURE, OBF, MMPD)의 16개 셀 중 13개에서 승리했습니다.
- MMPD에서 피어슨 상관계수가 거의 두 배 가까이 상승했으며(0.18 $\rightarrow$ 0.33), 시드 분산(seed variance)이 유의미하게 감소했습니다.
절제 연구(Ablation): 정준화 워프(canonicalization warp) 단독으로 대부분의 성능 향상을 설명합니다. 람베르시안 가중치와 일관성 손실은 특히 중간 정도의 요(yaw) 범위에서 이상 현상을 교정하며 추가적인 균일성을 제공합니다.

의의 및 주장
본 논문은 머리 포즈를 데이터 증강 과제가 아닌 좌표계 문제로 취급함으로써, 포즈 변화에 의해 깨지기 쉬운 물리적 및 생리학적 사전 지식을 재도입할 수 있다고 주장합니다.

효율성: 이 방법은 백본의 파라参数 수를 늘리지 않고도 이러한 이득을 얻으므로 계산 효율적입니다(실행 시간 오버헤드 <10%).
일반화: 개선 사항이 다양한 센서와 피험자 군에 걸쳐 전이되는데, 이는 이 방법이 특정 데이터셋의 아티팩트에 과적합된 것이 아니라 근본적인 기하학적 한계를 해결했음을 시사합니다.
한계점: 저자들은 이 방법이 포즈 강건(pose-robust)한 것이지 포즈 불변(pose-invariant)한 것은 아님을 명시합니다. 랜드마크가 실패하는 극단적인 요( $>60^\circ$ )에서는 여전히 성능이 저하되며, 2D 호모그래피는 3D 메쉬 확장 없이는 상당한 평면 외(out-of-plane) 회전을 처리하기에 불충분합니다. 또한, 보조적인 사전 지식들이 매우 다양한 움직임을 가진 훈련 세트(예: PURE 테스트를 위한 MMPD 훈련)에서 과도한 규제(over-regularize)를 일으킬 수 있어, 전체 "레시피"는 컴팩트한 훈련 세트에 가장 적합하며 정준화 단독이 가장 신뢰할 수 있는 구성 요소임을 시사합니다.

기술 요약: CanonicalPhys

유사한 논문