EMPD: An Event-based Multimodal Physiological Dataset for Remote Pulse Wave Detection

이 논문은 기존 프레임 기반 카메라의 한계를 극복하고 비접촉 생리 감지를 위해 레이저 보조 시스템과 이벤트 카메라를 활용한 최초의 멀티모달 생리 데이터셋인 EMPD 를 소개합니다.

핵심

1. 문제점: "흐릿한 사진"과 "빠른 춤"의 오해

기존에 심박수를 재는 카메라 (rPPG) 는 우리가 아는 일반적인 비디오 카메라를 썼습니다.

• 비유: 일반 카메라는 1 초에 30~60 장의 정지 사진을 찍어서 영상을 만드는 방식입니다.
• 문제: 만약 사람이 빠르게 춤을 추거나, 심장이 아주 빠르게 뛰는 순간을 찍으려 한다면? 사진이 흐려지거나 (모션 블러), 중요한 순간을 놓쳐버리는 (샘플링 부족) 문제가 생깁니다. 마치 빠르게 돌아가는 선풍기를 일반 카메라로 찍으면 날개가 뭉개져 보이는 것과 같습니다.

2. 해결책: "사건 기반 카메라"의 등장

연구팀은 이 문제를 해결하기 위해 **'사건 기반 카메라 (Event Camera)'**라는 새로운 장비를 도입했습니다.

• 비유: 일반 카메라가 "모든 장면을 찍는 사진관"이라면, 이 카메라는 **"빛이 바뀔 때만 '짜잔!' 하고 소리를 내는 경보 시스템"입니다.
• 특징:
  • 초고속 반응: 빛이 변하는 순간을 마이크로초 (100 만 분의 1 초) 단위로 감지합니다.
  • 흐림 없음: 사람이 움직여도, 심장이 빠르게 뛰어도 '소음'이 아니라 '정확한 신호'만 받아냅니다.
  • 데이터의 차이: 일반 카메라는 '영상'을 주고, 이 카메라는 "어디서, 언제, 빛이 변했다"는 **데이터의 흐름 (이벤트 스트림)**을 줍니다.

3. EMPD 데이터셋: "레이저로 맥박을 돋보이게 한 실험실"

하지만 사람의 피부는 얇고 맥박 진동은 너무 미세해서, 이 카메라로도 잘 안 보일 수 있습니다. 그래서 연구팀은 레이저를 활용했습니다.

• 비유: 손목의 맥박 진동을 레이저 포인터로 비추면, 그 반사광이 미세하게 흔들립니다. 이 흔들림을 일반 눈으로는 못 보지만, 이 특수 카메라는 **"아! 빛이 흔들렸다!"**라고 아주 선명하게 포착합니다.
• 구성:
  1. 손목: 레이저를 비추고 이벤트 카메라로 미세한 진동을 포착.
  2. 얼굴: 일반 카메라로 얼굴 영상을 찍어 기존 기술과 비교.
  3. 손가락: 의료용 맥박 측정기로 '정답 (Ground Truth)'을 기록.

이 모든 것을 동시에, 완벽하게 맞추어 기록한 것이 바로 EMPD 데이터셋입니다. 83 명의 건강한 사람 (운동 전/후 포함) 의 데이터를 모아, 심박수 40~110 회까지 다양한 상황을 담았습니다.

4. 실험 결과: "기존 카메라 vs 이벤트 카메라"

연구팀은 이 데이터를 가지고 기존 방식과 새로운 방식을 비교했습니다.

• 결과: 새로운 이벤트 기반 방식이 압도적으로 정확했습니다.
• 비유: 기존 방식이 "흐릿한 사진으로 춤을 추는 사람의 발걸음을 재는" 것이라면, 새로운 방식은 "춤추는 사람의 발이 땅에 닿는 순간의 진동을 정밀하게 측정하는" 것과 같습니다.
• 성능: 기존 최고 기술보다 오차 (실제 심박수와 측정값의 차이) 가 훨씬 적었고, 신호의 질도 훨씬 뛰어났습니다.

5. 결론 및 미래: "로봇이 사람의 상태를 읽는 눈"

이 연구는 단순히 심박수를 재는 것을 넘어, 인간과 로봇이 소통하는 새로운 시대를 열었습니다.

• 미래 전망:
  • 실시간 반응: 로봇이 사람의 심박수 변화를 실시간으로 감지하면, "아, 이 사람이 지금 스트레스를 받구나"라고 알아차리고 도와줄 수 있습니다.
  • 저전력: 이벤트 카메라는 데이터가 적게 들어와서 배터리도 훨씬 오래 갑니다.

한 줄 요약:

"이 논문은 **일반 카메라의 '흐릿함'을 극복하고, 레이저와 초고속 이벤트 카메라를 이용해 사람의 심박수를 '마이크로초' 단위로 정밀하게 읽는 새로운 데이터셋 (EMPD)**을 세상에 처음 공개했습니다. 이는 앞으로 더 똑똑하고 민감한 헬스케어 로봇과 시스템을 만드는 핵심 열쇠가 될 것입니다."

기술 요약

논문 요약: EMPD (사건 기반 다중 모달 생리학적 데이터셋)

1. 문제 제기 (Problem)

기존의 원격 광용적맥파 (rPPG) 기술은 전통적인 프레임 기반 카메라를 사용하여 심박수를 측정하지만, 다음과 같은 근본적인 한계를 가지고 있습니다.

• 모션 아티팩트 및 블러: 고정된 프레임 레이트 (보통 30~60 fps) 로 인해 노출 시간 동안 발생하는 모션 블러 (motion blur) 가 심하며, 고주파수의 생리학적 미세 운동 (심장 박동에 의한 피부 진동) 을 포착할 때 샘플링 부족 (undersampling) 이 발생합니다.
• 데이터셋의 부재: 뉴로모픽 (neuromorphic) 비전 기술을 활용한 생리학적 신호 처리 알고리즘의 개발과 평가를 위한 전용 고품질 벤치마크 데이터셋이 존재하지 않았습니다.

2. 방법론 (Methodology)

이 연구는 위 한계를 극복하기 위해 이벤트 카메라 (Event Camera) 와 레이저 보조 시스템을 결합한 새로운 데이터 수집 플랫폼을 구축했습니다.

• 하드웨어 아키텍처:
  • 이벤트 카메라 (Prophesee EVK4): 1280x720 해상도, 1 마이크로초 (µs) 시간 정밀도로 손목 요골동맥의 미세한 진동과 빛의 강도 변화를 비동기적으로 포착합니다.
  • 산업용 RGB 카메라 (FLIR): 전통적인 rPPG 벤치마크를 위해 30fps 로 얼굴 영상을 촬영합니다.
  • 접촉식 맥박 산소계 (CONTEC CMS50E): 손가락에 착용하여 실제 심박수 (Ground Truth) 를 60Hz 로 기록합니다.
  • 레이저 보조 시스템: 660nm 고결맞음 (high-coherence) 레이저를 요골동맥 부위에 조사하여, 피부의 미세한 진동을 이벤트 카메라가 감지하기 쉬운 고대비 강도 변화로 변조 (modulate) 합니다.
• 데이터 수집 프로토콜:
  • 83 명의 건강한 성인 (남자 57 명, 여자 26 명) 을 대상으로 수집되었습니다.
  • 상태: 휴식 상태와 운동 후 (스쿼트 10 회 수행) 상태로 구분하여 다양한 심박수 범위 (40~110 BPM) 를 확보했습니다.
  • 동기화: 이질적인 센서들 간의 시간 드리프트를 제거하기 위해 맞춤형 동기화 프레임워크를 사용하여 마이크로초 단위의 정밀한 시간 정렬을 달성했습니다.
• 데이터 전처리 및 모델:
  • 이벤트 집계 모듈 (EAM): 비동기적인 이벤트 스트림을 심박수계 샘플링 속도에 맞춰 시간적 바인 (temporal binning) 과 공간적 관심 영역 (ROI) 추출을 통해 이산 시계열 신호로 변환합니다.
  • 파형 재구성 모듈 (WRM): 생성적 적대 신경망 (GAN) 기반의 1D U-Net 을 사용하여 집계된 이벤트 시퀀스를 고충실도 맥파 파형으로 재구성합니다. 판별기는 주파수 영역 (PSD) 에서 생리학적 리듬을 유지하도록 학습됩니다.

3. 주요 기여 (Key Contributions)

1. 최초의 이벤트 기반 생리학적 데이터셋 (EMPD): 원격 생리학적 측정 작업을 위해 이벤트 카메라를 도입한 최초의 벤치마크 데이터셋을 공개했습니다.
2. 정밀한 다중 모달 데이터: 마이크로초 단위의 시간 정밀도를 가진 동기화된 이벤트 스트림, 산업용 RGB 비디오, 임상 등급의 접촉식 PPG 신호를 제공합니다.
3. 광범위한 심박수 스펙트럼: 83 명의 피험자로부터 193 개의 유효 기록 (총 7,527 개의 데이터 세그먼트) 을 확보하여, 휴식 및 운동 후 상태를 포함한 40~110 BPM 의 넓은 심박수 범위를 커버합니다.
4. 레이저 보조 획득 시스템: 레이저를 이용해 미세한 혈관 진동을 고대비 신호로 변환하는 새로운 데이터 획득 패러다임을 제시했습니다.

4. 실험 결과 (Results)

• 물리적 타당성 검증: 수집된 원시 이벤트 스트림이 무작위 노이즈가 아니라, 기준 PPG 파형의 수축기 피크 (systolic peaks) 와 정밀하게 동기화된 리듬 있는 버스트 (bursts) 로 구성되어 있음을 시각적으로 확인했습니다.
• 정량적 성능 비교: 제안된 이벤트 기반 베이스라인을 기존 프레임 기반 방법 (POS, CHROM 등) 및 최신 딥러닝 모델 (PhysNet, RhythmFormer 등) 과 비교했습니다.
  • 평균 절대 오차 (MAE): 기존 최상위 모델 (RhythmFormer, 3.39 BPM) 대비 1.18 BPM으로 대폭 감소했습니다.
  • 평균 제곱근 오차 (RMSE): 3.76 BPM 을 기록하여 기존 방법들보다 우수한 정확도를 보였습니다.
  • 상관계수 (PCC): 0.94로 가장 높은 상관관계를 달성했습니다.
  • 신호 대 잡음비 (SNR): 2.89 dB 로 우수한 신호 품질을 입증했습니다.

5. 의의 및 결론 (Significance)

• 기술적 혁신: 이벤트 카메라의 마이크로초 단위 시간 해상도와 고동적 범위를 활용함으로써, 기존 카메라의 모션 블러 및 샘플링 부족 문제를 근본적으로 해결하여 rPPG 성능을 획기적으로 향상시켰습니다.
• 연구 기반 마련: 뉴로모픽 생체 신호 처리 알고리즘 개발을 위한 필수적인 벤치마크를 제공하여, 향후 저지연 (low-latency) 및 고신뢰성 원격 건강 모니터링 시스템 개발을 가속화할 것으로 기대됩니다.
• 미래 전망: 현재는 통제된 실내 환경에서 수집되었으나, 향후 모바일 환경, 다양한 조명 조건에서의 데이터 확장 및 스파이킹 신경망 (SNN) 등 경량화 아키텍처 연구, 그리고 로봇과의 멀티모달 상호작용 등으로 연구 범위를 확장할 계획입니다.

이 논문은 EMPD 데이터셋을 공개 (Zenodo 링크 제공) 함으로써, 커뮤니티가 뉴로모픽 생체 신호 처리 분야에서 혁신적인 알고리즘을 개발하고 평가할 수 있는 중요한 토대를 마련했습니다.