SIR-PhysNet: a deadline-aware ultra-lightweight pipeline for camera-based heart-rate monitoring on embedded hardware
이 논문은 기하학적 및 조명 처리를 고정 비용 연산으로 오프로딩하고 심박수 추출을 위해 해석적 푸리에 마스크를 사용하여, 네트워크 추론보다 얼굴 검출이 주요 성능 병목 현상이 되는 라즈베리 파이 5와 같은 자원 제한적인 엣지 장치에서 실시간의 높은 정확도 모니터링을 가능하게 하는 초경량, 데드라인 인지형 rPPG 파이프라인인 SIR-PhysNet을 소개한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
단 하나의 전선도, 센서도, 접촉도 없이 당신의 심박수를 읽을 수 있는 세상을 상상해 보십시오. 이것이 바로 일반적인 영상을 신체의 가장 중요한 리듬을 보여주는 창으로 바꾸는 분야인, 카메라 기반 건강 모니터링이 약속하는 미래입니다. 이 과학적 원리는 단순하고도 보이지 않는 진실에 기반합니다. 심장이 뛸 때마다 혈액이 얼굴을 통해 미세하게 요동치며 피부색을 아주 미미한 비율로 변화시킨다는 사실입니다. 이러한 변화는 인간의 눈으로는 볼 수 없을 만큼 작지만, 카메라는 이를 포착할 수 있습니다. 빛과 색의 이러한 미묘한 변화를 분석함으로써 심장이 얼마나 빨리 뛰는지 계산하는 것이 가능해집니다. 이 기술은 이미 운전자의 피로도를 모니터링하기 위한 자동차, 환자를 추적하기 위한 병원, 그리고 노인을 돌보기 위한 스마트 홈 등에서 사용될 것을 검토 중입니다. 그러나 이것이 실제 세상에서 작동하려면, 수학적 계산을 수행하는 컴퓨터가 영상 속도에 맞춰 충분히 빨라야 하며, 거대한 데이터 센터가 아닌 선반 위나 주머니 속에 들어갈 수 있는 장치에서도 실행될 수 있을 만큼 작고 효율적이어야 합니다.
노스이스트 대학교(Northeastern University)의 연구진은 바로 이 속도와 크기의 문제를 해결하기 위해 설계된 새로운 시스템을 구축했습니다. 그들은 자신들의 창조물을 RAW 영상에서 심박수 숫자로 변환하는 완전한 워크플로우 역할을 하는 파이프라인인 SIR-PhysNet이라고 부릅니다. 그들이 직면한 핵심 과제는 단순히 수학적 정확도를 높이는 것뿐만 아니라, 전체 프로세스가 다음 영상 프레임이 도착하기 전에 작업을 마칠 수 있도록 보장하는 것이었습니다. 이 설정에서 시스템은 비디오 스트림을 처리하고, 얼굴을 찾고, 이미지를 정제하며, 매 2.5초마다 새로운 심박수 추정치를 계산해야 합니다. 만약 컴퓨터가 너무 오래 걸리면 시스템은 뒤처지게 되고, 데이터는 쓸모없어지며, 모니터링은 실패하게 됩니다. 연구진은 가장 큰 병목 현상이 시스템의 복잡한 '두뇌'가 아니라, 얼굴을 찾는 '눈'에서 발생한다는 것을 발견했습니다.
취미가나 엔지니어들이 자주 사용하는 작고 저렴한 컴퓨터인 라즈베리 파이 5(Raspberry Pi 5)에서 실행될 수 있는 시스템을 만들기 위해, 팀은 작업이 어떻게 분담되어야 하는지를 재고해야 했습니다. 기존의 대부분의 시도는 단 하나의 거대한 컴퓨터 프로그램이 얼굴을 찾고, 그림자를 무시하고, 머리의 움직임을 처리하고, 심박수를 계산하는 모든 일을 한꺼번에 수행하도록 가르치려 했습니다. 이러한 접근 방식은 많은 메모리와 처리 능력을 요구하여 소형 기기에는 너무 느렸습니다. 새로운 접근 방식인 SIR-PhysNet은 이 작업을 두 개의 뚜렷한 부분으로 나눕니다. 먼저, 시스템은 단순하고 고정된 규칙을 사용하여 이미지를 준비합니다. 컴퓨터가 패턴을 찾기 위해 영상을 보기 전, 표준 이미지 도구를 사용하여 얼굴을 고정하고, 머리 각도를 교정하며, 변화하는 빛의 영향을 제거합니다. 이 단계는 마치 예술 작품을 분석하기 전에 그림에 액자를 씌우고 유리를 닦는 것과 같습니다. 이는 다음에 이어질 컴퓨터의 작업을 훨씬 쉽게 만들어 줍니다. 이러한 번거로운 작업을 단순한 도구들로 미리 처리함으로써, 연구진은 복잡한 부분의 시스템 규모를 줄여 다른 모델들에 비해 극히 적은 양의 메모리와 전력만을 필요로 하게 만들 수 있었습니다.
시스템의 두 번째 부분은 실제 심박수 계산기입니다. 이미 첫 번째 단계에서 이미지가 정제되고 안정되었기 때문에, 이 부분은 거대하고 무거운 네트워크일 필요가 없습니다. 이 모델은 기억해야 할 정보의 양을 나타내는 파라미터가 단 0.26 밀리언(26만 개)에 불과한 소형 모델입니다. 단순히 박동 수를 세기 위해 복잡하고 불필요한 작업인 혈액 맥파의 전체 형태를 재구성하려고 하는 대신, 이 모델은 심박수의 지배적인 주파수를 직접 예측합니다. 그런 다음 수학적 필터를 사용하여 신호에서 속도를 추출합니다. 이러한 설계 덕분에 시스템은 매우 효율적이며, 초당 계산 횟수를 나타내는 0.12 기가플롭스의 연산 능력만을 사용합니다.
연구진은 머리의 움직임과 땀으로 인해 작업이 매우 까다로운 트레드밀 위에서 운동하는 사람들의 영상 데이터셋을 포함하여 여러 가지 비디오 데이터셋으로 시스템을 테스트했습니다. 통제된 표준 데이터셋에서 시스템은 훨씬 더 크고 복잡한 모델들과 대등하거나 이를 능가하는 정확도를 달acia 성취했습니다. 어려운 트레드밀 데이터셋에서도 평균 오차 3.39 bpm(분당 박동 수)을 기록했는데, 이는 10배 더 큰 시스템들과 비교할 만한 결과입니다. 이는 이미지를 먼저 정제함으로써, 시스템이 현실 세계의 혼란을 처리하는 능력을 희생하지 않으면서도 작고 빠르게 유지될 수 있음을 증명했습니다.
이 시스템이 설계된 대로 작은 하드웨어에서 실제로 작동할 수 있는지 확인하기 위해, 팀은 냉각 팬이 달린 라즈베리 파이 5에 시스템을 설치했습니다. 그들은 8시간 동안 연속으로 시스템을 실행하여 80만 개 이상의 영상 프레임을 처리했습니다. 결과는 명확했습니다. 시스템은 34.60 프레임/초의 일정한 속도를 유지하며, 영상 속도를 따라잡기 위해 필요한 30 프레임/초를 여유롭게 앞질렀습니다. 컴퓨터의 온도는 최고 68.85도까지 올라갔지만, 열 때문에 속도가 느려지거나 꺼지는 일은 없었습니다. 가장 놀라운 발견은 시간이 어디에 쓰였는지를 살펴보는 과정에서 나왔습니다. 사람들이 가장 어렵다고 생각할 법한 복잡한 심박수 계산은 각 업데이트에 허용된 시간의 약 13%만을 차지했습니다. 나머지 70%의 시간은 단순히 얼굴을 찾고 이미지를 조정하는 데 사용되었습니다.
이 발견은 이러한 시스템의 한계에 대한 이해를 바꾸어 놓았습니다. 연구진은 심박수 모니터의 속도가 컴퓨터 모델의 지능에 의해 제한되는 것이 아니라, 영상에서 얼굴을 찾고 추적하는 노력에 의해 제한된다는 것을 발견했습니다. 그들은 시스템이 몇 프레임마다 한 번씩 얼굴을 찾고, 그 사이에는 더 단순한 방법으로 움직임을 추측하는 전략을 테스트했습니다. 이 '탐지 및 추적(detect-and-track)' 방식은 시스템의 속도를 거의 47 프레임/초까지 높여주었으며, 이는 얼굴을 찾는 단계가 최적화된다면 이 모니터들을 훨씬 더 빠르게 만들 수 있는 여지가 충분하다는 것을 입증했습니다.
이 연구는 소형 기기에서의 카메라 기반 심박수 모니터링을 위한 성공의 열쇠는 더 크고 똑똑한 두뇌를 만드는 것이 아니라, 더 나은 눈과 더 깨끗한 워크플로우를 구축하는 데 있다고 결론짓습니다. 복잡한 모델에 데이터가 도달하기 전에 단순하고 예측 가능한 도구들로 현실 세계의 번거로운 부분들을 처리함으로써, 시스템은 카드 한 덱 크기의 장치에서도 실행될 수 있을 만큼 작게 유지될 수 있습니다. 연구진은 자신들의 시스템이 테스트한 특정 영상들에서는 잘 작동하지만, 모든 유형의 카메라, 조명 조건 또는 피부색에 대해 검증된 것은 아니라고 주의를 기울였습니다. 또한 그들의 시스템은 심장 질환을 진단하거나 부정맥을 감지하기 위한 것이 아니라, 일반적인 심박수 수치를 제공하기 위해 설계되었다는 점도 명시했습니다. 그러나 이 연구는 향ate: 건강 모니터링을 진정으로 휴대 가능하고 접근 가능하게 만들기 위해서는, 모델을 더 복합적으로 만드는 것에서 벗어나 카메라 렌즈에서 최종 수치에 이르는 전체 파이프라인을 더 효율적이고 균형 있게 만드는 데 집중해야 한다는 명확한 경로를 제시합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.