Human Fall Detection Using Deep Learning Methods: A Multimodal Audio-Video Approach

낙상은 특히 노인들에게 있어 조용한 위협입니다. 단 한 번의 실수만으로도 부상이나 독립성 상실, 혹은 그 이상의 비극적인 결과로 이어질 수 있기 때문입니다. 수십 년 동안 해결책은 흔히 사람들이 갑작스러운 낙락을 감지할 수 있는 펜던트나 손목 밴드 같은 장치를 착용하도록 요청하는 것이었습니다. 하지만 이러한 장치에는 결함이 있습니다. 사용자가 착용하는 것을 기억해야 한다는 점이며, 불편하거나 낙인 효과를 줄 수 있다는 점입니다. 이로 인해 연구자들은 카메라와 마이크를 사용하여 낙상이 발생하는 즉시 이를 포착하기 위해, 신체에 접촉하지 않고도 관찰하고 들을 수 있는 방법을 모색해 왔습니다. 문제는 낙상이 빠르게 앉거나, 신발 끈을 묶기 위해 몸을 굽히거나, 혹은 단순히 휴식을 위해 눕는 것과 같은 일상적인 동작들과 매우 유사해 보이고 들린다는 점입니다. 이를 해결하기 위해 과학자들은 딥러닝, 즉 수천 개의 사례를 학습하여 패턴을 익히는 방식의 컴퓨터 지능에 주목했습니다. 이는 마치 아이가 여러 종류의 개를 보며 강아지를 인식하는 법을 배우는 것과 같습니다. 신체의 시각적 움직임과 그 움직임이 만드는 소리를 모두 이해하도록 이 시스템들을 교육함으로써, 연구자들은 항상 지켜보고, 항상 듣고, 항상 알람을 울릴 준비가 되어 있는 안전망을 구축하고자 합니다.

파키스탄과 이탈리아의 대학 연구진은 바로 이러한 시스템을 구축하되, 특별한 변주를 가미했습니다. 그들은 시각과 청각을 결합하는 것이 각각의 감각을 단독으로 사용하는 것보다 더 나은 성과를 낼 수 있는지 확인하고 싶었습니다. 그들은 사람들이 낙상을 흉내 내는 영상뿐만 아니라 걷기나 앉기와 같은 정상적인 활동을 수행하는 영상 모음으로 시작했습니다. 연구진은 영상과 오디오를 두 개의 별개 정보 스트림으로 취급했습니다. 먼저, 각 영상 클립에서 소리를 분리했습니다. 오디오를 단일 채널로 변환한 다음, 신체가 바닥에 부딪힐 때 발생하는 급격하고 갑작스러운 에너지 스파이크를 찾기 위해 시간 경과에 따른 주파수의 상세한 지도로 세분화했습니다. 그들은 수학적 방법을 사용하여 이 소리 데이터를 관리 가능한 형태로 압축한 다음, 컴퓨터 검색 과정을 적용하여 소음은 버리고 가장 유용한 소리 특징만을 골라냈습니다. 선택된 이러한 특징들은 순차적 패턴을 기억하도록 설계된 일종의 인공 뇌에 입력되었으며, 이를 통해 낙상이 단순한 하나의 소음이 아니라 몇 초 동안 지속되는 특정한 소리의 패턴임을 이해할 수 있게 했습니다.

동시에 연구진은 영상 프레임을 살펴보았습니다. 그들은 사람의 얼굴나 옷을 인식하려 하지 않았습니다. 대신 신체가 어떻게 움직이는지에 온전히 집중했습니다. 그들은 지난 몇 초간 움직임이 발생한 위치를 보여주는 특별한 시각적 요약을 만들었으며, 움직임의 경로를 강조하는 동시에 정적인 장면의 오래된 부분은 흐릿하게 처리했습니다. 이 움직이는 그림으로부터 연구진은 사람의 윤곽을 추적하여 움직임의 명확한 형태를 얻었습니다. 소리와 마찬가지로, 이 시각적 패턴 역시 변화를 추적할 수 있는 순차 학습 컴퓨터 모델에 입력되었습니다. 그 결과, 낙상을 듣는 데 능숙한 전문가와 낙상을 보는 데 능숙한 전문가라는 두 개의 별도 시스템이 만들어졌습니다. 소리 기반 시스템은 낙상을 약 81%의 정확도로 식별한 반면, 영상 기반 시스템은 92%의 정확도를 기록하며 더욱 뛰어난 성능을 보였습니다.

하지만 진정한 시험은 각 시스템이 단독으로 얼마나 잘 작동하느냐가 아니라, 두 시스템이 어떻게 함께 작동하느냐에 있었습니다. 연구진은 오디오와 비디오 시스템의 결정을 결합하는 여섯 가지 다른 방법을 시도했습니다. 두 점수의 평균을 내거나 다수결로 결과를 결정하는 것과 같은 단순한 방법들도 있었습니다. 이러한 단순한 접근 방식들은 성능이 저조했으며, 일부 조합은 정확도가 3의 수준까지 떨어지기도 했습니다. 이는 단순히 두 신호를 섞는 것만으로는 충분하지 않으며, 시스템이 증거의 무게를 다르게 두는 더 똑똑한 방법이 필요함을 보여주었습니다. 연구진은 이후 세 번째의 더 발전된 컴퓨터 모델이 오디오와 비디오 전문가의 출력을 결합하는 방법을 시도했습니다. 두 전문가의 작업을 검토하는 감독관 역할을 하는 이 최종 시스템은 98%라는 놀라운 정확도를 달em성했습니다. 이 시스템은 한쪽 감각이 불확실할 때도 낙상을 포착할 수 있었는데, 이는 비디오의 강점으로 오디오를 뒷받받하거나, 소리의 명확함으로 시각적 확인을 확증하는 방식으로 효과적으로 작동했습니다.

이 연구는 카메라가 강력한 도구이지만, 소리를 추가하는 것이 더 신뢰할 수 있는 안전망을 만든다는 점을 시사합니다. 연구진은 낙상이 시각 전용 시스템이 놓치기 쉬운 독특한 음향적 특징을 생성한다는 것을 발견했는데, 특히 사람이 부분적으로 가려져 있거나 조명이 어두울 때 그러했습니다. 반대로, 소리는 배경 소음에 의해 혼동될 수 있으므로 시각적 확인이 필수적입니다. 이 두 가지 정보 스트림을 정교한 방법으로 혼합함으로써, 연구팀은 멀티모달(multimodal) 접근 방식이 단일 감각에 의존하는 것보다 훨씬 우월하다는 것을 입증했습니다. 다만, 연구진은 자신들의 결과가 통제된 환경에서의 상대적으로 적은 수의 모의 낙상 데이터를 바탕으로 했다는 점을 언급했습니다. 즉, 여러 사람이 존재하고 소음 수준이 다양하며 카메라 각도가 다양한 실제 환경은 새로운 도전 과제가 될 것입니다. 이 연구는 낙상 감지 문제를 완전히 해결했다고 주장하는 것이 아니라, 가정과 요양 시설을 더 높은 신뢰도로 모니터링하여 낙상이 발생했을 때 즉시 도움을 요청할 수 있도록 하는 미래 시스템을 위한 강력한 토대를 제공합니다.