A Two-Stage Lightweight Framework for Real Time Static Hand Gesture Recognition for Smart-Home Control

손을 들어 올리는 것만으로 조명을 켜거나, 온도 조절기를 조절하거나, 진공청소기를 작동시킬 수 있는 거실을 상상해 보십시오. 리모컨도, 음성 명령도, 물리적인 접촉도 필요하지 않습니다. 이러한 매끄럽고 비접촉적인 상호작용의 비전은 스마트 홈 기술의 목표이지만, 이를 실제 가정에서 안정적으로 작동하게 만드는 것은 놀라울 정도로 어렵습니다. 인간의 손은 끊임없이 변화하는 복잡한 형태를 지니고 있으며, 피부색과 유사한 가구, 변화하는 그림자, 카메라를 쉽게 속일 수 있는 복잡한 배경 등 온갖 방해 요소가 가득한 세상에 존재합니다. 컴퓨터가 제스처를 이해하려면, 먼저 노이즈가 많은 배경 속에서 손을 명확하게 찾아낸 다음, 그 손이 정확히 무엇을 하고 있는지 결정해야 합니다. 만약 시스템이 배경의 물체를 손으로 착각한다면, 단지 손을 흔들었을 뿐인데 불이 켜지는 일이 발생할 수 있습니다. 만약 시스템이 너무 느리다면, 상호작용은 지연되고 부자연스럽게 느껴질 것입니다. 과제는 손과 벽의 차이를 식별할 만큼 날카로우면서도, 저렴한 하드웨어에서도 즉각적으로 반응할 수 있을 만큼 빠른 시스템을 구축하는 데 있습니다.

베이징 과학기술대학교(University of Science and Technology Beijing)의 연구진은 이 문제를 해결하기 위해 실시간 홈 제어를 위해 특별히 설계된 2단계 시스템을 개발했습니다. 그들의 접근 방식은 손을 찾는 작업과 제스처를 인식하는 작업을 분리하여, 두 작업이 함께 작동하는 별개의 직무로 취급합니다. 먼저, 시스템은 숙련된 편집자처럼 이미지에서 손만을 매우 정밀하게 잘라냅니다. 그다음, 두 번째의 특화된 컴퓨터 프로그램이 격리된 손을 보고 그것이 어떤 명령을 나타내는지 결정합니다. 이렇게 작업을 분리함으로써, 연구진은 놀라울 정도로 정확하면서도 표준 기기에서 빠르게 실행될 수 있을 만큼 가벼운 시스템을 구축할 수 있었습니다.

시스템의 첫 번째 단계는 세그멘테이션(segmentation)에 집중하는데, 이는 손을 배경으로부터 분리하는 과정입니다. 연구진은 9가지 손가락 숫자, 다양한 열린 손 및 닫힌 손 모양, 그리고 특별한 '제스처 없음' 카테고리를 포함하여 16가지 카테으로 구성된 8,000장의 이미지를 특징으로 하는 맞춤형 데이터셋을 제작했습니다. 이 마지막 카테고리는 매우 중요한데, 손이 존재하지 않거나 프레임에 부분적으로만 들어와 있을 때를 컴퓨터가 인식하도록 학습시켜, 누군가 옆을 지나갈 때 시스템이 실수로 명령을 실행하는 것을 방지하기 때문입니다. 컴퓨터가 손을 찾도록 훈련시키기 위해, 연구진은 널리 알려진 이미지 분석 네트워크인 U-Net의 수정된 버전을 사용했습니다. 그들은 세부 사항을 보는 능력을 잃지 않으면서도 훨씬 더 작고 빠르게 만들기 위해 이 네트워크에서 불필요한 부분을 제거하여 경량화했습니다. 그 결과, 복잡한 배경에서 손을 8밀리초 미만에 격리할 수 있는 모델이 탄생했으며, 이는 실시간 상호작용에 충분히 빠른 속도입니다. 1인칭 시점에서 촬영되어 가려짐(occlusion)이 심한 더 어려운 이미지 세트로 테스트했을 때도, 시스템은 약 90%의 경우에서 손을 정확하게 식별해 내며 실제 가정 환경의 무질서함을 처리할 수 있음을 입증했습니다.

손이 격리되면, 두 번째 단계가 특정 제스처를 식별하는 역할을 맡습니다. 연구진은 EdgeHandCNN이라는 새로운 경량 분류 네트워크를 설계했습니다. 유사해 보이는 제스처를 자주 혼동하던 기존의 더 단순한 모델들과 달리, 이 새로운 아키텍처는 손가락이 펴진 개수, 손가락이 가리키는 방향, 손바닥의 모양과 같이 중요한 미세한 디테일에 집중하도록 설계되었습니다. 이 모델은 '엄지 척'과 'OK' 사인 사이의 핵심적인 차이점인 손가락 끝의 날카로운 가장자리나 손바닥의 윤곽선과 같은 고주파 세부 사항에 주의를 기울입니다. 테스트에서 이 특화된 네트워크는 거의 모든 사례에서 제스처를 정확히 식별하며 약 99.6%의 성공률을 달랐습니다. 또한 이를 2밀리초 미만에 수행하여, 전체 인식 과정을 거의 즉각적으로 만들었습니다.

연구진은 이 두 단계를 결합하여 실제 환경에서 어떻게 작동하는지 테스트하기 위한 완전한 프로토타입 시스템을 구축했습니다. 그들은 라이브 비디오 피드를 받아 사용자가 서 있는 영역을 크롭하고, 손을 찾은 다음, 제스처를 명령으로 변환할 수 있는 소프트웨어 인터페이스를 제작했습니다. 이 시스템에는 안전 점검 기능이 포함되어 있습니다. 카메라에 손이 3% 미만으로 보이면 손이 없는 것으로 간주하고 해당 프레임을 무시하여 오작동을 방지합니다. 테스트 결과, 이미지를 캡처하는 것부터 명령을 내리는 것까지의 전체 과정은 30에서 40밀리초 사이가 걸렸습니다. 이 속도는 인간 사용자에게 즉각적으로 느껴질 만큼 빠르며, 손이 움직이는 순간 집이 반응하는 유동적인 경험을 가능하게 합니다. 전체 시스템은 메모리와 컴퓨팅 파워를 매우 적게 요구하므로, 값비싸고 에너지를 많이 소비하는 서버 없이도 표준 홈 컴퓨터나 미래의 엣지 디바이스에서 실행하는 것이 가능합니다.

이 연구는 손을 찾는 문제와 이해하는 문제를 신중하게 분리함으로써, 견고하면서도 효율적인 제스처 인식 시스템을 만들 수 있음을 보여줍니다. 연구진은 그들의 방법이 배경 노이즈를 효과적으로 필터링하고 실제 가정의 변화에 대응하는 동시에, 상호작용 제어에 충분히 빠르다는 것을 입증했습니다. 그들은 자신들의 맞춤형 네트워크가 유사한 제스처를 구별하는 데 어려움을 겪었던 기존의 더 얕은 모델들보다 성능이 월등히 뛰어남을 발견했습니다. 현재의 연구는 정적 제스처(잠시 자세를 유지하는 것)에 초점을 맞추고 있지만, 연구진은 향후 연구를 통해 이를 움직이는 제스처로 확장하고 다양한 사람과 조명 조건에 적응하는 능력을 개선할 수 있다고 언급했습니다. 현재로서는, 이 연구가 가벼운 2단계 접근 방식이 비접촉식 스마트 홈 제어를 실질적인 현실로 만드는 데 필요한 신뢰할 수 있는 저지연 상호작용을 제공할 수 있음을 증명하고 있습니다.