Novel Human-Machine Interface via a Robust Hand Gesture Recognition System Using a Channel-Pruned You Only Look Once Version 5 Model

기술 요약: 강건한 손 제스처 인식 시스템을 통한 새로운 인간-기계 인터페이스(HMI)

문제 정의
손 제스처 인식(HGR)은 가상 현실, 게임, 스마트 홈 자동화와 같은 멀티미디어 애플리케이션에서 인간-컴퓨터 상호작용(HCI)을 향상시키기 위한 핵심적인 양식이다. 그러나 기존 시스템은 복잡한 배경, 변화하는 조명 조건, 폐쇄(occlusion)를 포함한 실제 환경 시나리오에서 상당한 문제에 직면해 있다. 또한, 애플리케이션의 즉각적인 실시간 제어를 가능하게 하기 위해 빠른 추론 속도(밀리초 단위)와 높은 프레임 레이트(초당 프레임 수)를 갖춘 경량 딥러닝 모델에 대한 필요성이 존재한다. 현재의 솔루션들은 모델의 정확도와 계산 효율성 사이의 균형을 맞추는 데 어려움을 겪는 경우가 많으며, 이는 동적인 환경에서 지연 시간 발생이나 견고성 저하로 이어진다.

방법론
저자들은 채널 프루닝(channel-pruned)된 YOLOv5s(You Only Look Once version 5 small) 모델을 중심으로 하는 강건한 HGR 시스템을 제안한다. 방법론은 5단계 프레임워크를 따른다:

1. 베이스라인 선정: YOLOv5s 모델은 최신 버전(예: YOLOv7–v11)에 비해 컴팩트한 크기와 빠른 추론 속도를 갖추고 있어 베이스라인으로 선정되었다. 모델은 COCO 데이터셋의 사전 학습된 가중치로 초기화되었으며, SGD 옵티마이저를 사용하여 제스처 데이터(480×480 픽셀로 스케일링됨)에 대해 미세 조정(fine-tuning)되었다.
2. 채널 프루닝(Channel Pruning): 모델의 복잡성과 크기를 줄이기 위해 채널 프루닝 알고리즘이 적용되었다. 이는 다음 과정을 포함한다:
   • 희소 훈련(Sparse Training): 배치 정규화(Batch Normalization, BN) 레이어에 스케일링 계수($\gamma$)를 도입하고 손실 함수에 L1 노름(L1 norm) 정규화 항을 적용하였다. 이는 스케일링 계수가 0에 가깝게 유도하여 중요도가 낮은 채널을 식별하도록 한다.
   • 프루닝 실행: 특정 프루닝 비율에 의해 계산된 임계값 미만의 스케일링 계수를 가진 채널들을 제거하였다. 본 연구에서는 10%, 15%, 20%의 프루닝 비율을 테스트하였다.
   • 미세 조정(Fine-Tuning): 프루닝이 크기-정확도 간의 트레이드오프(trade-off)로 인해 약간의 정확도 저하를 유발한다는 점을 인지하여, 탐지 성능을 회복하기 위해 특정 하이퍼파라미터(배치 크기 32, 60 에포크)를 사용하여 프루닝된 모델을 재학습시켰다.
3. HMI 구현: 최적화된 경량 모델은 멀티미디어 애플리케이션(VLC 미디어 플레이어 및 Spotify)을 제어하는 데 배포되었다. 제스처 클래스는 playerctl 명령줄 인터페이스를 사용하여 키보드 이벤트(예: 'Ok'는 재생, 'Two'는 다음 곡)로 매핑되었다.
4. 강건성 향상: 높은 프레임 레이트로 인해 연속적인 기능(예: 볼륨 조절 또는 트랙 건너뛰기)이 짧은 시간 내에 여러 번 트리거되는 문제를 해결하기 위해 time.sleep() 함수가 통합되었다. 이는 제스처 매핑과 애플리케이션 동작을 동기화하기 위해 의도적인 지연을 도입함으로써, 원치 않는 급격한 명령 실행을 방지하였다.

주요 기여
본 논문은 다섯 가지 주요 기여를 명시한다:

1. 미세 조정: 실시간 손 제스처 탐지 및 분류를 위해 특정 하이퍼파라미터 설정을 사용하여 YOLOv5s 모델을 최적화하였다.
2. 모델 압축: YOLOv5s 모델에 채널 프루닝 알고리즘을 적용하여 더 컴팩트한 아키텍처와 가속화된 추론 속도를 구현하였다.
3. 정확도 회복: 모델 프루닝과 결합되어 나타나는 일반적인 정확도 손실을 완화하기 위한 재학습 전략을 적용하여, 감소된 파라미터 수에도 불구하고 높은 탐지율을 보장하였다.
4. 실시간 HMI 개발: 저지연, 고속 동작을 위해 프룬된 모델을 활용하는 VLC 및 Spotify 플레이어용 제스처 제어 인터페이스를 구축하였다.
5. 강건성 개선: 연속적인 기능 트리거를 관리하는 동기화 메커니즘을 통해 실시간 시나리오에서의 HMI 신뢰성을 향상시켰다.

실험 결과
시스템은 두 가지 데이터셋인 개인 제작 NITR-HGR 데이터셋(13개 제스처 클래스)과 공개 데이터셋인 ASL 데이터셋(29개 클래스)을 통해 평가되었다.

• 베이스라인 대비 성능: NITR-HGR 데이터셋에서 10% 프룬된 YOLOv5s 모델은 99.65%의 F-score와 **92.50%의 mAP (50-95)**를 달성하여, 베이스라인 YOLOv5s의 성능과 일치하면서도 모델 크기를 14.5 MB에서 12 MB로, 추론 시간을 7.1 ms에서 6.2 ms로 줄였다. 본 연구는 10%, 15%, 20%의 프루닝 비율이 베이스라인 대비 각각 13%, 18%, 25%의 GFLOPS 감소를 가져왔음을 주목했다.
• 최신 기술(State-of-the-Art)과의 비교: 제안된 모델은 정밀도(precision), 재현율(recall), mAP 측면에서 15개의 다른 객체 탐지 모델(Faster R-CNN, SSD, 다양한 YOLOv3 및 YOLOv5–v11 변형 포함)을 능가하였다. 특히, 더 큰 규모의 YOLOv7 모델(F-score 99.00%, mAP 92.45%)보다 높은 F-score(99.65%)와 mAP(92.50%)를 달성하면서도, 크기는 훨씬 작았다(12 MB vs. 74.9 MB).
• 속도: 시스템은 실시간 애플리케이션 제어 요구 사항을 충족하는 60 fps 이상의 평균 탐지 속도를 달축성하였다.
• HMI 성능: VLC 및 Spotify를 제어하는 실시간 테스트에서, 시스템은 높은 탐지율(재생/일시정지와 같은 이산적 동작에 대해 최대 100%)과 5.0 ms에서 12.9 ms 사이의 평균 응답 시간을 보여주었다. 슬립(sleep) 함수의 도입은 연속적인 명령이 여러 번 트리거되는 문제를 성공적으로 완화하였다.

의의 및 주장
저자들은 자신들의 연구가 실시간 제스처 제어 인터페이스를 위한 경량화되고 강건하며 효율적인 솔루션을 제공한다고 주장한다. 채널 프루닝과 미세 조정을 통해 모델 크기와 정확도 사이의 트레이드오프를 성공적으로 조절함으로써, 본 시스템은 자원이 제한된 환경에서도 고성능 제스처 인식을 배포할 수 있게 한다. 본 논문은 제안된 방법이 빠른 반응 속도를 유지하면서도 복잡한 배경 및 조명 변화에 대한 제스처 제어 애플리케이션의 강건성을 개선한다고 단언한다. 저자들은 이 접근 방식이 실시간 멀티미디어 제어를 위한 무거운 딥러닝 모델의 실행 가능한 대안을 제공한다고 결론지으며, 향후 연구를 통해 동적 제스처 인식 및 다중 모달 융합(예: 시선 및 얼굴 표정)으로 확장할 계획임을 밝혔다.