A Hybrid CNN–MLP Model Using Confidence-Gated Fusion Framework for Real-Time Indian Sign Language Recognition

의사소통은 인간의 근본적인 욕구이지만, 청각 장애를 가진 수백만 명의 사람들에게 세상과의 연결 고리는 종종 끊어진 상태로 남아 있습니다. 수어는 이 공동체에게 완전하고 풍부한 언어이지만, 보편적인 번역 시스템이 없다면 수어 사용자(signer)와 비사용자(non-signer) 사이의 간극은 지속될 수밖에 없습니다. 최근 몇 년 동안 과학자들은 컴퓨터를 이용해 이 가교를 구축하기 위해 노력해 왔으며, 기계가 손동작을 '보고' 이를 음성이나 문자로 번역하도록 가르치고 있습니다. 이 분야는 두 가지 주요한 '보는 방식'에 의존합니다. 한 가지 접근 방식은 손을 사진처럼 취급하여 손의 모양, 색상, 피부와 손가락의 질감을 분석하여 그 의미를 추측하는 것입니다. 다른 방식은 이미지를 완전히 무시하고, 대신 손의 정밀한 기하학적 구조에 집중하여 관절과 손가락 끝의 정확한 위치를 일련의 좌표값으로 매핑하는 것입니다. 각 방법은 저마다의 강점이 있지만, 두 방식 모두 현실 세계가 복잡해질 때 어려움을 겪습니다. 카메라 기반 시스템은 조명이 변하거나 배경이 어수선할 때 실패할 수 있고, 기하학 기반 시스템은 하나의 수어를 다른 수어와 구별하는 미세한 차이를 놓칠 수 있습니다.

새로운 연구에서 인도 갈고티아스 공과대학교(Galgotias College of Engineering & Technology)의 연구진은 이 두 가지 서로 다른 보는 방식을 결합하여 인도 수어를 위한 더 신뢰할 수 있는 번역기를 만드는 해결책을 제안했습니다. 컴퓨터가 손의 외형을 볼 것인지 아니면 구조를 볼 것인지 선택하도록 강요하는 대신, 연구팀은 두 가지를 동시에 사용하는 하이브리드 시스템을 구축했습니다. 그들은 두 개의 별도 디지털 '두뇌'를 만들었습니다. 하나는 손의 이미지를 보고 제스처를 인식하도록 훈련된 것이고, 다른 하나는 미디어파이프(MediaPipe)라는 도구로 탐지된 손의 랜드마크 좌표를 읽어 제스처를 인식하도록 훈련된 것입니다. 이 혁신의 핵심은 단순히 두 개의 모델을 갖는 것에 그치지 않고, 이들이 어떻게 함께 작동하느냐에 있습니다. 연구진은 문지기 역할을 하는 스마트 스위칭 메커니즘을 설계했습니다. 실시간 작동 시, 시스템은 이미지 기반 모델이 내린 추측에 대해 얼마나 확신하는지를 끊임없이 확인합니다. 만약 조명 문제 등으로 인해 이미지 기반 모델이 불확실해하면, 시스템은 환경 변화에 대한 견고함이 우선시되는 기하학 기반 모델로 자동으로 전환합니다. 반대로 기하학적 구조가 불분명할 경우에는 이미지에 의존합니다. 이러한 동적 의사결정은 최종 출력이 글자 사이에서 깜빡거리거나 급격하게 튀지 않도록 시간이 지남에 따라 부드럽게 처리됩니다.

연구팀은 알파벳과 몇 가지 특정 명령을 나타내는 총 87,000장의 정적 손 이미지 컬렉션을 사용하여 시스템을 테스트했습니다. 그들은 이미지 판독 모델을 실시간 사용이 가능할 만큼 빠른 MobileNetV2라는 경량 아키텍처를 사용하여 훈련시켰고, 기하학 판독 모델은 손의 21개 주요 지점을 처리하는 표준 신경망을 사용하여 훈련시켰습니다. 개별 모델들을 시험했을 때 결과는 시사하는 바가 컸습니다. 이미지 기반 모델은 통제된 테스트에서 거의 100%에 가까운 정확도에 도달하며 놀라운 정확도를 보였지만, 라이브 카메라 피드와 같은 가변적인 조건에 직면했을 때는 불확실성을 보였습니다. 기하학 기반 모델은 단독으로는 약 97%의 정확도로 약간 낮은 성적을 기록했지만, 배경이나 조명에 관계없이 매우 안정적인 모습을 유지했습니다.

연구진이 이 두 가지 접근 방식을 융합했을 때, 결과는 순수한 최고 성능보다는 안정성을 우선시하는 시스템이었습니다. 하이브리드 모델은 테스트에서 95%의 정확도를 달ので, 이는 이미지 전용 모델의 이론적 최대치보다는 다소 낮지만 실제 적용 시 훨씬 더 일관된 모습을 보여주었습니다. 실시간 실험에서 하이브리드 시스템은 거의 100%에 달하는 신뢰 수준을 유지하며, 단일 모델 시스템이 겪었던 망설임과 오류를 효과적으로 제거했습니다. 연구는 두 모델이 신뢰도 임계값을 기준으로 답을 선택하게 하고 짧은 시간 동안 결과를 부드럽게 처리함으로써, 시스템이 환경의 가변적인 조건을 처리할 수 있음을 발견했습니다. 이 접근 방식은 기하학 전용 모델에서 관찰되었던 오분류를 성공적으로 줄이는 동시에 안정적인 예측을 유지함으로써, 제스처 인식을 위한 시각적 특징과 랜드마크 기반 특징의 결합이 효과적임을 입증했습니다.

연구진은 이 하이브리드 프레임워크가 보조 의사소통 도구를 위한 실질적인 경로를 제공한다고 결론지었습니다. 어떤 단일 방법도 모든 상황에서 완벽할 수 없음을 인정하고, 매 순간 가장 신뢰할 수 있는 방법에 동적으로 의지할 수 있는 시스템을 만듦으로써, 그들은 실제 환경에서도 견고하게 작동하는 제스처 인식기를 만들어냈습니다. 이 연구는 시각적 외형과 기하학적 구조를 결합하고 이를 신뢰 기반의 의사결정 과정으로 관리함으로써, 단순히 정확할 뿐만 아니라 안정적이고 믿을 수 있는 도구를 얻을 수 있음을 보여주며, 청각 장애인과 비장애인 사이의 원활한 소통이라는 약속을 현실에 한 걸음 더 가깝게 가져다주었습니다.