수어는 손의 정교한 움직임, 손가락의 모양, 그리고 신체의 방향에 의존하는 풍부하고 시각적인 대화입니다. 컴퓨터가 이 언어를 이해하기 위해서는 사람이 수어하는 것을 지켜보고 그 제스처를 단어로 번역하는 두 번째 눈의 역할을 수행해야 합니다. 수년 동안 연구자들은 표준 비디오 카메라를 사용하여 기계에게 이 기술을 가르치기 위해 노력해 왔습니다. 이러한 카메라는 시각적 장면을 포착하지만, 시야가 불완전할 때 어려움을 겪습니다. 손이 너무 빠르게 움직이면 흐릿해지고, 다른 물체 앞을 지나가면 사라지며, 조명이 변하거나 배경이 복잡하면 컴퓨터는 중요한 세부 사항을 놓치게 됩니다. 이는 기계가 비슷해 보이지만 의미가 다른 두 가지 수어를 구별하는 것을 어렵게 만듭니다.

이를 해결하기 위해 과학자들은 신체에 착용하여 움직임을 직접 측정하는 작은 장치인 웨어러블 센서에도 주목했습니다. 이 센서들은 손가락의 굽힘이나 손목의 회전을 느낄 수 있어, 카메라가 명확하게 볼 수 없는 상황에서도 움직임에 대한 명확한 기록을 제공합니다. 그러나 센서만으로는 손이 신체와 관련하여 어디를 가리키고 있는지와 같은 시각적 맥락을 놓칩니다. 과제는 카메라의 시각적 눈과 센서의 물리적 감각이라는 이 두 가지 방식을 결-합하여, 어느 하나보다 더 신뢰할 수 있는 단일 시스템을 만드는 것이었습니다. 톈진 공과대학교와 허베이 공과대학교의 연구팀은 이제 이러한 시스템을 구축하여, 비디오와 웨어러블 데이터를 융합함으로써 비디오 품질이 좋지 않을 때도 고립된 수어 단어를 놀라운 정확도로 인식하는 방법을 만들어냈습니다.

연구진은 비디오 조건이 어려울 때 컴퓨터가 수어를 얼마나 잘 인식할 수 있는지 테스트하기 위해 특별히 설계된 새로운 데이터셋을 구축하는 것으로 시작했습니다. 연구진은 5명의 자원봉사자를 모집하여 단어 또는 짧은 구절과 같은 100가지의 서로 다른 고립된 수어를 수행하도록 요청했습니다. 각 자원봉사자는 모든 수어를 10번씩 반복하여 총 5,000개의 샘플을 생성했습니다. 녹화 중에 자원봉사자들은 상완, 전완, 손에 작은 센서가 포함된 특수한 설정을 착용했습니다. 이 센서들은 사지의 관성 운동과 손가락의 굽힘을 측정했습니다. 동시에 표준 USB 카메라가 비디오를 기록했습니다. 연구팀은 비디오와 센서 데이터가 완벽하게 동기화되도록, 즉 모든 비디오 프레임이 센서 데이터의 해당 순간과 정확히 일치하도록 했습니다. 녹화 환경은 실제 세계의 어려움을 시뮬레이션하기 위해 조명 변화, 모션 블러(움직임에 의한 흐릿함), 손의 일부가 가려지는 현상 등 흔한 시각적 문제들을 포함하도록 설정되었습니다.

컴퓨터가 이 데이터를 이해하도록 가르치기 위해, 연구진은 함께 작동하는 두 개의 별개 "두뇌"를 가진 시스템을 개발했습니다. 첫 번째 두뇌는 전적으로 비디오에 집중했습니다. 이 모델은 정교한 시각 모델을 사용하여 각 수어에 대한 32개의 비디오 프레임을 살펴보고, 공간 속에서 손이 어떻게 움직이고 신체 자세가 어떻게 변하는지를 분석했습니다. 이 모델은 움직임과 형태의 패턴을 찾아내어 수어의 시각적 이야기를 추출하도록 설계되었습니다. 두 번째 두뇌는 전적으로 웨어러블 센서에 집중했습니다. 이 모델은 손가락이 어떻게 굽혀지고 팔이 어떻게 움직이는지를 기록한 플렉스 센서와 모션 트래커의 원시 데이터를 처리했습니다. 이 두뇌가 시간의 흐름을 이해하도록 돕기 위해, 시스템은 한 순간의 움직임과 다음 순간 사이의 차이를 계산하여 제스처의 속도와 방향을 감지할 수 있게 했습니다. 이 센서 분기는 가볍고 효율적으로 구축되어, 원시 숫자로부터 인간 움직임의 복잡한 패턴을 학습할 수 있습니다.

두 두뇌가 수행 중인 수어에 대해 각자의 추측을 마친 후, 시스템은 어떤 추측을 신뢰할지 결정해야 했습니다. 연구진은 두 정보원이 자주 서로 의견이 다르다는 것을 발견했습니다. 때로는 카메라가 수어를 명확하게 보았지만 센서는 유사한 움직임 때문에 혼란을 겪기도 했습니다. 또 다른 경우에는 비디오가 흐릿하거나 손이 부분적으로 가려져 있더라도, 센서가 움직임을 뚜렷하게 포착하여 정확히 무엇이 일어나고 있는지 알기도 했습니다. 이를 처리하기 위해 연구팀은 두 추측을 혼합하는 방법을 만들었습니다. 그들은 단순히 두 답변을 평균 내지 않았습니다. 대신, 시스템이 특정 유형의 데이터에 대해 느끼는 확신도를 바탕으로 각 추측의 신뢰도를 조정했습니다. 그런 다음 최선의 결과를 얻기 위해 선택된 특정 가중치를 사용하여 조정된 확률을 결합했습니다. 이 과정 덕분에 융합 시스템은 비디오가 불분명할 때는 센서 데이터에 더 많이 의존하고, 모션 데이터가 모호할 때는 비디오에 더 많이 의존할 수 있었습니다.

이러한 접근 방식의 결과는 놀라웠습니다. 연구진이 훈련 그룹에 포함되지 않은 새로운 사람들을 대상으로 시스템을 테스트했을 때, 비디오 전용 시스템은 약 68%의 확률로 정답을 맞혔습니다. 센서 전용 시스템은 훨씬 더 나은 성능을 보여 약 95%의 확률로 정답을 맞혔습니다. 이는 웨어러블 센서가 연구팀이 만든 어려운 시각적 조건 하에서도 비디오보다 이러한 특정 수어를 인식하는 데 훨씬 더 안정적인 신호를 제공했음을 확인시켜 주었습니다. 그러나 두 소스를 결합한 융합 시스템은 더욱 뛰어난 성능을 보였습니다. 이 시스템은 97%의 정확도를 달리하며 거의 모든 경우에 수어를 정확하게 식별했습니다. 이러한 개선은 융합 시스템이 센서 단독 버전보다 훨씬 적은 실수를 저질렀으며, 센서만으로는 해결할 수 없었던 오류를 바로잡았음을 의미합니다.

연구팀은 또한 융합 시스템이 여전히 범하는 실수들을 면밀히 살펴보았습니다. 그들은 남은 오류들이 주로 자연스럽게 매우 유사한 수어 쌍, 예를 들어 동일한 손 모양을 사용하지만 가리키는 방향이 약간 다른 수어나, 미세한 손가락 굽힘 차이에 의존하는 수어들 사이에서 발생한다는 것을 발견했습니다. 이는 주의 깊은 관찰 없이는 인간조차 구분하기 어려운 종류의 차이입니다. 분석 결과, 비디오와 센서가 일치할 때 시스템은 거의 항상 정확했습니다. 두 정보가 충돌할 때, 융합 방법은 더 신뢰할 수 있는 소스를 사용하여 오류를 성공적으로 수정했습니다. 이는 두 유형의 데이터가 진정으로 상호 보완적임을 입증했습니다. 즉, 센서는 견고한 움직임의 토대를 제공하고, 비디오는 가장 유사한 수어들을 구별하기 위한 필요한 시각적 세부 사항을 더해준 것입니다.

이 연구는 수어 인식의 미래가 단일 유형의 기술에만 의존하지 않을 것임을 시사합니다. 대신, 카메라의 시각적 관점과 웨어러블 센서의 직접적인 물리적 측정을 결합하는 것은 실제 녹화의 불완전함에 탄력적으로 대응할 수 있는 시스템을 만듭니다. 현재의 연구는 소수의 자원봉사자와 특정 수어 집단으로 제한되었지만, 이 방법은 비디오 피드가 저하된 상황에서도 잘 작동하는 인식 도구를 만드는 것이 가능하다는 것을 증명했습니다. 연구진은 이 기술이 모두에게 유용해지기 위해서는 향후 더 많은 사람의 다양한 수어 스타일을 포함하고 더 다양한 환경에서 시스템을 테스트해야 한다고 언급했습니다. 현재로서는, 이 연구는 기계가 눈(시각)과 촉각(물리적 감각)을 모두 갖추었을 때, 어느 한 가지 감각만으로는 달성할 수 없는 수준의 정밀도로 인간의 의사소통을 이해할 수 있다는 명확한 경로를 제시하고 있습니다.