Suvana: An Integrated Platform for Two-Way Deaf–Hearing Communication in Sri Lankan Sign Language

세계 여러 지역에서 의사소통은 들을 수 있는 사람과 들을 수 없는 사람들 사이에서 자연스럽게 일어나는 공유된 유동적 교환입니다. 하지만 스리랑카의 농인(Deaf) 공동체에게 이러한 교환은 자원의 부족으로 인해 종종 차단되곤 합니다. 격차를 메워줄 전문 통역사가 부족하며, 이 나라는 아직 모두가 동의할 수 있는 단일하고 완전히 표준화된 버전의 수어를 갖추지 못했습니다. 기술이 의사소통을 돕는 데 큰 진전을 이루었지만, 대부분의 도구는 미국 수어(ASL)를 기반으로 구축되어 스리랑카 수어와 같은 현지 언어는 대체로 무시되어 왔습니다. 이는 기술이 가장 필요한 사람들이 정작 그 혜택을 받지 못하는 상황을 만들며, 존재하는 기술조차 스리랑카 사람들이 손과 얼굴로 자신을 표현하는 독특한 방식을 이해하지 못하는 결과를 초래합니다.

한 연구자는 '수바나(Suvana)'라는 새로운 디지털 플랫폼을 통해 이러한 격차를 해결하고자 했습니다. 하나의 거대한 애플리케이션을 처음부터 구축하려 하기보다, 별도로 개발된 네 가지 소프트웨어 도구를 가져와 하나의 매끄러운 경험으로 엮어냈습니다. 목표는 의사소통 장벽 문제를 완전히 해결했다고 주장하는 것이 아니라, 이 서로 다른 조각들이 하나의 제품으로서 어떻게 함께 작동할 수 있는지를 보여주는 것이었습니다. 이 플랫폼은 수형(hand signs)을 구어체 싱할라어로 변환하는 도구, 구어체 싱할라를 디지털 아바타의 수어로 변환하여 다시 보여주는 기능, 자동차 경적이나 유리 깨지는 소리 같은 중요한 소리를 사용자에게 알려주는 모바일 앱, 그리고 수어를 배우고자 하는 청인들을 위한 연습 튜터를 포함합니다. 이 프로젝트가 주목받는 이유는 단순히 이러한 도구들의 결합 때문만이 아니라, 연구자가 자신이 무엇을 성취했는지, 그리고 무엇보다 더 중요한 점은 무엇을 아직 입증하지 못했는지에 대해 보고하는 정직함 때문입니다.

이 연구의 가장 중요한 발견은 학습자가 수어를 연습하고 자신의 수행에 대해 피드백을 받을 수 있도록 설계된 연습 튜터에서 나옵니다. 연구자는 학습자의 손 움직임을 숙련된 수어 사용자의 참조 영상과 비교하는 시스템을 구축했습니다. 이를 위해 두 움직임의 시퀀스를 정렬하는 방법을 사용하여 속도의 차이를 허용함으로써, 느리지만 정확한 수형이 느리다는 이유로 감점되지 않도록 했습니다. 그러나 테스트 과정에서 연구자는 이 기술이 작동하는 방식에 있어 결정적인 한계를 발견했습니다. 서로 완전히 다른 수형들이 컴퓨터에게는 놀라울 정도로 비슷해 보일 수 있는 반면, 동일한 수형을 올바르게 수행하는 두 사람이 서로 매우 다르게 보일 수 있다는 것을 발견한 것입니다.

이 때문에 연구자는 컴퓨터가 사용자가 어떤 수형을 하려고 하는지 이미 알고 있지 않다면, 시스템이 사용자의 의도를 추측하는 용도로 안전하게 사용될 수 없다는 점을 깨달았습니다. 만약 시스템이 알 수 없는 수형을 식별하려고 시도한다면, 두 개의 서로 다른 수형 사이의 거리가 동일한 수형에 대한 두 번의 올바른 시도 사이의 거리보다 작을 때가 있기 때문에 오류를 범할 가능성이 높습니다. 대신, 시스템은 다르게 작동하도록 설계되었습니다. 학습자는 특정 수형을 연습하도록 요청받으며, 컴퓨터는 단순히 그 특정 수형을 얼마나 잘 수행했는지를 채점합니다. 이 접근 방식은 잘못된 단어를 추측하는 함정을 피합니다. 연구자는 시스템이 올바른 시도와 틀린 시도를 얼마나 잘 구별하는지 측정하였으며, 그 결과 무작위 확률보다는 유의미하게 높지만 여전히 완벽과는 거리가 먼 수준의 정확도로 구별해 낼 수 있음을 확인했습니다.

연구자는 또한 플랫폼의 다른 부분들에 대해서도 매우 신중하게 주장했습니다. 수형을 음성으로 변환하는 도구의 경우, 사용자가 컴퓨터가 학습한 것과 동일한 사람일 때는 시스템이 잘 작동하지만, 다른 누구에게도 작동할 것이라고 주장하지 않았습니다. 연구자는 보유한 데이터가 제한적이기 때문에, 본 적 없는 새로운 사람에게도 이 시스템이 작동할지 아직 말할 수 없다고 명시했습니다. 마찬가지로, 음성을 수어 아바타로 변환하는 시스템 부분에 대해서도, 디지털 캐릭터의 움직임은 청인 학생에 의해 만들어졌으며 농인 수어 사용자에 의해 검증되지 않았음을 분명히 했습니다. 연구자는 이 아바타를 기술이 어떻게 작동하는지를 보여주는 데모로서 제시하며, 농인 공동체의 입력 없이는 그 수형이 실제로 이해 가능한지 여부를 판단할 수 없음을 인정했습니다.

아마도 논문에서 가장 중요한 부분은 저자가 프로젝트에서 자신의 역할에 대해 언급한 내용일 것입니다. 네 명의 연구자 모두 청인이며, 이는 그들이 농인의 삶의 경험을 가지고 있지 않음을 의미합니다. 그들은 자신들이 구축한 시스템이 도움을 주고자 하는 사람들에게 정말로 유용하거나 수용 가능한지를 판단할 수 있는 유창함과 문화적 맥락이 부족하다는 점을 솔직하게 인정합니다. 그들은 접근성 기술 분야에서 청인 연구자들이 농인 공동체의 충분한 참여 없이 도구를 만드는 경우가 흔하며, 이러한 관행이 목표에서 벗어난 제품을 만들 수 있다고 지적합니다. 그들은 현재의 작업을 해결책을 향한 하나의 단계로 묘사하면서도, 다음 단계에는 반드시 농인 수어 사용자들이 직접 참여해야 함을 강조합니다. 즉, 농인 교사들과 함께 새로운 참조 영상을 녹화하고, 시스템이 제공하는 피드백을 검증받아야 한다는 것입니다.

연구자는 네 가지 도구를 하나의 플랫폼으로 성공적으로 통합하고 실제 데이터를 바탕으로 채점 시스템을 보정했지만, 이 작업이 완성된 것은 아니라고 결론짓습니다. 그들은 기록된 영상들을 대상으로 시스템의 성능을 측정했지만, 실제 학습자를 대상으로 어떻게 작동하는지 또는 사람들이 배우는 데 얼마나 도움이 되는지는 아직 측정하지 않았습니다. 다양한 그룹의 수어 사용자를 대상으로 테스트하지도 않았으며, 농인 공동체를 통해 내용을 검증하지도 않았습니다. 그들의 연구 결과는 현재 기술로 무엇이 가능한지, 그리고 무엇이 미지의 영역으로 남아 있는지를 보여주는 명확한 지도 역할을 합니다. 그들은 앞으로 나아가는 길은 단순히 기술을 구축하는 것을 넘어, 기술을 사용할 사람들이 개발을 이끌도록 하는 것이라고 주장합니다. 그런 일이 일어나기 전까지 이 시스템은 완전한 해결책이라기보다 유망한 프로토타입으로 남을 것이며, 연구자는 자신의 작업에 대한 진정한 시험은 모든 단계에 농인 수어 사용자들이 참여할 때 비로소 이루어질 것이라고 명확히 밝히고 있습니다.