Deep Learning-Based Sign Language Recognition from Videos and Cross-Lingual Translation to Indian Vernaculars

당신이 컴퓨터에게 단어 대신 손과 얼굴로 말하는 비밀 언어를 이해하도록 가르치려 한다고 상상해 보세요. 이것이 본 논문이 하는 일의 핵심이며, 특별한 반전이 있습니다. 바로 영어를 중간 매개체로 사용하여 인도 수어(ISL)를 세 가지 주요 인도 구어(힌디어, 텔루구어, 벵골어)로 번역하는 데 도움을 주는 것입니다.

다음은 일상적인 비유를 사용하여 이 시스템을 어떻게 구축했는지에 대한 간단한 설명입니다.

큰 그림: 2단계 릴레이 경주

연구진들은 컴퓨터에게 "수형(Hand Signs)"에서 곧바로 "힌디어 단어"로 점프하도록 가르치려 하지 않았습니다. 그것은 마치 개에게 직접 프랑스어를 말하도록 가르치는 것과 같습니다. 대신, 그들은 2단계 릴레이 경주를 설정했습니다:

1. 1단계 (번역가): 비디오 카메라가 수어 동작을 하는 사람을 관찰합니다. 스마트 AI(VideoMAE)가 영상을 보고 "아, 이 수형은 영어 단어 **'Happy'**를 의미하는구나"라고 말합니다.
2. 2단계 (통역사): AI가 단어가 "Happy"라는 것을 알게 되면, 그 단어를 두 번째 AI(NLLB)에게 전달합니다. 이 두 번째 AI는 다국어 능력자(polyglot) 통역사처럼 작동하여, 영어 단어 "Happy"를 즉시 "Khush"(힌디어), "Santosham"(텔루구어), "Sukhi"(벵골어)로 바꿉니다.

재료: 무엇을 사용했는가

• 선생님 (VideoMAE): 이것은 이미 수백만 시간의 일반 영상(영화나 스포츠 등)을 시청하며 동작을 인식하는 법을 배운 학생이라고 생각하면 됩니다. 연구진은 이 "우등생"을 데려와서 수어 영상에 특화된 속성 과외를 시켰습니다.
• 교과서 (데이터셋): 컴퓨터 저장 용량 제한 때문에 방대한 양의 수어 영상 라이브러리를 보유할 수는 없었습니다. 대신, 그들은 IIT 마드라스(IIT Madras)에서 제공하는 작은 규모의 엄선된 "학습 가이드"를 사용했습니다. 여기에는 단 13개의 특정 수형(예: "loud", "quiet", "hat", "dress", "deaf", "blind") 영상이 포함되어 있었습니다.
• 테스트: 그들은 이 작은 학습 가이드를 "연습 테스트(training)"와 "기말고사(validation)"로 나누었습니다.

성적표: 결과는 어떠했는가

결과는 "A+"와 "보충 학습 필요"가 섞여 있었는데, 이는 새로운 기술을 배울 때 한정된 연습량으로 인해 흔히 발생하는 현상입니다.

• 연습 단계 (Training): AI는 13개의 수형을 공부했고 99%의 정확도를 기록했습니다. 이는 마치 플래시카드를 완벽하게 암기한 학생과 같습니다.
• 기말고사 (Validation): 보지 못한 새로운 영상으로 테스트했을 때, 정확도는 **78%**로 떨어졌습니다. 여전히 준수한 점수이지만, 이는 AI가 개념을 진정으로 이해하기보다 연습용 카드를 암기하는 데 너무 집중했다는 것을 보여줍니다.

AI가 막혔던 부분 (오류):
논문은 마치 비슷한 단어를 혼동하는 학생처럼, 두 가지 구체적인 유형의 혼동을 강조합니다:

1. "의류" 혼동: AI는 가끔 의류 아이템의 수형을 혼동했습니다. 예를 들어, "모자(Hat)"를 위한 수형을 "드레스(Dress)"나 "셔츠(Shirt)" 또는 "정장(Suit)"으로 착각할 수 있습니다. 이는 이러한 수형들이 머리나 몸통 근처에서 유사한 손 동작을 수반하기 때문에 타당한 결과입니다.
2. "감정" 혼동: AI는 "Beautiful", "Ugly", "Deaf", "Blind"와 같은 추상적인 개념에서 어려움을 겪었습니다. AI는 이 단어들을 서로 혼동하거나 "Sad"라는 단어와 혼동하곤 했습니다. 연구진은 이것이 이러한 수형들이 얼굴 표정에 크게 의존하기 때문이며, AI가 미세한 차이를 배울 만큼 충분한 사례를 갖추지 못했기 때문이라고 추측합니다.

데모: 사용자 친화적인 도구

팀은 단순히 수학적 계산에 그치지 않고, Streamlit 앱(간단한 웹 인터페이스)을 구축했습니다.

• 작동 방식: 사용자가 수어를 하는 짧은 영상을 업로드합니다.
• 과정: 앱은 16개의 프레임(마치 16장의 빠른 스냅샷을 찍는 것과 같음)을 추출하고, 이를 AI에 통과시킨 뒤 결과를 표시합니다.
• 출력: 영어 단어(예: "Happy")를 보여주고, 즉시 이를 힌디어, 텔루구어, 벵골어 문자로 번역하여 보여줍니다.

한계점: 이 시스템이 아직 '할 수 없는 것'

저자들은 자신들의 작업 범위를 매우 솔직하게 밝히고 있습니다. 이것은 아직 마법 지팡이가 아닙니다.

• 한 번에 한 단어씩: 이 시스템은 고립된 단어(예: "Hat")만 이해합니다. "나는 모자를 쓰고 있다"와 같은 전체 문장은 이해할 수 없습니다. 이는 단어는 알지만 문법은 모르는 사전과 같습니다.
• 작은 어휘량: 오직 13개의 특정 단어만 알고 있습니다. 만약 다른 것을 수형으로 표현한다면, 시스템은 어떻게 해야 할지 모를 것입니다.
• 실시간 속도 미달: 이 시스템은 업로드된 영상을 처리하기 위해 설계되었으며, 실시간으로 수어 사용자를 관찰하며 즉석에서 번역하는 용도가 아닙니다.
• 맥락 문제: 단어를 번환하기 때문에 혼동이 생길 수 있습니다. 예를 들어, "Suit"라는 단어는 옷의 한 종류를 의미할 수도 있고, 누군가에게 "적합하다"라는 구절을 의미할 수도 있습니다. 전체 문장이 없다면 컴퓨터는 추측을 해야 합니다.

결론

이 논문은 **개념 증명(proof-of-concept)**입니다. 이는 강력한 비디오 AI를 가져와 몇 가지 수어 단어를 가르치고, 이를 번역 AI와 연결하여 수어와 지역 인도 언어 사이의 간극을 메울 수 있다는 것을 입증합니다. 비록 아직 법정이나 병원에서 인간 통역사를 대체할 수준은 아니지만, 인도의 청각 장애인 커뮤니티를 위해 기술을 더욱 접근 가능하게 만드는 길을 보여주는 작동 가능한 프로토타입입니다.