CMTD: Cascaded Multi-Token Disambiguation Model for Lip Reading

무성 음성 인식(Silent speech recognition)은 소리를 전혀 듣지 않고 오직 입술의 움직임만을 관찰하여 사람들이 말하는 내용을 이해하는 데 전념하는 컴퓨터 과학 분야입니다. 이러한 능력은 소음이 심한 공장, 수중 환경, 또는 시각적 신호에 의존하는 청각 장애인과 같이 오디오가 누락되거나 신뢰할 수 없는 상황에서 매우 중요합니다. 그러나 컴퓨터에게 입술 읽기를 가르치는 것은 매우 어려운 일인데, 이는 인간의 입이 소리 그 자체를 전달하는 데 있어 불완전한 통신 수단이기 때문입니다. "b"와 "p"처럼 서로 다른 많은 소리가 거의 동일한 입 모양을 만들어내며, 동일한 소리라도 주변 단어에 따라 약간씩 다르게 보일 수 있습니다. 이러한 시각적 혼동은 컴퓨터가 비디오를 볼 때 특정 단어에 속할 수 있는 여러 가지 입 모양을 보게 만들어, 기계가 추측하게끔 만듭니다. 이를 해결하기 위해 연구자들은 전통적으로 컴퓨터의 '눈'을 더 날카롭게 만들어 미세한 차이를 포착하게 하거나, 빠진 단어를 추측하는 데 도움이 되도록 흔한 구절이 담긴 사전을 추가하려 노력해 왔습니다. 하지만 이러한 방법들은 시각적 증거가 두 유사한 옵션 사이에서 결정을 내리기에 너무 모호할 때 종종 어려움을 겪습니다.

허페이 공과대학교(Hefei University of Technology)의 연구팀은 컴퓨터가 현재를 읽는 동안 미래를 생각하는 방식을 바꾸는 새로운 접근법을 제안했습니다. 그들은 이 시스템을 CMTD라고 부르는데, 이는 앞을 내다봄으로써 시각적 혼동을 해결하도록 설계된 모델입니다. 이 시스템은 다음 단어를 고립된 상태로 추측하는 대신, 현재 단어를 해독하는 동안 동시에 짧은 일련의 다가올 단어들을 예측합니다. 마치 독자가 페이지의 단어 하나를 보고 있는 동안에도 문장 전체를 이해하기 위해 다음 몇 단어를 훑어보는 것과 같습니다. 이러한 맥락은 모호한 단어가 "bank"(돈)인지 아니면 "bank"(강둑)인지 결정하는 데 도움을 줍니다. 연구진은 입술 읽기를 위해 정확히 이와 같은 작업을 수행하는 모델을 구축했습니다. 이 모델은 현재 순간에 대한 일차적인 추측을 생성하는 동시에, 그 추측을 사용하여 즉각적인 미래를 위한 예측 체인을 형성합니다. 현재의 추측이 예측된 미래 단어들과 논리적으로 부합하는지 확인함으로써, 시스템은 시각적으로는 맞스러워 보이지만 문맥상 말이 되지 않는 옵션들을 버릴 수 있습니다.

이 새로운 방법의 핵심은 하나의 예측이 다음 예측으로 직접 이어져 연속적인 추론 체인을 만드는 계단식 구조(cascaded structure)입니다. 시스템은 단순히 비디오 프레임을 보는 것이 아니라, 방금 예측한 내용에 대한 내부 기억을 유지하고 그 기억을 사용하여 다음에 올 것을 예측합니다. 만약 비디오가 "bao" 또는 "biao"(매우 유사해 보이는 두 개의 중국어 글자) 중 하나를 나타낼 수 있는 입 모양을 보여준다면, 시스템은 다음에 무엇이 올지를 예측합니다. 만약 미래의 예측이 "biao"와만 어울리는 단어를 암시한다면, 시스템은 현재의 시각적 증거가 약하더라도 확신을 가지고 해당 옵션을 선택합니다. 이 과정은 레이어 단위로 진행됩니다: 모델은 주요 예측을 수행한 다음, 다음 단계를 위한 두 번째 예측을 하고, 그 후의 단계를 위한 세 번째 예측을 합니다. 이러한 예측들은 독립적인 추측이 아니라 서로 연결되어 있어, 하나의 오류가 다른 것들에 영향을 주지 않도록 합니다. 연구진은 모델이 장기적인 미래 단어들의 체인으로부터 배우면서도 즉각적인 다음 단어를 정확하게 맞히는 것을 우선시하도록 훈련시켜, 시스템이 자신의 먼 미래 추측 때문에 혼란에 빠지지 않고 안정성을 유지하도록 했습니다.

시스템이 실제로 비디오를 읽을 때는, 언제 눈을 믿고 언제 도움을 요청할지 결정하기 위해 '미래 토큰 인지 추론(future-token-aware inference)'이라는 전략을 사용합니다. 시스템은 시각적 관찰과 미래 예측을 바탕으로 가능한 여러 단어 경로를 생성합니다. 그런 다음 자신의 시각적 읽기에 대해 얼마나 확신하는지 확인합니다. 만약 시각적 증거가 강하고 명확하다면, 시스템은 단순히 최선의 옵션을 선택하고 넘어갑니다. 그러나 시각적 증거가 약하고 시스템이 확신하지 못한다면, 방대한 양의 텍스트를 학습한 별도의 도구인 언어 모델을 불러와 실제 문장에서 얼마나 나타날 가능성이 높은지에 따라 옵션들의 순위를 다시 매깁니다. 이는 컴퓨터가 통계적 추측을 위해 명확한 시각적 신호를 무시하는 것을 방지하면서, 시각적 데이터가 진정으로 모호할 때만 언어적 추측에 의존하도록 보장합니다. 이러한 균형을 통해 시스템은 시각적 단서만을 사용하여 퍼즐을 풀 수 있는 맥락을 활용하면서도, 자신이 보는 것에 충실할 수 있습니다.

연구진은 이 새로운 모델을 두 가지 주요 데이터셋으로 테스트했습니다: 하나는 뉴스 방송에서 가져온 수천 개의 중국어 문장을 포함하고 있고, 다른 하나는 고정된 집단의 사람들이 말하는 영어 문장을 포함하고 있습니다. 중국어 데이터셋에서 이 새로운 모델은 이전 방식들을 크게 능가하며, 더 나은 시각적 특징이나 고정된 언어 규칙에 의설했던 시스템들에 비해 오차율을 상당한 폭으로 줄였습니다. 이 모델은 시각적으로 유사한 글자들을 이전 모델들보다 훨씬 더 정확하게 구별해 냈습니다. 영어 데이터셋에서 모델은 기존의 최고 시스템들과 경쟁할 만한 결과를 달성했으나, 테스트에 사용된 영어 문장들이 매우 단순하고 제한된 어휘를 사용하여 시스템의 고급 맥락 기술이 빛을 발할 여지가 적었기 때문에 그 향상 폭은 덜 극적이었습니다. 실험 결과, 모델이 앞을 내다보고 예측을 연결하는 능력이 성공의 핵심 요인임이 밝혀졌으며, 이는 문장의 흐름을 이해하는 것이 입 모양을 명확하게 보는 것만큼 중요하다는 것을 입증했습니다.

또한 연구는 단순히 텍스트 생성에 사용되는 방법을 그대로 복제하는 것이 왜 입술 읽기에는 작동하지 않는지를 탐구했습니다. 연구진이 서로 소통하지 않는 병렬 예측 브랜치를 사용하거나, 훈련 중에 올바른 미래 정답을 미리 알고 있는 방식들을 사용했을 때, 시스템은 미래를 향해 나아갈수록 정확도를 유지하는 데 실패했습니다. 오류가 쌓이면서 예측은 신뢰할 수 없게 되었습니다. 자신의 이전 추측으로부터 단계별로 미래 예측을 구축하는 계단식 접근법만이 안정성을 유지할 수 있는 유일한 방법임이 증명되었습니다. 또한 연구진은 너무 많은 미래 단어를 한꺼번에 예측하는 것이 오히려 성능을 저하시킨다는 것을 발견했으며, 이는 이와 같은 시각적 작업에는 적절한 양의 맥락이 최적이라는 점을 시사합니다. 미래 예측의 수를 제한하고 각 단계의 중요도를 신중하게 조절함으로써, 시스템은 즉각적인 시각적 정확도와 장기적인 맥락 사이의 균형을 학습했습니다.

궁극적으로, 이 연구는 입술 읽기의 모호성을 해결하는 데 필요한 것이 더 날카로운 카메라나 더 큰 사전 그 이상이며, 말의 서사적 흐름을 이해하는 모델이 필요함을 보여줍니다. 미래의 맥락을 디코딩 과정에 직접 통합함으로써, CMTD 모델은 입술 모양은 동일하지만 서로 다른 문장에 속하는 단어들을 구별할 수 있습니다. 이 결과는 이 접근법이 시각적 음성의 본질적인 불확실성을 다루는 강력한 방법을 제공하며, 무성 통신에 의존하는 기술에 있어 중요한 진전임을 시사합니다. 현재의 테스트는 통제된 고품질 비디오 데이터에서 수행되었지만, 이 방법의 성공은 언젠가 더 복잡하고 예측 불가능한 실제 대화 상황을 다룰 수 있는 미래 시스템을 위한 토대를 마련합니다.