DualAnchor: Preserving Language Priors and Improving Lexical Fidelity in Gloss-Free Sign Language Translation

당신이 로봇에게 무성 영화를 말하는 이야기로 번역하도록 가르치려 한다고 상상해 보세요. 이것이 바로 **수어 번역(Sign Language Translation, SLT)**의 세계입니다. 컴퓨터가 사람의 손과 얼굴을 사용하는 영상을 글이나 말로 바꾸려고 노력하는 분야죠. 오랫동안 이 로봇들은 특정 손 동작(글로스, glosses)만을 암기하지만 실제 대화의 흐름은 이해하지 못하는 서툰 학생과 같았습니다. 최근 과학자들은 LLM(Large Language Models)—에세이를 쓰고 우리와 대화하는 똑똑한 AI 뇌와 같은 것들—을 사용하여 이야기 부분을 담당할 로봇의 "두뇌"로 사용하기 시작했습니다. 아이디어는 간단했습니다. 로봇에게 영상을 주고, AI가 단어를 파악하게 하면, 짠, 번역이 완성되는 것이죠.

하지만 함정이 있습니다. 이 AI 뇌들이 유창한 영어 나 독일어를 쓰는 데는 놀라운 능력을 갖추고 있음에도 불구하고, 영상을 보게 강제하면 때때로 제대로 말하는 법을 잊어버리곤 합니다. 영상에 너무 집중한 나머지 횡설수설하거나 문법 규칙을 잊어버릴 수도 있습니다. 또한, 일반적인 맥락은 맞히더라도("소녀가 먹고 있다") 세부 사항은 틀릴 수 있습니다("사과를 먹는다"와 "오렌지를 먹는다"의 차이). DualAnchor라는 제목의 이 논문은 이 두 가지 구체적인 문제, 즉 로봇이 언어 능력을 잃지 않게 하고 아주 작은 세부 사항까지 정확하게 파악하도록 만드는 문제를 다룹니다.

두 가지 큰 문제: 흐름을 놓치거나 세부 사항을 혼동하거나

연구진은 이러한 AI 모델에게 수어 영상을 이해하도록 가르칠 때 두 가지 이상한 현상이 발생한다는 것을 발견했습니다.

첫 번째는 **"언어 사전 지식 저하(Language-Prior Degradation)"**라고 불리는 현상입니다. AI의 언어 능력을 수백만 권의 책을 읽으며 익힌 잘 연습된 대본이라고 생각해 보세요. 영상을 보여주는 것은 배우에게 무대 위에서 즉흥 연기를 하라고 요청하는 것과 같습니다. 때때로 그 배우는 영상에 맞추려다 대본을 완전히 잊어버리고 횡설수설하거나 형편없는 문법을 사용하기 시작합니다. AI가 시각적 신호에 너무 정신이 팔려 유창하게 말하는 법을 잊어버리는 것입니다.

두 번째로, 그들은 **"어휘 충실도 격차(Lexical Fidelity Gap)"**를 발견했습니다. AI가 범죄 현장 사진을 보고 있는 탐정이라고 상상해 보세요. AI는 "사람"이 "과일"을 들고 있다는 것은 맞힐 수 있습니다. 하지만 사진에는 오렌지가 있는데 AI가 사과라고 쓴다면, 일반적인 개념은 맞혔지만 구체적인 세부 사항은 틀린 것입니다. 논문에 따르면, AI가 큰 규모에서는 영상과 문장을 완벽하게 일치시켰음에도 불구하고, 시각적 증거를 충분히 자세히 보지 못했기 때문에 "냉장고"를 "캐비닛"으로, 또는 "사과"를 "오렌지"로 바꾸는 등의 실수를 저질렀습니다.

해결책: DualAnchor

이를 해결하기 위해 저자들은 DualAnchor라는 새로운 훈련 시스템을 구축했습니다. 이름은 거친 파도 속에서 배를 안정적으로 유지하기 위해 두 개의 닻(anchor)을 내리는 개념에서 왔습니다. 이 경우 "배"는 AI 모델이고, "거친 파도"는 수어의 혼란스러운 시각적 신호입니다.

닻 1: 토큰 수준 사전 닻 설정 (Token-Level Prior Anchoring, TPA)
이 닻은 AI가 말하는 법을 잊지 않도록 하는 데 목적이 있습니다. AI를 시험을 치르는 학생이라고 상상해 보세요. 보통 영상을 볼 때, AI는 단어를 추측하다가 틀릴 수 있습니다. TPA를 통해 연구진은 (영상을 보기 전의 원래 상태인) 매우 똑똑하고 고정된 선생님으로부터 "컨닝 페이퍼"를 제공합니다. 학생이 다음 단어를 예측하려고 할 때마다 시스템은 다음과 같이 확인합니다: "이 추측이 선생님이 말할 법한 내용인가?"

만약 선생님이 확신을 가지고 있다면(예: 문장이 "어제, 나는..." 일 때), 시스템은 문법을 완벽하게 유지하기 위해 학생이 선생님의 리드를 따르도록 부드럽게 유도합니다. 하지만 선생님이 확신이 없다면(예: 영상이 흐릿할 때), 시스템은 학생이 영상을 더 자세히 보고 스스로 선택할 수 있도록 허용합니다. 이런 방식으로 AI는 유창한 언어 능력을 유지하면서도 동시에 영상으로부터 학습할 수 있습니다.

닻 2: 최적 운송 정렬 (Optimal Transport Alignment, OTA)
이 닻은 "잘못된 세부 사항" 문제를 해결합니다. 전체 영상을 전체 문장에 맞추는 대신, OTA는 매우 정밀한 매칭 게임처럼 작동합니다. 이는 영상의 특정 부분(예: "사과"를 나타내는 손 모양)을 문장의 특정 단어("사과")와 짝을 짓습니다.

영리한 점은 모든 영상 부분이 직접적인 단어 매칭을 갖지는 않는다는 것을 알고 있다는 것입니다. 때로는 손의 움직임이 단어가 아닌 단순한 제스처일 수 있습니다. 따라서 시스템은 잘못된 매칭을 강요하는 대신, 단어와 일치하지 않는 영상 부분들을 버리기 위한 "쓰레기통"(dustbin이라고 불림)을 사용하여 해당 부분을 처리합니다. 이 시스템은 "최적 운송(Optimal Transport)"이라는 수학적 기법을 사용하여 시각적 단서와 올바른 단어를 짝짓는 최선의 방법을 찾아내며, 이를 통해 영상이 냉장고를 보여준다면 AI가 "캐비닛"이 아닌 "냉장고"라고 쓰도록 보장합니다.

연구 결과

연구진은 이 새로운 DualAnchor 시스템을 두 가지 큰 데이터셋인 PHOENIX-2014T(독일 수어 기상 보고)와 CSL-Daily(중국 수어 일상 생활 영상)에 대해 테스트했습니다.

결과는 유망했습니다. 독일어 데이터셋에서 그들의 방식은 비교 대상이었던 모든 "글로스 프리(gloss-free)" 방식 중 가장 높은 BLEU-4 점수인 27.60을 달성했습니다. 중국어 데이터셋에서도 24.21을 기록하며 다시 한번 경쟁자들을 앞질렀습니다. 논문은 이러한 개선이 단순히 운이 아니라고 제안합니다. 분석 결과, "사전 닜 설정(TPA)"이 실제로 문장을 더 유창하고 자연스럽게 만들었으며, "최적 운송(OTA)"은 과일을 바꾸거나 색상을 바꾸는 등의 잘못된 단어 수를 크게 줄였다는 것을 보여주었습니다.

그들은 또한 이 방식이 다양한 유형의 AI 뇌(backbone)와 함께 작동하는지 확인했으며, DualAnchor가 전반적으로 성능을 향상시킨다는 것을 발견했습니다. 이는 이 두 닻 접근 방식이 로봇이 정신을 놓거나 어휘력을 잃지 않고 수어를 번역하도록 가르치는 견고한 방법임을 시사합니다.

요약하자면, DualAnchor는 AI가 유창함을 유지하기 위해 내면의 언어 전문가의 목소리에 귀를 기울이게 하는 동시에, 모든 단어가 영상과 완벽하게 일치하도록 날카로운 눈을 가진 탐정처럼 행동하도록 가르칩니다. 이는 이야기를 매끄럽게 유지하는 것과 세부 사항을 정확하게 파악하는 것 사이의 균형입니다.