Multi-task Learning is Not Enough: Representational Entanglement in Dual-output Second Language Speech Recognition

핵심 아이디어: 하나의 뇌, 두 가지 역할, 그리고 언어의 문제

당신이 제2외국어를 말하는 사람(예를 들어, 영어를 말하려고 노력하는 한국인이나 한국어를 말하려고 노력하는 중국인)의 말을 듣고 기록하는 번역가를 고용한다고 상해 봅시다. 당신은 이 번역가에게 두 가지 구체적인 요청을 합니다:

1. "직역" 작업: 모든 더듬거림, 억양, 잘못 발음된 단어까지 포함하여 들리는 그대로를 받아 적는 것 (표면적 전사)
2. "의미" 작업: 화자가 의도한 바를 파악하여, 실수를 교정하고 완벽하고 표준적인 텍ốt으로 만드는 것 (의미적 전사)

보통 컴퓨터가 이 두 가지 일을 동시에 수행하도록 가르칠 때는 **멀티태스크 학습(Multi-Task Learning, MTL)**이라는 방법을 사용합니다. 이 방법의 이론은 인간의 뇌(컴퓨터의 '인코더')가 두 시험을 모두 잘 치를 수 있도록 돕는 공통된 기술 세트를 학습할 것이라는 것입니다.

이 논문의 발견:
이 논문의 저자들은 이러한 "공유된 뇌" 전략이 한국어와 같은 일부 언어에는 매우 효과적이지만, 영어와 같은 다른 언어에서는 오히려 성능을 망가뜨린다는 사실을 발견했습니다. 영어의 경우, 두 가지 일을 동시에 수행하도록 하면 컴퓨터가 의미를 추측하는 능력은 약간 향상될지 몰라도, 소리를 있는 그대로 받아 적는 능력은 오히려 떨어지게 됩니다.

실험: "엉킨" 뇌 vs "풀린" 뇌

왜 이런 현상이 발생하는지 이해하기 위해, 연구진은 컴퓨터의 "뇌"(인코더) 내부를 들여미 보고 정보가 어떻게 처리되는지 살펴보았습니다. 그들은 두 가지 서로 다른 생각이 얼마나 닮았는지를 측정하는 '유사성 스캐너'와 같은 도구인 CKA(Centered Kernel Alignment)를 사용했습니다.

1. 한국어 시나리오: 정리된 도서관

컴퓨터가 한국어를 학습할 때, "직역" 작업과 "의미" 작업은 서로 별개로 유지됩니다.

• 비유: 마치 사서가 두 개의 별도 선반을 관리하는 것과 같습니다. 한 선반에는 "정확한 소리"에 관한 책들이 있고, 다른 선은 "의도된 의미"에 관한 책들이 있습니다. 사서는 두 업무를 모두 수행하지만, 어떤 선반에서 책을 꺼내야 할지 정확히 알고 있습니다.
• 결과: 컴퓨터가 뇌 속에서 이 두 개념을 분리하여 유지하기 때문에, 두 작업이 서로 방해하지 않고 두 가지 일을 모두 잘 해낼 수 있습니다.

2. 영어 시나리오: 엉킨 매듭

컴퓨터가 영어를 배울 때, 두 가지 작업이 걷잡을 수 없이 뒤섞여 버립니다.

• 비유: 사서가 "정확한 소리"와 "의도된 의미"를 하나의 커다란 책 더미에 한꺼번에 넣으려고 하는 것과 같습니다. 책들이 너무 뒤섞여서 사서는 둘을 구분할 수 없게 됩니다. 이것이 논문에서 말하는 **"표상적 얽힘(Representational Entanglement)"**입니다.
• 결과: 컴퓨터의 뇌가 "엉키기" 때문에 혼란에 빠집니다. 컴퓨터는 타협점을 찾으려 노력하지만, 그 과정에서 "직역" 작업(정확한 소리를 받아 적는 일)에 실패하게 됩니다. 실제 들리는 소리와 의도된 의미의 차이가 클수록(예: 심한 악센트), 컴퓨터의 직역 능력은 더욱 떨어집니다.

디코더: "해결사" vs "묶여 있는" 노동자

컴퓨터에는 뇌의 복잡한 생각을 실제 텍스트로 변환하는 "디코더"라는 두 번째 부분이 있습니다. 연구진은 영어의 경우, 디코더가 수행하는 작업에 따라 매우 다르게 행동한다는 것을 발견했습니다.

• "의 의미" 디코더 (반항아):

  • 하는 일: 이 부분은 뇌의 "엉킨" 더미가 의미를 추측하는 데 쓸모없다는 것을 깨닫습니다. 그래서 뇌의 지저치 않은 입력을 무시하고, 화자가 무엇을 말하려 했는지 알아내기 위한 자신만의 독특하고 깨끗한 경로를 구축합니다.
  • 결과: 이것이 영어에서 "의미" 점수가 실제로 올라가는 이유입니다. 디코더가 문제를 우회하는 방법을 찾아낸 것입니다.

• "직역" 디코더 (묶여 있는 노동자):

  • 하는 일: 이 부분은 정확한 소리를 적어야 합니다. 따라서 오디오의 타이밍과 일치해야 하므로 반드시 엉망이 된 뇌와 연결되어 있어야 합니다. 뇌의 혼란을 무시할 수 없습니다.
  • 결과: 엉킨 뇌에 묶여 있기 때문에, 직역을 틀리게 됩니다. 이는 마치 낙서처럼 휘갈겨 쓴 메모를 베껴 써야 하는 노동자와 같습니다. 메모가 엉망이면 복사본도 엉망이 될 수밖에 없습니다.

결론: 왜 "더 많은 학습"이 정답이 아닌가

이 논문은 단순히 컴퓨터가 두 가지 일을 동시에 하도록 훈련시키는 것(멀티태스크 학습)만으로는 충분하지 않다고 결론짓습니다.

• 한국어의 경우: 뇌가 자연스럽게 두 작업을 분리하기 때문에 잘 작동합니다.
• 영어의 경우: 뇌가 "엉키기" 때문에 실패합니다. "의미" 디코더는 스스로를 바로잡을 수 있지만, "직역" 디코더는 그 대가를 치러야 합니다.

핵요점:
이를 해결하기 위해서는 단순히 컴퓨터가 스스로 알아서 하도록 내버려 두어서는 안 됩니다. 우리는 컴퓨터의 "뇌"가 처음부터 "직역"과 "의미" 작업을 분리하도록 강제하는 새로운 시스템을 설계해야 합니다. 논문은 두 작업이 컴퓨터의 뇌 안에서 서로 충돌하지 않도록 교통경찰 역할을 하는 특수 기술(예: "게이팅" 또는 "희소 분해")을 사용할 것을 제안합니다.