단어들의 비밀스러운 삶: 컴퓨터가 중국어를 읽는 법을 배우는 과정

당신이 로봇에게 한 언어를 읽는 법을 가르치고 있다고 상상해 보세요. 영어와 같은 언어의 경우, 로봇은 주로 글자의 순서와 문장의 맥락을 보고 단어의 의미를 추측합니다. 이는 소리와 문법 규칙이라는 조각들을 가지고 퍼즐을 푸는 것과 같습니다. 하지만 중국어는 완전히 다른 종류의 퍼즐입니다. 중국어에서 '글자'는 문자가 아니라 작고 정교한 그림입니다. 각 그림은 단순한 소리가 아니라, 종종 그 의미를 암시하는 그림입니다. '강(river)'이나 '호수(lake)'를 뜻하는 글자를 생각해 보세요. 이 글자들은 모두 옆에 작은 '물(water)' 부수가 그려져 있어, 마치 "이것은 물에 관한 것이다!"라고 말하는 시각적 힌트처럼 작용합니다.

게다가, 중국어에는 '다음자(heteronyms)'라는 까다로운 반전이 있습니다. 이는 정확히 똑같은 모양의 글자가 두 가지 완전히 다른 방식으로 발음될 수 있으며, 각 발음에 따라 의미가 완전히 달라지는 경우를 말합니다. 만약 영어 단어 'read'가 과거형이든 현재형이든 똑같이 생겼는데, 당신이 오직 문장만을 보고 그것이 어느 쪽인지 맞춰야 한다면 이와 같습니다. 오랫동안 중국어를 이해하려고 노력하던 컴퓨터 모델들은 이 두 가지 결정적인 단서, 즉 글자의 시각적 형태와 구체적인 발음을 놓치고 있었습니다. 그들은 퍼즐 조각의 절반이 빠진 채로 문제를 풀려고 했던 것입니다. 이 논문은 우리가 컴퓨터에게 인간의 언어를 이해하도록 가르치는 분야인 자연어 처리(NLP)의 세계를 파고들어, 로봇에게 모든 글자의 '그림'과 '소리'를 모두 제공하는 것이 훨씬 더 나은 독해력을 갖추는 데 도움이 되는지 살펴봅니다.

논문의 핵심 아이디어: 컴퓨터에게 눈과 귀를 달아주기

Shannon.AI 및 절강대학교(Zhejiang University)와 협력하여 이 논문을 작성한 연구진은 기존의 중국어 컴퓨터 모델들이 이 언어만의 고유한 두 가지 초능력인 **글리프(glyph, 글자의 모양)**와 **병음(pinyin, 발음)**을 무시하고 있다는 점에 주목했습니다. 그들은 이를 해결하기 위해 ChineseBERT라는 새로운 모델을 구축하기로 했습니다.

표준 컴퓨터 모델을 선생님의 말을 듣고 읽는 법을 배우는 학생이라고 생각해 보세요. 그들은 단어를 듣고 맥락을 암기합니다. 반면, ChineseBERT는 특별한 안경과 초청력 귀를 가진 학생과 같습니다.

• 안경 (글리프 임베딩): 모델은 글자를 마치 하나의 작은 이미지처럼 봅니다. 단순히 코드로 보는 것이 아니라 실제 형태를 보는 것입니다. 연구진은 모든 글자에 대해 세 가지 다른 '폰트'(정체, 행서, 전서 스타일 등)를 모델에 입력했습니다. 이러한 시각적 형태를 봄으로써, 모델은 설령 문장에서 함께 본 적이 없더라도 '물' 부수가 있는 글자들이 서로 연관되어 있음을 배웁니다. 이는 마치 물고기 그림과 고래 그림이 이름은 몰라도 둘 다 지느러미가 있기 때문에 서로 관련이 있다는 것을 인식하는 것과 같습니다.
• 귀 (병음 임베딩): 모델은 또한 소리를 듣습니다. 이는 까다로운 '다음자'를 처리하는 데 매우 중요합니다. 만약 '乐'이라는 글자가 나타나면, 모델은 발음을 확인합니다. 'yuè'(음악)인가요, 아니면 'lè'(즐겁다)인가요? 소리는 모델에게 정확히 어떤 의미를 선택해야 하는지 알려주며, 시각적 형태만으로는 해결할 수 없는 문제를 해결해 줍니다.

연구팀은 이 세 가지 요소—표준 글자 코드, 시각적 형태, 그리고 소리—를 하나의 '융합(fusion)' 슈퍼 임베딩으로 결합했습니다. 이는 로봇이 읽는 모든 글자에 대해 정보가 세 겹으로 쌓인 샌드위치를 주는 것과 같습니다.

연구 결과: 더 똑똑하고, 빠르고, 정확하게

연구진은 인터넷에서 수집한 40억 개의 방대한 중국어 글자 라이브러리를 사용하여 이 새로운 ChineseBERT 모델을 학습시켰습니다. 거기서 멈추지 않고, 독해부터 텍스트 내 이름 식별까지 다양한 작업에서 기존의 최고 모델들(ERNIE 및 BERT-wwm 등)과 비교 테스트를 진행했습니다.

실험 결과는 다음과 같습니다:

• 속도의 제왕: ChineseBERT는 다른 모델들보다 **더 적은 학습 단계(training steps)**로 최상위권의 결과를 달성했습니다. 다른 모델들이 학습을 위해 수백만 단계를 거쳐야 했던 반면, ChineseBERT는 더 빨리 목표에 도달했습니다. 이는 마치 로봇이 더 좋은 학습 자료를 가졌기에 언어를 절반의 시간 만에 배운 것과 같습니다.
• 독해의 승자: 기계 독해 작업(텍스트를 바탕으로 질문에 답하기)에서 ChineseBERT는 신기록을 세웠습니다. 예를 들어, CMRC 2018 데이터셋에서 ChineseBERT의 'Large' 버전은 이전 최고 점수인 77.95를 넘어 78.05를 기록했습니다. CJRC 데이터셋에서도 정답 점수를 67.0으로 높이며 경쟁 모델들을 앞질렀습니다.
• 뉘앙스를 이해함: 자연어 추론(한 문장이 다른 문장을 증명하는지 판단하는 작업)과 같은 과제에서도 ChineseBERT는 81.6점을 기록하며 다음 순위의 모델을 제치고 1위를 차지했습니다.
• "적을수록 좋다" 효과: 연구진은 모델에게 점점 더 적은 학습 데이터를 제공하는 흥미로운 실험을 진행했습니다. 그 결과, 일반적인 데이터의 **30%**만 사용하더라도 ChineseBERT가 다른 모델들보다 더 뛰어난 성능을 보인다는 것을 발견했습니다. 이는 시각적 및 청각적 단서가 일종의 '정규화 도구(regularizer)' 역할을 하여, 모든 것을 암기하지 않고도 언어의 규칙을 더 효율적으로 배울 수 있도록 돕는 정신적 가이드라인이 된다는 것을 시사합니다.

논문이 배제하거나 명확히 한 점들

이 논문은 무엇이 효과가 없거나 주요 초점이 아닌지를 신중하게 지적합니다.

• 단순히 데이터 양의 문제가 아님: 저자들은 단순히 더 많은 텍스트를 추가하는 것만이 개선 방법은 아니라고 명시적으로 주장합니다. 그들의 모델은 올바른 종류의 정보(글리프와 병음)를 추가하는 것이 표준 모델에 단순히 더 많은 원시 텍스트를 쏟아붓는 것보다 더 효과적임을 입증했습니다.
• 모든 것에 대한 마법의 해결책은 아님: ChineseBERT가 매우 강력하지만, 논문은 기초적인 감성 분석(기존 모델의 성능이 이미 95% 이상인 간단한 작업)과 같은 일부 매우 단순한 작업에서는 개선 정도가 "미미하다(marginal)"고 언급했습니다. 큰 승리는 글자의 형태나 소리를 이해하는 것이 결정적인 복잡한 작업에서 나타납니다.
• 기존 모델의 단순한 복제본이 아님: 연구진은 글리프나 병음 부분을 제거하면 모델의 성능이 현저히 떨어진다는 것을 보여주었습니다. 실제로 두 요소를 모두 제거했을 때 F1 점수(정확도를 측정하는 척도)가 약 2점 하락했습니다. 이는 모델이 단순히 "운이 좋았던" 것이 아니라, 최상의 성능을 내기 위해 시각적 및 청각적 특징이 진정으로 필요하다는 것을 증명합니다.

결론

이 논문은 ChineseBERT가 중국어의 고유한 특성을 존중함으로써 중요한 진전을 이루었다고 결론짓습니다. 글자를 사진이자 소리로 취급함으로써, 이 모델은 글자를 단순한 코드의 나열로만 보는 모델보다 언어의 "영혼"을 더 잘 포착합니다. 저자들은 이러한 시각적 및 음성적 특징이 컴퓨터가 중국어의 의미를 이해하는 데 도움을 주는 강력한 도구로 작용하여, 더 빠르고 정확하게 학습할 수 있게 한다고 제안합니다. 향후 더 큰 규모의 모델을 학습시킬 계획이지만, 이번 연구는 때때로 기계에게 언어를 가르치기 위해서는 그림을 볼 수 있는 눈과 소리를 들을 수 있는 귀를 주어야 한다는 것을 보여줍니다.