The Morphological Core of Dungan: A Two-Dialect Finite-State Model and a Multi-Genre Evaluation

당신이 마치 범죄 현장을 조사하는 탐정이 된 것처럼 상상해 보세요. 하지만 당신의 범죄 현장은 범죄가 아니라 '언어'입니다. 이 논문은 과학자들이 인간의 언어가 어떻게 작동하는지 이해하기 위해 디지털 도구를 만드는 분야인 계산 언어학의 세계에 살고 있습니다. 이 미스터리를 풀기 위해 그들은 **유한 상태 모델(finite-state model)**이라는 특정 유형의 도구를 사용합니다. 이 모델은 마치 매우 잘 정리된 도서관의 카드 목록이나 기차역 노선도와 같습니다. 이 모델은 인간처럼 문장의 '의미'를 이해하려고 노력하는 것이 아니라, 단어가 특정 패턴에 부합하는지만 확인합니다. 모델은 다음과 같이 묻습니다. "이 단어는 어근(몸통 부분)과 태그(끝에 붙는 작은 조각)를 가지고 있는가?" 만약 패턴이 일치하면, 도구는 "확인 완료!"라고 말합니다. 그렇지 않으면 "이것은 모르는 것이다"라고 말합니다.

왜 사람들이 이것에 관심을 가질까요? 왜냐하면 많은 언어에 사전과 문법책은 있지만, 이러한 디지털 지도는 없기 때문입니다. 이 지도가 없다면 컴퓨터는 해당 언어로 번역하거나, 맞춤법을 검사하거나, 텍스트를 효과적으로 검색할 수 없습니다. 이 논문이 다루는 질문은 단순하지만 까다롭습니다. 언어의 실제 구성 요소 중 얼마나 많은 부분이 이러한 패턴화된 작은 조각들로 이루어져 있으며, 얼마나 많은 부분이 그저 거대한 고유 단어들의 목록인가 하는 점입니다. 만약 언어가 주로 패턴으로 이루어져 있다면, "지도"는 작고 깔끔할 수 있습니다. 만약 언어가 주로 고유한 단어들로 이루어져 있다면, "지도"는 거대해져야 합니다.

---

둥간어(Dungan)의 미스터리

중앙아시아의 무슬림 공동체가 100년 전쯤 그곳으로 이주하며 사용하게 된 둥간어를 만나보세요. 둥간어는 중국어(만다린)의 친척이지만, 한 가지 반전이 있습니다. 중국어의 한자를 사용하는 대신, 그들은 키릴 문자(러시아어에서 사용하는 것과 같은 스크립트)를 사용하여 글을 씁니다. 둥간어는 한자를 버리고 단어를 구별하는 데 도움을 주는 성조를 없앴기 때문에, 종이 위에서는 많은 글자가 똑같이 보이는 "누구일까?(Guess Who?)" 게임과 비슷합니다.

이 논문의 저자인 안톤(Anton)과 세르게이(Sergey)는 둥간어의 문법이 실제 생활에서 어떻게 작동하는지 정확히 알아보기 위해 디지털 "지도"(유한 상태 분석기)를 구축하기로 했습니다. 그들은 새로운 규칙을 발명하려는 것이 아니라, 이미 오래된 문법책에 적힌 규칙들을 가져와서 언어를 측정할 수 있는 작동하는 기계로 바꾸고자 했습니다. 그들은 두 가지 주요 방언인 간수(Gansu) 변이형(표준, 문어체 버전)과 산시(Shaanxi) 변이형을 위해 이 지도를 만들었습니다.

거대한 발견: 아주 작은 핵심과 거대한 어휘집

그들이 세 가지 유형의 텍스트(백과사전, 민담, 종교적 서사)에서 추출한 수천 개의 문장에 대해 이 지도를 실행했을 때, 놀라운 사실을 발견했습니다.

1. "보이지 않는" 문법
많은 언어에서 단어는 끊임없이 형태를 바꿉니다(예: "walk"가 "walked", "walking", "walks"가 되는 것). 둥간어에서는 이런 일이 매우 드물게 일어납니다. 저자들은 백과사전 텍스트에서 **단 9.3%**의 단어만이 눈에 보이는 "태그"를 달고 있다는 것을 발견했습니다. 민담에서는 **13.4%**였고, 종교적 서사에서는 **27.1%**였습니다.

• 비유: 어떤 도시의 건물 90%가 아무런 장식 없는 평범한 블록이라고 상상해 보세요. 오직 몇몇 건물만이 꼭대기에 특별한 깃발이나 장식을 달고 있습니다. 둥간어의 "문법"은 바로 그 몇 안 되는 깃발들입니다. 대부분의 경우, 단어들은 변화 없이 그 자리에 그대로 놓여 있습니다.

2. "두 개의 클리틱(Clitic)" 모호성
단어가 변하는 경우가 매우 드물기 때문에, 일단 변하게 되면 혼란이 생길 수 있습니다. 저자들은 도구가 인식한 단어 중 **78.1%**가 오직 하나의 가능한 의미만을 가진다는 것을 발견했습니다. 이는 매우 명확한 신호입니다! 그러나 남은 혼란은 거의 전적으로 두 개의 아주 작은 단어 조각(클리틱)에 쏠려 있었습니다: 바로 -di와 -ni입니다.

• 비유: 78%의 시간 동안 완벽하게 작동하는 신호등을 상상해 보세요. 유일하게 혼란스러운 때는 신호등이 "노란색"이나 "빨간색"에 멈춰서, 그것이 "정지"를 의미하는지 "진행"을 의미하는지 아무도 모를 때입니다. 둥간어에서 작은 조각 -di는 "속해 있음"(속격) 또는 "현재 진행 중"(진행상)을 의미할 수 있고, -ni는 "장소에 있음"(처소격) 또는 "곧 일어날 것"(미래상)을 의미할 수 있습니다. 컴퓨터는 더 많은 문맥 없이는 차이를 구분할 수 없지만, 적어도 어디에서 혼란이 발생하는지는 알고 있습니다.

3. "닫힌" 핵심
가장 중요한 발견은 그들의 지도가 얼마나 "완전한가"에 관한 것입니다. 그들은 이렇게 물었습니다. "컴퓨터가 단어를 인식하지 못할 때, 그것은 문법 규칙이 없어서인가, 아니면 단어 자체가 새로운 것인가?"
그들은 컴퓨터가 처리하지 못한 단어 중 78%에서 95% 사이가 단순히 사전에 누락된 단어라는 것을 발견했습니다. 문법 규칙 자체는 "닫혀 있고" 완전했습니다. 모델이 포함하지 못한 것들(예: 일부 희귀한 과거 습관이나 특정 음운 변화)은 실패 원인의 **최대 4.5%**만을 차지했습니다.

• 비유: 당신이 동물원에서 동물을 식별하려고 한다고 상상해 보세요. 당신에게는 사자, 호랑이, 곰을 식별하는 완벽한 가이드북이 있습니다. 만약 당신이 모르는 동물을 보았다면, 그것은 당신의 가이드북에 사자가 걷는 방식에 대한 규칙이 빠져서가 아니라, 당신이 이전에 본 적 없는 새로운 종이기 때문일 가능성이 거의 확실합니다. 둥간어의 "최전선"은 문법이 아니라 어휘입니다.

숫자가 말해주는 것

저자들은 자신들의 도구가 정확히 무엇을 할 수 있는지 측정하기 위해 매우 신중했습니다.

• 커버리지(Coverage): 그들이 한 번도 본 적 없는 새로운 텍텍스트에 지도를 테스트했을 때, 도구는 **80~85%**의 단어를 성공적으로 인식했습니다.
• 형태론의 힘: 만약 그들이 문법 규칙 없이 단어 목록만 사용했다면, **67.4%**의 단어를 인식했을 것입니다. 문법 규칙(형태론)을 추가함으로써 그들은 이 수치를 **72.6%**로 높였습니다. 이는 5.2포인트의 상승입니다. 이는 도움이 되는 상승이지만, 문법이 "얇다"는 것을 증명합니다. 즉, 무거운 짐은 규칙이 아니라 단어 목록이 짊어지고 있다는 뜻입니다.
• 정확도: 도구가 인식한 단어들에 대해서는 적절한 의미를 찾는 데 매우 뛰어났지만, 앞서 언급한 까다로운 -di와 -ni 조각들에서는 가끔 막히기도 했습니다.

결론: 미래를 위한 지도

이 논문은 둥간어의 "형태론적 핵심"이 조밀하고, 특정 범주에서만 생산적이며, 효과적으로 닫혀 있다고 결론짓습니다. 문법은 단순하고 완성되어 있으며, 과제는 그저 모든 단어를 배우는 것입니다.

저자들은 누구나 사용할 수 있도록 그들의 "지도"(분석기), 코드, 그리고 테스트를 공개했습니다. 그들은 자신들의 작업이 원어민의 최종 판결이 아니라 기록된 책과 사전에 기반한 가설임을 인정합니다. 심지어 원어민들이 참여하여 오류를 수정할 수 있는 "워크시트"도 포함했습니다. 이것은 컴퓨터가 마침내 이 독특한 키릴 문자 기반 언어를 이해할 수 있도록 돕기 위해 구축된 디지털 토대이자 시작점입니다. 열려 있는 최전선은 게임의 규칙이 아니라, 바로 그 게임을 수행하는 플레이어들 자신입니다.