Recent Advancements and Challenges of Turkic Central Asian Language Processing

논문 요약: 중앙아시아 튀르크어족 언어 처리의 최근 진전과 과제

1. 문제 정의 (Problem)

중앙아시아의 주요 튀르크어족 언어인 **카자흐어 (Kazakh), 우즈베크어 (Uzbek), 키르기스어 (Kyrgyz), 투르크멘어 (Turkmen)**는 자연어 처리 (NLP) 분야에서 전형적인 저자원 (Low-resource) 언어의 도전에 직면해 있습니다.

• 데이터 부족: 고자원 언어 (예: 영어, 터키어) 에 비해 학습용 대규모 말뭉치와 레이블이 지정된 데이터가 극도로 부족합니다.
• 기술적 한계: 오타 교정기, 가상 비서 등 기본적인 언어 기술의 부재로 인해 지역 언어 정책의 실효성과 언어의 디지털화 역할이 약화되고 있습니다.
• 언어적 복잡성: 이러한 언어들은 교착어 (Agglutinative) 특성을 가지며, 복잡한 형태소 구조와 모음 조화 (Vowel Harmony) 로 인해 기계 번역, 개체명 인식 (NER) 등의 태스크에서 처리 난이도가 높습니다.
• 스크립트 불일치: 우즈베크어는 라틴 문자를 사용하는 반면, 카자흐어는 여전히 키릴 문자를 주로 사용하며, 투르크멘어 등 다른 언어들도 다양한 문자 체계를 혼용하고 있어 모델 전이 학습 (Transfer Learning) 에 장벽이 됩니다.

2. 방법론 (Methodology)

저자들은 중앙아시아 튀르크어족 언어의 NLP 현황을 종합적으로 분석하기 위해 다음과 같은 접근 방식을 취했습니다.

• 문헌 및 리소스 조사: ACL, EMNLP, LREC 등 주요 NLP 컨퍼런스, GitHub, Hugging Face, arXiv 등을 대상으로 2024 년 11 월까지의 관련 논문, 데이터셋, 모델을 체계적으로 검색 및 분류했습니다.
• 언어학적 특징 분석: 카자흐어, 우즈베크어, 키르기스어, 투르크멘어의 문법적 특징 (어순, 조사, 접사 수 등) 을 터키어 및 서로 간에 비교하여 전이 학습의 잠재적 가능성을 평가했습니다.
• 데이터 가용성 분류: 각 언어별 데이터의 양과 질을 분석하여 Joshi et al. (2020) 의 분류 체계 ('Rising Star', 'Hopeful', 'Scraping-Bys') 에 따라 언어별 상태를 평가했습니다.
• 기술 스택 평가: 자동 음성 인식 (ASR), 기계 번역 (MT), 텍스트 생성 등 하위 태스크별 현재 존재하는 기술과 모델의 성능을 검토했습니다.

3. 주요 기여 (Key Contributions)

이 논문은 중앙아시아 튀르크어족 언어 처리 분야에서 다음과 같은 핵심 기여를 제공합니다:

• 포괄적인 리소스 매핑: 카자흐어, 우즈베크어, 키르기스어, 투르크멘어별 가용 데이터셋과 기술 현황을 체계적으로 정리한 최초의 종합 개요를 제시했습니다.
• 언어별 차별화된 현황 분석:
  • 카자흐어: 가장 풍부한 리소스를 보유 ('Rising Star'). 대규모 말뭉치, 멀티모달 데이터 (음성, 수화, 손글씨), NER/QA/감성 분석 등 다양한 태스크용 데이터셋이 존재합니다.
  • 우즈베크어: 'Hopeful'로 분류. 감성 분석 및 텍스트 분류 데이터가 존재하며, UzBERT 와 같은 사전 학습 모델이 개발되었습니다.
  • 키르기스어 및 투르크멘어: 'Scraping-Bys'로 분류. 데이터가 극히 부족하며, 대부분 웹 크롤링 데이터에 의존하고 있어 체계적인 데이터 수집이 시급합니다.
• 전이 학습 및 데이터 증강 전략 제안:
  • 고자원인 터키어나 상대적으로 자원이 풍부한 카자흐어에서 다른 언어로의 전이 학습이 효과적일 수 있음을 강조했습니다.
  • 데이터 부족을 해결하기 위해 데이터 증강 (Data Augmentation), R-Drop 정규화, 전사 (Transliteration) 등의 기법 활용을 제안했습니다.
• 장벽 요인 규명: 소련 시대 이후 러시아어의 우세, 인터넷 접근성 부족 (특히 투르크메니스탄, 키르기스스탄), AI 특화 정책 및 교육 부재가 데이터 부족의 근본 원인임을 분석했습니다.

4. 주요 결과 (Results)

• 기술 발전 격차:
  • 카자흐어: ASR 오차율 (WER) 이 7.2% 수준까지 개선되었으며, 기계 번역 분야에서 구글/야ндекс보다 성능이 우수한 'Tilmash' 모델이 개발되었습니다. 또한, KazNERD(개체명 인식), KazQAD(질문 응답) 등 다양한 태스크용 벤치마크가 구축되었습니다.
  • 우즈베크어: UzBERT, BERTBek 등 사전 학습 모델이 존재하며, ASR 성능이 14.3% WER 수준으로 개선되었습니다.
  • 키르기스어/투르크멘어: 기계 번역이나 ASR 등 주요 태스크에 대한 체계적인 연구나 공개된 모델이 거의 없으며, 기존 모델의 파인튜닝 연구도 미미합니다.
• 데이터 불균형: 카자흐어는 멀티모달 데이터 (음성, 수화, 텍스트) 가 풍부하지만, 라벨링된 하위 태스크 데이터는 여전히 부족합니다. 반면 투르크멘어는 웹 크롤링 데이터 외에는 거의 자원이 없습니다.
• 전이 학습의 유효성: 언어적 유사성 (교착어 특성, SOV 어순) 으로 인해 터키어나 카자흐어에서 키르기스어 등으로의 전이 학습이 효과적일 것으로 예상되지만, 스크립트 불일치 (키릴 vs 라틴) 로 인한 전처리 필요성이 지적되었습니다.

5. 의의 및 시사점 (Significance)

• 연구 방향 제시: 중앙아시아 튀르크어족 언어의 NLP 연구가 나아가야 할 방향 (데이터 수집 우선, 카자흐어 기반 전이 학습, LLM 을 활용한 데이터 증강 등) 을 명확히 제시하여 향후 연구자들의 로드맵을 제공합니다.
• 디지털 포용성 증진: 지역 언어의 디지털 기술화를 통해 언어 정책의 실효성을 높이고, 지역 사회의 디지털 격차를 해소하는 데 기여할 수 있는 기반을 마련합니다.
• 저자원 언어 처리 패러다임: 고자원 언어에 의존하지 않고, 언어군 내의 유사한 저자원 언어 간의 상호 학습 (Cross-lingual Transfer) 과 데이터 증강 기법을 결합하여 저자원 언어 처리의 한계를 극복할 수 있음을 보여줍니다.

결론적으로, 이 논문은 카자흐어와 우즈베크어는 상당한 진전을 이루었으나, 키르기스어와 투르크멘어는 여전히 데이터 수집과 인프라 구축이 시급한 상태임을 지적하며, 전이 학습과 멀티모달 데이터 활용을 통한 기술적 발전의 필요성을 강조합니다.