Bridging Gaps in Natural Language Processing for Yorùbá: A Systematic Review of a Decade of Progress and Prospects

요하 (Yorùbá) 언어를 위한 자연어 처리 (NLP) 간극 해소: 10 년간의 진전과 전망에 대한 체계적 문헌 고찰

이 논문은 2014 년부터 2024 년까지 요하 (Yorùbá) 언어를 대상으로 한 자연어 처리 (NLP) 연구의 진전 상황을 체계적으로 분석한 문헌 고찰 (Systematic Literature Review, SLR) 입니다. 저자들은 요하 언어가 가진 독특한 언어적 특성과 자원 부족 (Low-resource) 문제, 그리고 이를 해결하기 위한 기술적 접근법과 향후 과제를 종합적으로 제시합니다.

1. 문제 정의 (Problem Statement)

• 자원 부족 언어 (Low-Resource Language, LRL) 의 한계: 전 세계적으로 NLP 기술이 급격히 발전하고 있지만, 아프리카 언어인 요하어는 데이터 부족, 사전 학습된 언어 모델 (Pre-trained Language Models) 의 부재, 그리고 디지털화되지 않은 상태로 인해 NLP 적용이 제한적입니다.
• 언어적 복잡성: 요하어는 성조 (Tonal) 언어이며, 어미 변화가 풍부한 형태론적 (Morphological) 특징을 가지고 있습니다. 또한, 발음을 구분하는 중요한 요소인 악센트 기호 (Diacritics) 가 필수적이지만, 디지털 환경에서는 종종 생략되어 의미 모호성을 초래합니다.
• 연구의 단편화: 기존 연구들은 기계 번역, 감성 분석, 성조 인식 등 개별 과제에 집중되어 있었으며, 이를 통합하여 요하어 NLP 의 전체적인 현황, 자원, 방법론 및 한계를 체계적으로 분석한 종합적인 연구가 부족했습니다.

2. 연구 방법론 (Methodology)

이 연구는 PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analysis) 가이드라인을 따르는 체계적 문헌 고찰을 수행했습니다.

• 데이터 수집: Web of Science, Scopus, ACL Anthology, Google Scholar 등 9 개의 주요 학술 데이터베이스를 활용했습니다.
• 검색 전략: "Natural Language Processing", "Yorùbá", "Machine Learning" 등의 키워드를 조합하여 2014 년부터 2024 년까지 출판된 논문을 검색했습니다.
• 선정 기준:
  • 포함 기준: 요하어 NLP 솔루션, 태스크, 방법론을 다루는 연구 (2014~2024 년, 영어로 출판된 동료 검토 논문 및 컨퍼런스 논문).
  • 제외 기준: 요하어가 주제가 아닌 연구, 이론적 연구 (실제 평가 결과 부재), 2014 년 이전 논문, 비동료 검토 자료 (논문, 리뷰 등).
• 분석 과정: 초기 3,144 건의 논문 중 중복 제거 및 엄격한 선정 기준을 거쳐 최종 105 건의 1 차 연구 (Primary Studies) 를 선정했습니다.
• 품질 평가: 연구의 신뢰성을 확보하기 위해 8 가지 영역 (연구 목표, 방법론, 문서화 등) 에 대한 품질 체크리스트를 적용하여 점수를 매겼으며, 모든 선정된 논문이 높은 품질 기준을 충족했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 다루어진 NLP 태스크 (RQ1)
요하어 NLP 연구는 다음과 같은 주요 영역으로 확장되었습니다:

• 기계 번역 (Machine Translation): 가장 활발한 분야로, 규칙 기반 (RBMT), 통계적 (SMT), 신경망 (NMT) 및 하이브리드 방식이 연구되었습니다.
• 음성 처리: 텍스트 - 음성 합성 (TTS), 자동 음성 인식 (ASR), 성조 인식, 화자 인식 등이 다뤄졌습니다.
• 텍스트 처리: 품사 태깅 (POS Tagging), 개체명 인식 (NER), 감성 분석, 철자 교정, 문장 분할 (Syllabification), 성조 복원 (Diacritic restoration) 등이 수행되었습니다.
• 정보 검색 및 질문 응답: 크로스 링구얼 (Cross-lingual) 정보 검색 및 질문 응답 시스템이 개발되었습니다.

나. 활용된 기술 (RQ2)

• 기술의 진화: 초기에는 규칙 기반 (Rule-based) 방법이 주를 이뤘으나, 점차 통계적 모델, 지도/비지도 학습, 그리고 최근에는 딥러닝 (RNN, LSTM, Transformer) 과 전이 학습 (Transfer Learning) 이 주류가 되었습니다.
• 전이 학습의 중요성: 고자원 언어 (영어 등) 로 사전 학습된 다국어 모델 (mBERT, XLM-R, AfriBERTa 등) 을 요하어에 파인튜닝 (Fine-tuning) 하는 방식이 자원 부족 문제를 해결하는 핵심 전략으로 부각되었습니다.

다. 이용 가능한 언어 자원 (RQ3)
연구 기간 동안 다양한 데이터셋과 리소스가 개발되었습니다:

• 텍스트 코퍼스: MENYO-20k(병렬 코퍼스), MasakhaNER(개체명 인식), AfriSenti(감성 분석), W´URA`(다국어 사전 학습 코퍼스) 등.
• 음성 코퍼스: IroyınSpeech, Lagos-NWU Yorub´a Speech Corpus, BibleTTS` 등 TTS 및 ASR 연구에 활용되는 고음질 음성 데이터.
• 특수 목적 데이터: 시각적 기반 음성 데이터 (YFACC), 의료/교육용 음성 데이터 (Antenatal Orientation Speech Dataset) 등.
• 한계: 대부분의 데이터셋이 소규모이거나 특정 도메인에 국한되어 있으며, 표준화된 벤치마크가 부족합니다.

라. 주요 도전 과제 (RQ4)

• 언어적 도전: 성조 (Tone) 와 악센트 기호 (Diacritics) 의 복잡성, 형태론적 구조의 난해함, 그리고 영어와의 코드 스위칭 (Code-switching) 현상이 NLP 모델의 정확도를 떨어뜨리는 주요 요인입니다.
• 자원 및 기술적 도전: 고품질의 대규모 어노테이션 데이터 부족, 요하어 전용 전처리 툴 및 사전 학습 모델의 부재.
• 사회문화적 요인: 디지털 환경에서 영어 사용 선호 경향과 젊은 세대의 요하어 사용 감소가 데이터 확보를 어렵게 만듭니다.

4. 연구의 의의 및 시사점 (Significance)

• 종합적 지도 제공: 요하어 NLP 연구의 현재 상태, 성취된 바, 그리고 남은 간극 (Gap) 을 명확히 보여주는 최초의 체계적인 지도를 제공합니다.
• 저자원 언어 연구의 모델: 요하어에서 발견된 방법론 (전이 학습, 다국어 사전 학습, 커뮤니티 기반 데이터 수집 등) 은 다른 아프리카 언어 (이그보어, 하우사어 등) 및 전 세계 저자원 언어 연구에 적용 가능한 모델이 됩니다.
• 미래 연구 방향 제시:
  • 새로운 태스크 확장: 혐오 표현 탐지, 풍자 (Sarcasm) 감지, 대화형 AI (Dialogue Systems), 멀티모달 NLP 등 미개척 분야로의 연구 확대 필요.
  • 자원 개발: 대규모 고품질 데이터셋 구축, 요하어 전용 LLM 개발, 성조 및 악센트 기호를 고려한 모델 아키텍처 개선.
  • 사회적 통합: 문화적 맥락을 고려한 모델 개발을 통해 디지털 격차를 해소하고 언어 보존에 기여해야 함을 강조합니다.

결론적으로, 이 논문은 요하어 NLP 가 초기 단계에서 성숙 단계로 넘어가는 과도기에 있으며, 기술적 혁신과 커뮤니티 협력, 그리고 문화적 이해가 결합될 때 비로소 진정한 디지털 포용과 언어 보존이 가능함을 시사합니다.