YoNER: A New Yorùbá Multi-domain Named Entity Recognition Dataset

1. 연구 배경 및 문제 제기 (Problem)

• 저자원 언어의 NER 한계: 이름 개체 인식 (NER) 은 정보 추출, 질문 응답 등 NLP 의 핵심 작업이지만, 요루바어 (Yorùbá) 와 같은 저자원 언어에서는 데이터 자원이 극히 제한적입니다.
• 도메인 편향성: 기존 요루바어 NER 데이터셋 (MasakhaNER, WikiAnn 등) 은 주로 뉴스 도메인이나 위키백과에 국한되어 있습니다. 이는 실제 언어 사용이 다양한 블로그, 영화, 라디오, 성경 등 다양한 분야에서 이루어진다는 점을 고려할 때 모델의 일반화 능력을 떨어뜨립니다.
• 기존 데이터의 결함: WikiAnn 은 위키백과 기반 자동 주석으로 품질과 양이 부족하며, MasakhaNER 은 뉴스 도메인에만 집중되어 있어 다른 도메인 (특히 비공식적 구어체나 문화적 콘텐츠) 으로의 전이 학습 (Transfer Learning) 성능이 낮을 것으로 예상됩니다.

2. 방법론 (Methodology)

2.1. YoNER 데이터셋 구축

• 데이터 수집: 요루바어 원어민 화자가 5 가지 주요 도메인에서 텍스트를 수집하여 총 5,148 문장 (약 100,795 토큰) 규모의 데이터셋을 구성했습니다.
  • 도메인: 성경 (Bible), 블로그 (Blogs), 영화 (Movies), 라디오 방송 (Radio), 위키백과 (Wikipedia).
  • 주석 (Annotation): 3 명의 요루바어 원어민이 CoNLL 스타일 가이드라인에 따라 인명 (PER), 조직 (ORG), 위치 (LOC) 3 가지 개체 유형으로 수동 주석을 수행했습니다.
  • 품질 관리: 토큰 수준에서 Fleiss' Kappa(0.70~0.88) 로 높은 일치를 보였으나, 개체 경계 (Span) 수준에서는 다소 낮은 일치율을 보였으며, 다수결 투표를 통해 최종 금표준 (Gold-standard) 라벨을 확정했습니다.
• 데이터 분할: 각 도메인별로 학습 (200 문장), 개발 (100 문장), 테스트 (500~1,128 문장) 세트로 분할되었습니다.

2.2. 실험 설정

• 크로스-도메인 전이 평가: MasakhaNER 2.0(뉴스 도메인) 으로 학습된 다양한 트랜스포머 모델 (mBERT, XLM-R, AfroXLMR 등) 을 YoNER 의 다른 도메인에서 평가하여 도메인 간 전이 성능을 측정했습니다.
• 소량 도메인 데이터의 영향: 각 YoNER 도메인의 학습 데이터 (200 문장) 만을 사용하여 모델을 미세 조정 (Fine-tuning) 하고, 이것이 도메인 내 및 도메인 간 성능에 미치는 영향을 분석했습니다.
• 단일 언어 vs 다국어 모델 비교:
  • OyoBERT 개발: 요루바어 전용 BERT 모델 (OyoBERT) 을 사전 학습했습니다. 학습 데이터로 mC4, 위키백과, BBC 요루바 뉴스 등을 활용하고, NLLB 모델을 통한 기계 번역 (MT) 생성 데이터 (1GB 이상) 를 추가하여 데이터 양을 확장했습니다.
  • 비교 대상: OyoBERT(단일 언어) 와 AfroXLMR(아프리카 중심 다국어), XLM-R(일반 다국어) 등을 비교했습니다.
  • 영어 비교 실험: 동일한 저자원 설정 (영어 CoNLL, OntoNotes 등) 에서 RoBERTa-large(단일 언어) 와 XLM-R-large(다국어) 를 비교하여 요루바어 실험 결과의 보편성을 검증했습니다.

3. 주요 기여 (Key Contributions)

1. YoNER 데이터셋 공개: 요루바어 최초의 다도메인 (Multi-domain) 수동 주석 NER 데이터셋을 공개했습니다. 뉴스와 위키백과를 넘어 성경, 블로그, 영화, 라디오 등 다양한 언어 스타일과 문화적 맥락을 포함합니다.
2. OyoBERT 모델 공개: 요루바어에 특화된 사전 학습 언어 모델 (OyoBERT-base, OyoBERT-large) 을 개발하여 공개했습니다. 이는 아프리카 중심 모델 (AfroXLMR) 보다 적은 파라미터로 더 나은 성능을 보였습니다.
3. 크로스-도메인 및 크로스-링구얼 분석: 저자원 환경에서 도메인 간 전이, 소량 데이터의 효과, 단일 언어 vs 다국어 모델의 성능 차이를 체계적으로 분석한 벤치마크를 제시했습니다.

4. 실험 결과 (Results)

• African-centric 모델의 우위: 일반 다국어 모델 (mBERT, XLM-R) 보다 아프리카 중심 모델 (AfroXLMR 등) 이 요루바어 NER 작업에서 전반적으로 우수한 성능을 보였습니다. 특히 XLM-R 은 요루바어가 사전 학습 언어에 포함되지 않아 성능이 낮았습니다.
• 도메인 전이 성능의 불균형:
  • 뉴스 (News) → 위키백과 (Wiki) / 성경 (Bible): 형식적인 텍스트 간의 전이는 상대적으로 잘 이루어졌습니다.
  • 뉴스 → 블로그 (Blog) / 영화 (Movie): 성능이 급격히 하락했습니다. 특히 블로그와 영화 도메인은 개체 수가 적고 비공식적 언어 (슬랭, 코드 믹싱) 가 많아 전이가 매우 어려웠습니다.
• 소량 데이터의 효과: 각 도메인의 소량 데이터 (200 문장) 를 추가 학습하면 도메인 내 성능이 크게 향상되었으나, 다른 도메인으로의 전이에는 한계가 있었습니다.
• 단일 언어 vs 다국어 모델:
  • 저자원 환경 (소량 학습 데이터): 요루바어 전용 모델 (OyoBERT) 이 다국어 모델 (AfroXLMR) 보다 도메인 내 (In-domain) 성능이 더 좋았습니다. 특히 영화, 라디오 등 문화적 특성이 강한 도메인에서 두드러졌습니다.
  • 다도메인 환경: 학습 데이터가 풍부해지면 (모든 도메인 합침), 다국어 모델이 더 넓은 범위의 데이터를 학습하여 평균 성능이 단일 언어 모델을 앞지르는 경향을 보였습니다.
• 크로스-링구얼 vs 크로스-도메인: 같은 언어 내에서의 도메인 전이 (요루바어 뉴스 → 요루바어 블로그) 가 다른 언어에서의 전이 (영어 뉴스 → 요루바어 블로그) 보다 더 효과적이었습니다.

5. 의의 및 결론 (Significance)

• 저자원 언어 NLP 의 새로운 기준: 요루바어뿐만 아니라 다른 아프리카 저자원 언어의 NLP 연구에 있어 다도메인 데이터의 중요성을 강조했습니다. 뉴스 도메인만으로는 실제 언어 사용을 포괄할 수 없음을 입증했습니다.
• 문화적 맥락의 중요성: 요루바어와 같은 언어는 문화적 배경 (영화, 라디오, 종교 텍스트) 이 언어 표현에 큰 영향을 미치므로, 이를 반영한 데이터와 모델 (OyoBERT) 이 필수적임을 보여주었습니다.
• 향후 연구 방향:
  • 현재 데이터셋은 ORG(조직) 개체가 일부 도메인에서 부족하고 DATE(날짜) 개체가 전혀 포함되어 있지 않아, 향후 더 다양한 개체 유형과 도메인으로 확장 필요.
  • 대규모 언어 모델 (LLM) 에 대한 평가 및 전이 학습 연구가 필요함.
  • OyoBERT 와 YoNER 를 기반으로 한 Few-shot NER 연구가 저자원 아프리카 언어 발전에 기여할 것으로 기대됨.

이 논문은 요루바어 NLP 생태계에 필수적인 인프라 (데이터셋 및 모델) 를 제공하며, 저자원 언어의 다도메인 처리를 위한 중요한 통찰을 제공합니다.