The Thiomi Dataset: A Large-Scale Multimodal Corpus for Low-Resource African Languages

Thiomi 데이터셋: 저자원 아프리카 언어를 위한 대규모 멀티모달 말뭉치

1. 문제 제기 (Problem)

• 데이터 불균형: 전 세계 약 7,000 개 언어 중 NLP(자연어 처리) 자원을 갖춘 언어는 100 개 미만입니다. 특히 14 억 명 이상이 사용하는 2,000 여 개의 아프리카 언어는 극심하게 소외되어 있습니다.
• 기존 데이터의 한계: 스와힐리어 (Swahili) 와 같이 화자 수가 많은 언어조차 프랑스어나 포르투갈어에 비해 데이터 자원이 턱없이 부족합니다. 최근 FLORES, FLEURS, MMS 등의 프로젝트가 진행되었으나, 평가 벤치마크는 빠르게 성장하는 반면 훈련 데이터는 부족하거나 텍스트 모달리티에 치중되어 있으며, 동부 아프리카 언어를 포괄하는 통합 (텍스트 + 오디오) 데이터셋은 부재했습니다.
• 기술적 격차: 자동 음성 인식 (ASR), 기계 번역 (MT), 텍스트 음성 변환 (TTS) 과 같은 현대 NLP 기술은 유럽 및 아시아 언어에는 널리 배포되지만, 아프리카 언어 화자들은 이러한 혜택에서 배제되고 있습니다.

2. 방법론 (Methodology)

2.1 데이터 수집 플랫폼 및 아키텍처

• 모바일 퍼스트 (Mobile-First) 플랫폼: 저대역폭 환경에서도 작동하도록 설계된 웹 기반 모바일 애플리케이션을 구축했습니다. 오프라인 지원 기능을 포함하여 동부 아프리카의 모바일 인터넷 접근성을 극대화했습니다.
• 커뮤니티 기반 수집: 100 명 이상의 기여자 (대학 파트너십, 지역 언어 조직, 디아스포라 네트워크를 통해 모집) 가 참여했으며, 기여당 현지 최저임금 이상의 보상을 제공했습니다.
• 이중 파이프라인 수집 전략:
  1. 텍스트 우선 (Translation-Based): 10 만 개의 큐레이션된 영어 문장을 10 개 도메인 (일상생활, 건강, 농업 등) 으로 나누어 커뮤니티가 번역하고, 동료 검증 (Peer Validation) 을 거친 후 오디오 녹음.
  2. 오디오 우선 (Audio-First): 커뮤니티 구성원이 모국어로 자발적/촉진된 음성을 녹음하고, 다른 구성원이 전사 (Transcription) 하는 방식. 이는 구어체, 방언, 비표준화된 언어 (마사이, 킵시기시 등) 의 자연스러운 패턴을 포착하기 위함입니다.

2.2 품질 보증 (Quality Assurance) 파이프라인

• 4 단계 QA 프로세스:
  1. 자동 검사: 길이, 비어있는 내용, 문자 집합 유효성 확인.
  2. 동료 심사 (Peer Moderation): 모든 제출 문장에 대해 동일 언어 커뮤니티의 다른 기여자가 유창성, 정확성, 도메인 적합성을 100% 검토.
  3. 전문가 검토 (Expert Review): 동료 심사를 통과한 문장의 10% 를 언어학자가 무작위 추출하여 문법, 어휘, 문화적 뉘앙스, 철자 일관성을 검증.
  4. 최종 승인: 동료 심사와 전문가 검토 (해당 시) 를 모두 통과한 데이터만 최종 데이터셋에 포함.
• 오디오 처리: VAD(음성 활동 감지) 를 활용한 자동 세그멘테이션으로 수동 작업량을 80% 절감, SNR 필터링 (15dB 미만 경고, 10dB 미만 거부), 인간 청취 검토 (100% 커버리지) 를 수행.

3. 주요 기여 (Key Contributions)

1. 대규모 멀티모달 말뭉치: 9 개 언어 (스와힐리어, 키퀀유어, 캄바어, 키메루어, 루오어, 마사이어, 킵시기시어, 소말리어, Wolof, Fulani) 에 걸쳐 601,000 개 이상의 승인된 문장과 385,000 개 이상의 오디오 녹음을 제공. (스와힐리어는 기존 Common Voice 데이터로 보강됨).
2. 고품질 데이터 수집 인프라: 모바일 중심의 커뮤니티 플랫폼과 다단계 QA 를 통해 주요 6 개 언어에서 텍스트 승인률 86~100% 를 달성.
3. 벤치마크 모델 및 결과: 10 개 언어에 대한 ASR, MT, TTS 모델의 기본 성능 (Baseline) 을 확립하여 데이터의 유효성을 입증.
4. 동부 아프리카 언어 포괄: 기존 WAXAL(서/중앙 아프리카 중심) 을 보완하여 동부 아프리카 언어 (스와힐리어, 소말리어 등) 에 대한 통합 텍스트 + 오디오 데이터와 파생 모델 성능을 제공.

4. 실험 결과 (Results)

• 자동 음성 인식 (ASR):
  • 스와힐리어: Common Voice 데이터셋에서 **WER(단어 오류율) 3.24%**를 달성. 기존 학술적 SOTA(8.3%) 대비 61% 상대적 개선 (절대적 5.1%p 감소). 이는 추가 자기지도 학습 (CPT) 과 2 만 개의 레이블된 샘플을 활용한 결과입니다.
  • 소말리어: WER 4.3% 달성.
  • 기타 언어: 키퀀유어 (5.5%), 캄바어 (6.2%) 등 6 개 언어에 대해 최초로 공개된 성능 수치를 제시.
• 기계 번역 (MT):
  • NLLB-200 모델을 미세 조정하여 6 개 언어 쌍 (소말리아어↔영어, 스와힐리어↔영어 등) 에서 테스트.
  • 소말리아어→영어 번역에서 BLEU 64.2점을 기록하여 고품질 번역 성능을 입증.
• 텍스트 음성 변환 (TTS):
  • VITS 모델을 사용하여 10 개 언어에 대한 TTS 모델 훈련.
  • 스와힐리어는 MOS(평균 의견 점수) 4.12로 자연스러운 합성음을 구현했으며, 대부분의 언어가 3.5~4.0 범위의 수용 가능한 품질을 보임.

5. 의의 및 결론 (Significance)

• 데이터 기반 NLP 인프라 구축: 커뮤니티 기반 데이터 수집이 저자원 언어에서도 최첨단 (SOTA) 모델 성능을 달성할 수 있음을 입증했습니다.
• 포용적 기술 발전: 동부 및 서부 아프리카의 10 개 주요 언어 (4 개의 어족 포함) 를 아우르는 최초의 대규모 통합 멀티모달 데이터셋으로, 아프리카 언어 기술의 격차를 해소하는 데 기여합니다.
• 공개 및 활용: 데이터셋은 HuggingFace 에서 CC BY 4.0 라이선스로 공개되어 연구 및 상업적 활용이 가능하며, 향후 톤 (Tone) 주석 추가, 언어 확장 (오로모어, 암하라어 등), 표준화된 평가 벤치마크 개발이 계획되어 있습니다.

이 논문은 아프리카 언어 기술의 발전에 있어 데이터의 양과 질, 그리고 커뮤니티 참여의 중요성을 강조하며, 저자원 언어를 위한 NLP 연구의 새로운 기준을 제시합니다.