DATASHI: A Parallel English-Tashlhiyt Corpus for Orthography Normalization and Low-Resource Language Processing

1. 문제 정의 (Problem Statement)

• 저자원 언어의 데이터 부족: 모로코의 주요 베르베르어 (아마지그어) 변이형 중 하나인 타슈리트 (Tashlhiyt) 는 수백만 명의 화자가 있지만, 디지털 자원과 계산 언어학 연구에서 극심하게 소외되어 있습니다. 기존 NLP 데이터셋은 규모가 작거나, 주제가 제한적이며, 표준화가 부족하여 재현 가능한 평가와 대규모 모델 학습에 적합하지 않습니다.
• 표기법 (Orthography) 의 혼란: 타슈리트어는 라틴 문자, 신-티피나그 (Neo-Tifinagh), 아랍 문자 등 다양한 문자 체계가 혼재되어 있으며, 특히 소셜 미디어 등 비공식적 환경에서는 표준화되지 않은 사용자 생성 텍스트 (숫자나 특수 기호 사용 등) 가 광범위하게 사용됩니다. 이로 인해 토큰화, 정렬, 번역 등 하위 NLP 작업의 성능이 크게 저하됩니다.
• 표준화 도구의 부재: 기존 연구는 주로 소규모 병렬 코퍼스나 어휘 분석에 집중되어 있었으며, 비표준 텍스트를 표준 형태로 매핑하는 정규화 (Normalization) 를 위한 체계적인 데이터와 평가 기준이 부재했습니다.

2. 방법론 (Methodology)

2.1. DATASHI 코퍼스 구축

• 데이터 구성: 영어 - 타슈리트어 병렬 코퍼스로, 총 5,000 문장 쌍을 포함합니다.
  • 비표준 데이터: 34 명의 원어민 화자 (비전문가) 가 영어 문장을 자발적인 비표준 표기법으로 전사한 데이터 (실제 언어 사용의 다양성 반영).
  • 표준 데이터: 7 명의 언어 전문가가 비표준 텍스트를 IR CAM(왕립 아마지그 문화 연구소) 의 표준 규칙에 따라 수동으로 정규화한 1,500 문장 쌍의 골드 스탠다드 (Gold Standard) 하위 집합.
• 주제 영역: 가정, 음식, 건강, 기술, 종교 등 20 개의 일상적 주제 영역을 균형 있게 포함하여 다양한 어휘와 문법 구조를 포괄합니다.
• 언어적 특징: 타슈리트어의 복잡한 음운론적 특징 (겹자음, 구개음화, 인두음, 연구개음 등) 을 충실히 반영하도록 설계되었습니다.

2.2. 정규화 프레임워크

• 표준화 규칙: IRCAM 의 베르베르 라틴 문자 표기법을 기반으로 합니다.
  • 음소 매핑: 숫자나 비표준 기호 (예: 7, 9) 를 해당 음소 (예: /h./, /G/) 로 변환.
  • 형태소 및 구문: 불규칙한 단어 분리/결합 수정, 부정형 문법 규칙 적용, 음운론적 동화 (Assimilation) 및 융합 처리.
  • 어휘 선택: 인위적인 신조어보다는 실제 화자들이 사용하는 차용어와 방언적 표현을 우선시하여 실용성을 높였습니다.

2.3. 실험 설정

• 평가 모델: 최신 대규모 언어 모델 (LLM) 5 종 (GPT-5, Claude-Sonnet-4.5, Gemini-2.5-Pro, Mistral-Large-2411, Qwen3-Max) 을 사용하여 정규화 성능을 평가했습니다.
• 프롬프트 전략:
  • Zero-shot: 명시적인 정규화 규칙과 허용 문자 집합을 프롬프트에 포함.
  • Few-shot: 30 개의 대표 문장 예시를 제공하여 모델의 문맥 학습 (In-context learning) 능력을 유도.
• 평가 지표: 단어 오류율 (WER) 과 편집 거리 (Levenshtein Distance, LD) 를 사용하여 자음/모음 수준의 정밀도를 측정했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 병렬 코퍼스: 타슈리트어와 영어 간의 최초의 대규모 병렬 코퍼스 (DATASHI) 를 공개하여, 저자원 언어 처리를 위한 중요한 자원을 제공했습니다.
2. 이중 설계 (Dual Design): 비표준 사용자 생성 텍스트와 전문가 표준화 텍스트를 모두 포함하여, 표기법 다양성 연구와 정규화 모델 개발을 동시에 지원합니다.
3. 음운론적 심층 분석: 겹자음 (Gemination), 인두음 (Pharyngeals), 연구개음 (Uvulars) 등 타슈리트어의 고유한 음운론적 특징에 따른 모델별 오류 패턴을 세밀하게 분석했습니다.
4. 오픈 소스 및 재현성: 전체 데이터셋, 전처리 코드, 평가 스크립트, 프롬프트를 GitHub 를 통해 공개하여 연구의 투명성과 재현성을 보장합니다.

4. 실험 결과 (Results)

4.1. 전체 성능

• Gemini-2.5-Pro가 Zero-shot 및 Few-shot 환경 모두에서 가장 우수한 성능을 보였습니다.
  • Zero-shot: WER 37.8%, LD 3.94 (가장 낮음).
  • Few-shot: WER 35.5%, LD 3.65로 추가적인 개선.
• Claude-Sonnet-4.5와 GPT-5는 중간 수준의 성능을 보였으며, Mistral과 Qwen3-Max는 상대적으로 높은 오류율을 기록했습니다.
• Few-shot 학습의 효과: 모든 모델에서 예시 제공 시 성능이 향상되었으며, 이는 저자원 언어의 정규화 작업에 문맥 학습이 효과적임을 시사합니다.

4.2. 음운론적 오류 분석 (세부 분석)

• 삭제 (Deletion) 오류: 모델들은 특히 겹자음 (Gemination) 과 강세 자음 (Emphatics) 에서 삭제 오류가 빈번하게 발생했습니다. 이는 모델이 타슈리트어의 비연쇄적 (non-concatenative) 형태소 구조를 제대로 파악하지 못했음을 의미합니다.
  • Gemini-2.5-Pro 는 다른 모델들에 비해 겹자음 삭제 오류가 현저히 적었습니다.
• 대체 (Substitution) 오류: 모든 모델에서 가장 빈번한 오류 유형이었으며, 특히 Qwen3-Max와 Mistral이 겹자음과 강세 자음에서 높은 대체 오류를 보였습니다.
• 삽입 (Insertion) 오류: Qwen3-Max가 겹자음과 인두음에서 과도한 삽입 오류를 보였으며, 이는 모델이 표기법 규칙을 일관되게 적용하지 못했음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• NLP 및 음성 기술의 교량: DATASHI 는 텍스트 기반 NLP 작업 (번역, 토큰화) 을 넘어, 발음 모델링, 강제 정렬 (Forced Alignment), 음성 인식 (ASR) 시스템 구축을 위한 기초 자료로 확장 가능합니다.
• 저자원 언어 처리의 새로운 기준: 기존에 존재하지 않았던 표준화된 병렬 데이터를 통해 타슈리트어 및 기타 베르베르어 변이형에 대한 연구의 재현성과 공정성을 높였습니다.
• LLM 의 한계와 가능성: 최신 LLM 이 저자원 언어의 정규화 작업에 어느 정도 적용 가능함을 입증했으나, 특히 음운론적으로 복잡한 특징 (겹자음, 인두음 등) 에 대해서는 여전히 개선이 필요함을 지적했습니다.
• 향후 방향: 읽기 음성 (Read-speech) 데이터 수집, 다국어 모델의 미세 조정 (Fine-tuning), 그리고 베르베르어 전체를 아우르는 벤치마크 구축을 통해 자원의 형평성을 제고할 것을 제안합니다.

이 논문은 타슈리트어와 같은 저자원 언어의 디지털 격차를 해소하고, 표기법 정규화를 위한 체계적인 방법론과 데이터를 제공한다는 점에서 중요한 의의를 가집니다.