Swa-bhasha Resource Hub: Romanized Sinhala to Sinhala Transliteration Systems and Data Resources

다음은 "Swa-bhasha Resource Hub: 로마자 스리랑카어 (싱글리시) 에서 스리랑카어 (싱할라어) 로의 전사 시스템 및 데이터 리소스" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 로마자 스리랑카어 (또는 '싱글리시') 를 native 스리랑카어 문자로 되돌리는 '역방향 전사 (Backward Transliteration)'의 핵심적인 과제를 다룹니다.

• 배경: Web 2.0 과 소셜 미디어의 부상으로 인해 약 1300 만 명의 스리랑카인들이 영어 키보드의 편의성으로 인해 로마자 스리랑카어를 사용합니다.
• 핵심 과제:
  • 비표준화: 싱글리시는 표준화가 부재하여 즉흥적인 타이핑 패턴, 철자 변이, 그리고 구조적 불일치 (예: 모음 생략) 로 이어집니다.
  • 어휘적 모호성: 단일 로마자 단어는 문맥에 따라 서로 다른 의미를 가진 여러 개의 distinct 스리랑카어 단어에 매핑될 수 있습니다 (예: "Adaraya"는 사랑 또는 원조를 의미할 수 있음).
  • 저자원 (Low-Resource) 상태: 스리랑카어는 이러한 문맥적 모호성을 해결하기 위해 고안된 전용 언어 리소스, 벤치마크, 데이터셋이 부족합니다.
• 목표: 저자원 언어를 위한 자연어 처리 (NLP) 를 발전시키기 위해 견고하고 문맥 인식형 시스템을 개발하고 포괄적인 데이터셋을 제공하는 것입니다.

2. 방법론 및 시스템

Swa-bhasha 팀은 규칙 기반 시스템에서 고급 딥러닝 모델로 이동하는 하이브리드 진화 접근법을 채택했습니다.

A. 알고리즘적 접근법

1. 퍼지 논리를 활용한 규칙 기반 (Swa Bhasha v1):
   • 문자열 매칭을 위해 Python, NLTK, fuzzywuzzy 를 활용했습니다.
   • 토큰화/문자 매핑 (문자를 숫자 값으로 변환) 과 규칙 매핑으로 구성된 2 단계 프로세스를 구현했습니다.
   • 자음 수와 음운론적 패턴을 기반으로 누락된 모음을 추론하는 특정 규칙을 적용한 후, 후보들을 native 스리랑카어 데이터셋과 매칭했습니다.
2. 하이브리드 통계 및 지식 기반 (Swa-Bhasha v2):
   • 통계적 N-gram 태깅 (Unigram/Bigram/Trigram) 과 규칙 기반 변환 (모음/자음 규칙 60 개, 할 - 마커 규칙 18 개) 을 결합했습니다.
   • 효율적인 문맥 인식 단어 제안 및 모호성 해소를 위해 Trie 자료 구조 (이진 트리) 를 통합했습니다.
   • 통계적 태깅이 실패한 토큰을 해결하기 위한 후처리 모듈을 사용했습니다.
3. 신경 기계 번역 (NMT) 및 하이브리드 (Swa Bhasha 2.0):
   • 규칙 기반 음운론적 인코딩과 Gated Recurrent Units (GRUs) 및 어텐션 메커니즘을 사용한 Seq2Seq 모델을 결합했습니다.
   • 단어 선택 모호성을 처리하기 위해 지식 기반 제안 알고리즘을 위한 Suffix Tree를 통합했습니다.
4. 변환기 기반 문맥 모호성 해소 (BERT):
   • 아키텍처: Dakshina 데이터셋으로 미세 조정 (fine-tuned) 된 사전 학습된 스리랑카어 BERT 모델을 활용했습니다.
   • 메커니즘:
     • 입력된 싱글리시를 후보로 매핑하고, 모호한 단어를 [MASK] 토큰으로 대체합니다.
     • 시스템은 마스크를 후보 단어로 대체하여 모든 가능한 문장 후보를 생성합니다.
     • 점수 매기기: BERT 는 로짓 (logits) 에 소프트맥스 (softmax) 를 적용하여 문맥적 확률에 기반해 각 후보 문장에 점수를 매깁니다. 가장 높은 점수를 받은 문장이 선택됩니다.
   • 최적화: 여러 개의 마스크로 인한 계산 비용을 처리하기 위해 시스템은 후보 단어 축소 (토크나이저 어휘로 필터링) 와 청킹 (긴 문장을 겹치는 세그먼트로 분할) 을 사용합니다.
5. 코드 혼합 번역 (LoRA 및 LLM):
   • 코드 혼합 로마자 스리랑카어 (싱글리시 + 영어) 를 위한 하이브리드 파이프라인을 개발했습니다.
   • 파이프라인: LoRA 로 미세 조정된 mBART50 모델 $\rightarrow$ 정규식 (Regex) 후처리 $\rightarrow$ 복잡한 코드 혼합 및 제로 너비 공백 문제를 해결하기 위한 단어 정렬을 사용한 LLM 기반 후편집 (Gemini-3 Flash 사용).

B. 데이터 리소스

팀은 이러한 모델을 지원하기 위해 고품질 데이터셋 여러 개를 생성했습니다:

• Swa-Bhasha 데이터셋: 440,024 개의 고유한 스리랑카어 어근에서 파생된 약 713 만 개의 로마자 스리랑카어 단어를 포함합니다. 소셜 미디어 문장 쌍과 특정 전사 모호성 해소 (WSD) 서브셋을 포함합니다.
• IndoNLP 평가 데이터셋: 공유 작업을 위해 사용된 두 가지 테스트 세트 (일반 및 즉흥 타이핑 패턴).
• 증강 로마자 데이터셋: 공식 언어 모델링을 위한 약 724 만 개의 표준화된 문장 쌍.
• 전사 모호성 해소 (TD) 데이터셋: 이진 모호성 (하나의 로마자 단어 $\rightarrow$ 두 개의 distinct 스리랑카어 의미) 에 초점을 맞춘 660 개의 문장 쌍으로 구성된 전문 데이터셋.
• SinMix2Mono 데이터셋: 훈련, 골든 평가, 모호성 서브셋으로 나뉜 25,000 행의 코드 혼합 로마자 스리랑카어.

3. 주요 기여

• 오픈 소스 생태계: 연구 커뮤니티에 모든 알고리즘, 모델, 데이터셋 (Hugging Face, Kaggle, GitHub 에 호스팅됨) 을 공개했습니다.
• 최첨단 (State-of-the-Art) 모델: 기존 규칙 기반 시스템을 크게 능가하는 BERT, mBART, XLM-R 기반의 변환기 (Transformer) 모델을 개발하고 미세 조정했습니다.
• 전문 데이터셋: 저자원 NLP 의 주요 격차를 해소하기 위해 전사 모호성 해소 및 코드 혼합 스리랑카어를 위한 최초의 전용 데이터셋을 생성했습니다.
• 하이브리드 아키텍처: 규칙 기반 음운론적 논리와 딥러닝 (NMT/Transformer) 을 결합하는 것이 비공식적이고 즉흥적인 타이핑 처리에 더 우수한 결과를 산출함을 입증했습니다.
• 맞춤형 토큰화: 모델 성능을 향상시키기 위해 로마자 스리랑카어 전용으로 커스텀 Byte-Pair Encoding (BPE) 토크나이저 (si_rom) 를 개발했습니다.

4. 결과 및 평가

시스템은 단어 오류율 (WER), 문자 오류율 (CER), BLEU, F1 점수, BERTScore를 사용하여 평가되었습니다.

• 전사 정확도:
  • Perera 등 (2025) [BERT 기반]: IndoNLP 데이터셋에서 WER 약 0.09, CER 약 0.02, BLEU 약 0.91로 최상의 성능을 달성했습니다. 이는 변환기 (Transformer) 모델이 문맥적 정확도에서 뛰어나다는 것을 확인시켜 줍니다.
  • 비교: 규칙 기반 시스템 (예: De Mel 등) 은 높은 오류율 (WER 약 0.67) 을 보였으며, 하이브리드 N-gram 모델은 중간 정도의 개선 (WER 약 0.23) 을 보였습니다.
• 모호성 해소 성능:
  • F1 점수: 미세 조정된 BERT 모델은 모호성 해소 데이터셋에서 F1 점수 0.96을 달성했습니다.
  • 베이스라인: 기존 규칙 기반 및 하이브리드 모델은 F1 점수가 0.33 에서 0.37 사이로 크게 어려움을 겪었으며, 이는 모호성 해소를 위한 문맥 임베딩의 필요성을 강조합니다.
• 코드 혼합 번역:
  • SwaBhasha-mBART 모델 (LoRA 미세 조정) 은 SinMix2Mono 골든 데이터셋에서 가장 높은 BLEU (49.70) 및 **BERTScore (81.19)**를 달성하여 제로샷 LLM 및 기타 미세 조정 모델을 능가했습니다.

5. 중요성 및 향후 작업

• 중요성: Swa-bhasha Resource Hub 는 스리랑카어 NLP 를 위한 기반 인프라를 제공합니다. 이는 큐레이션된 데이터셋, 하이브리드 방법론, 현대적 변환기 아키텍처의 결합을 통해 저자원 언어가 고정밀 전사를 달성할 수 있음을 입증합니다.
• 한계: 변환기 기반 모델 (BERT 등) 은 계산 비용이 많이 들어 긴 모호성이 풍부한 문장의 경우 실시간 모바일 배포가 어렵습니다.
• 향후 방향:
  • 실시간 모바일 애플리케이션을 위한 추론 효율성 최적화.
  • 코드 혼합 입력 (스리랑카어 - 영어) 에 대한 연구 확대.
  • 싱글리시 키보드에서 개인화되고 프라이버시를 보호하는 단어 예측을 위한 메타러닝 접근법 (MAML) 개발.
  • 전사를 감정 분석, 챗봇 등 더 넓은 NLP 파이프라인에 통합.

결론적으로, 이 논문은 견고한 오픈 소스 데이터 리소스를 지원받는 문맥 인식형 딥러닝 기반 솔루션으로의 패러다임 전환을 통해 로마자 스리랑카어 전사에 대한 새로운 벤치마크를 수립했습니다.