Towards High-Quality Machine Translation for Kokborok: A Low-Resource Tibeto-Burman Language of Northeast India

논문 요약: 동북 인도 저자원 티베트 - 버마어족 언어 '코코보로크 (Kokborok)' 를 위한 고품질 기계 번역

1. 문제 정의 (Problem Statement)

• 배경: 코코보로크 (Kokborok, ISO 639-3: trp) 는 인도 트리푸라 주 (Tripura) 의 공식 언어이자 약 150 만 명의 화자가 사용하는 티베트 - 버마어족 (Tibeto-Burman) 언어입니다.
• 현황: 공식 언어 지위와 상당한 화자 수에도 불구하고, 자연어 처리 (NLP) 커뮤니티에서는 극심한 자원이 부족한 (Low-Resource) 언어로 남아 있습니다.
• 기존 한계:
  • 기존 기계 번역 (MT) 연구는 소규모 성경 기반 코퍼스 (Corpus) 에만 의존하여 BLEU 점수가 7 미만으로 매우 낮았습니다.
  • WMT 2025 공유 과제에서 가장 좋은 결과조차 BLEU 6.99 (en→trp) 및 2.99 (trp→en) 에 그쳤습니다.
  • 공개된 병렬 코퍼스 (Parallel Corpus) 가 거의 존재하지 않아 데이터 부족이 주요 병목 현상이었습니다.

2. 방법론 (Methodology)

가. 데이터 구축 (Data Construction)
연구팀은 총 36,052 개의 문장 쌍으로 구성된 다중 소스 병렬 코퍼스를 구축했습니다.

1. 전문 번역 데이터 (SMOL): 9,284 문장. Google 의 SMOL 데이터셋에서 추출한 전문 번역가들이 번역한 다양한 도메인 (보건, 교육, 문화 등) 의 데이터.
2. 도메인 특화 데이터 (WMT Bible): 1,769 문장. WMT 공유 과제에서 제공된 성경 번역 데이터 (기존 연구와의 비교를 위해 사용).
3. 합성 역번역 데이터 (Synthetic Back-Translation): 24,999 문장.
   • 소스: Tatoeba 프로젝트의 영어 문장.
   • 생성: Google Gemini Flash API 를 사용하여 영어를 코코보로크로 역번역 (Back-translation) 생성.
   • 비용: 약 7 달러 (INR 600) 로 매우 저렴하게 대량의 데이터를 확보.

나. 모델 및 학습 전략

• 기반 모델: Facebook 의 NLLB-200-distilled-600M 모델을 파인튜닝 (Fine-tuning) 했습니다.
• 새로운 토큰 도입: 코코보로크가 NLLB 의 지원 언어 목록에 없으므로, 새로운 언어 토큰 **trp_Latn**을 토크나이저 어휘에 추가하고 임베딩 행렬을 재조정했습니다. 이를 통해 모델이 코코보로크를 별도의 타겟 언어로 인식하고, 버마어나 티베트어 등 유형론적으로 유사한 언어의 표현을 활용할 수 있게 했습니다.
• 학습 설정: 양방향 번역 (en↔trp) 을 동시에 학습하도록 데이터를 구성하여 총 72,096 개의 학습 쌍을 생성했습니다.
• 품질 필터링 조사: 합성 데이터의 품질을 선별하기 위해 LaBSE 기반 필터링을 시도했으나, 코코보로크가 LaBSE 학습 데이터에 포함되지 않아 임베딩 유사도 점수가 신뢰할 수 없음을 발견하고 필터링 없이 전 데이터를 사용했습니다.

3. 주요 기여 (Key Contributions)

1. KokborokMT 개발: NLLB 기반의 고품질 신경 기계 번역 시스템을 최초로 개발하여 기존 결과를 획기적으로 개선했습니다.
2. 대규모 병렬 코퍼스 구축: 전문 번역 데이터와 LLM(Gemini Flash) 을 활용한 합성 데이터를 결합한 3 만 6 천 개 이상의 대규모 코퍼스를 공개했습니다.
3. LLM 기반 데이터 증강의 유효성 입증: 저자원 언어에서 LLM 을 통한 역번역 데이터 생성이 모든 평가 지표에서 일관된 성능 향상을 가져옴을 증명했습니다.
4. 부정적 발견 (Negative Finding): LaBSE 와 같은 다국어 임베딩 기반 품질 필터링이 모델 학습 데이터에 없는 언어 (Unseen Languages) 에 대해서는 신뢰할 수 없음을 보고했습니다.
5. 오픈 소스 공개: 모델, 데이터, 평가 스크립트를 CC-BY-4.0 라이선스로 공개하여 향후 연구를 촉진합니다.

4. 결과 (Results)

가. 자동 평가 지표 (Automatic Metrics)

• BLEU 점수:
  • en→trp: 17.30 (기존 WMT 최우수 6.99 대비 약 2.5 배 향상)
  • trp→en: 38.56 (기존 WMT 최우수 2.99 대비 약 13 배 향상)
• 기타 지표: chrF, ROUGE-L, METEOR, COMET 등 모든 지표에서 기존 시스템 (System 1: 합성 데이터 없음) 보다 System 2(합성 데이터 포함) 가 우월한 성능을 보였습니다. 특히 trp→en 방향에서 SMOL 테스트 세트 기준 BLEU 가 5.65 포인트 증가했습니다.
• Zero-Shot 성능: 파인튜닝 없는 Zero-Shot NLLB 는 BLEU 0.09~0.63 으로 거의 번역이 불가능했으나, 소량의 고품질 데이터만으로도 약 30 배 이상의 성능 향상을 보였습니다.

나. 인간 평가 (Human Evaluation)

• 평가자: 코코보로크 언어 구조 전문가, 원어민 화자, 코코보로크 언어학 연구자 등 3 명.
• 결과 (5 점 척도):
  • 적절성 (Adequacy): 3.74/5
  • 유창성 (Fluency): 3.70/5
• 의의: 대부분의 경우 원문의 의미를 잘 보존하고 자연스러운 출력을 생성함을 확인했습니다. 전문가 간 일치도 (Cohen's κ = 0.67) 가 높았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 언어 해결책 제시: 소규모 전문 번역 데이터와 저렴한 비용으로 생성 가능한 LLM 기반 합성 데이터를 결합하면, 극도로 자원이 부족한 언어에서도 실용적인 기계 번역 시스템을 구축할 수 있음을 입증했습니다.
• 기술적 통찰:
  • 다국어 모델에 새로운 언어 토큰을 추가하고 파인튜닝하는 방식이 효과적입니다.
  • 기존에 널리 쓰이던 LaBSE 기반 품질 필터링이 학습 데이터에 없는 언어에는 적용 불가능할 수 있음을 경고했습니다.
• 사회적 영향: 동북 인도 지역의 소수 언어인 코코보로크의 디지털 접근성을 높이고, 해당 언어의 NLP 연구 생태계를 활성화하는 기반을 마련했습니다.

이 연구는 단순히 번역 성능을 높이는 것을 넘어, 데이터가 부족한 언어를 위한 효율적인 데이터 구축 전략과 평가 방법론에 대한 중요한 통찰을 제공합니다.