SiniticMTError: A Machine Translation Dataset with Error Annotations for Sinitic Languages

1. 연구 배경 및 문제 제기 (Problem)

최근 대규모 언어 모델 (LLM) 과 지도 학습을 통한 기계 번역 (MT) 기술은 급격히 발전했으나, 여전히 **저자원 언어 (Low-resource languages)**에 대한 진전은 제한적입니다. 특히 중국어 (Sinitic) 계열의 주요 방언인 **광둥어 (Cantonese), 오어 (Wu Chinese, 상하이어 등), 민남어 (Hokkien)**는 다음과 같은 이유로 소외되어 있습니다.

• 데이터 부족: 대규모 병렬 코퍼스와 언어 자원의 부재.
• 표준화 문제: 주로 구어체로 사용되며, 문어체 (Written form) 의 표준화가 미비함.
• 성능 저하: 기존 MT 모델이나 LLM 이 이러한 언어에서 성능이 낮거나, 의미론적 오류를 포함하는 노이즈를 생성함.
• 평가 도구 부재: 번역 품질을 정밀하게 평가하고 오류를 식별할 수 있는 세분화된 (Fine-grained) 오류 주석 데이터셋이 없음.

2. 제안된 방법론 (Methodology)

2.1. 데이터셋 구성 (SINITICMTERROR)

이 논문은 영어에서 광둥어, 오어, 표준 중국어 (Mandarin) 로의 번역, 그리고 표준 중국어에서 민남어 (Hokkien) 로의 번역을 포함하는 SINITICMTERROR 데이터셋을 제안합니다.

• 소스 데이터: FLORES+ (FLORES-200 의 확장) 의 병렬 코퍼스를 기반으로 함.
• 민남어 (Hokkien) 특수성: 민남어는 영어 병렬 코퍼스가 부족하여, 교육부 사전을 기반으로 한 중국어 - 민남어 쌍을 별도로 구성함.
• 모델 생성 (MT Generation): 각 언어에 적합한 모델을 선정하여 기계 번역 (MT) 출력을 생성하고, 이를 인간 주석가가 교정함.
  • 광둥어/중국어: NLLB-200 (600M 파라미터) 모델 사용 (가장 낮은 BLEU 점수와 접근성 확보).
  • 오어: Qwen2.5 Max 사용 (안정적인 오어 생성 능력 보유).
  • 민남어: Taigi-LLaMA-2-Chat-7B 사용 (민남어 특화 학습 모델).
• 주석 구조: 각 항목은 [Source, MT Output, Reference]의 3 중 구조를 가지며, MT 출력의 오류에 대해 **오류 범위 (Span), 오류 유형 (Type), 심각도 (Severity)**를 주석함.

2.2. 주석 가이드라인 및 워크플로우

• 프레임워크: MQM (Multidimensional Quality Metrics) 과 AfriCOMET 프레임워크를 기반으로 하되, Sinitic 언어의 특성에 맞게 수정 적용.
• 오류 유형 (9 가지): 추가 (Addition), 생략 (Omission), 오역 (Mistranslation), 번역되지 않음 (Untranslated), 문법 (Grammar), 철자 (Spelling), 타이포그래피 (Typography), 이해 불가 (Unintelligible), 어조 (Register).
• 심각도 (2 가지): Major (의미 변화), Minor (유창성/가독성 저하).
• 프로세스:
  1. 파일럿 연구: 각 언어별 주석가 (모국어 화자) 를 대상으로 다단계 파일럿 (Mandarin 2 회, Cantonese 4 회 등) 을 수행하여 일관성 확보.
  2. 메인 주석: 배치 단위 (50~200 문장) 로 진행하며, 반복적인 피드백과 가이드라인 정교화 수행.
  3. 품질 보증 (QA): 교차 검증 (Inter-annotator agreement) 을 통해 일관성 유지.

3. 주요 기여 (Key Contributions)

1. 최초의 세분화된 Sinitic 오류 데이터셋: 광둥어, 오어, 민남어에 대한 인간 주석 기반의 Span-level 오류 주석 데이터셋을 최초로 공개함. (기존에는 주로 고자원 언어인 영어/중국어 위주였음).
2. 다양한 언어 변이체 지원: 표준 중국어뿐만 아니라, 화자 수가 많지만 자원이 부족한 광둥어 (약 8 천만 명), 오어 (약 8 천 3 백만 명), 민남어 (약 4 천 7 백만 명) 를 포괄.
3. 오류 분석 및 통찰: 생성된 MT 모델들의 오류 패턴 (의미론적 오류, 문법적 오류, 언어 혼동 등) 을 체계적으로 분석하여 저자원 언어 번역의 한계를 규명.
4. 벤치마크 설정: 다양한 오픈소스 및 폐쇄형 LLM 을 대상으로 번역 오류 탐지 성능을 평가하는 베이스라인을 확립.

4. 실험 결과 및 통찰 (Results & Insights)

4.1. 데이터 통계 및 오류 분포

• 데이터 규모: 중국어 2,009 문장, 광둥어 1,402 문장, 오어 68 문장 (파일럿), 민남어 154 문장 (파일럿).
• 오류 패턴 차이:
  • 광둥어: 문장당 오류 스팬 수 (6.38 개) 가 중국어 (1.93 개) 보다 훨씬 높음. 오역 (Mistranslation), 타이포그래피 (Typography), 생략 (Omission) 오류가 빈번함. 이는 광둥어에 대한 고품질 자원의 부재와 모델의 학습 부족을 시사.
  • 중국어: 오역, 생략, 문법 오류가 주를 이룸.
  • 공통점: 대부분의 오류가 'Major'보다는 'Minor' (의미 변화보다는 유창성 문제) 에 해당함. 이는 트랜스포머 기반 모델이 문장 구조는 잘 생성하지만, 세부적인 의미와 문화적 맥락에서는 취약함을 보여줌.

4.2. 언어별 특이 현상

• 번역체 (Translationese): 영어의 문장 구조를 그대로 가져와 중국어 계열 언어에서 자연스럽지 않거나 문법적으로 틀린 표현 생성.
• 표준화 부재: 광둥어와 오어의 경우, 구어체와 문어체 간의 표기법 불일치로 인해 주석가 간 의견 차이가 발생하기도 함.
• 언어 혼동 (Language Confusion): 저자원 언어 모델이 다른 언어 (예: 광둥어 번역 중 일본어 가타카나 사용, 혹은 다른 중국어 방언 혼용) 를 섞어 출력하는 현상 관찰.

4.3. LLM 베이스라인 평가

• 평가 지표: Span Precision (SP), Major Precision (MP), 그리고 MQM 점수 상관관계 (Pearson, Spearman, Kendall).
• 결과: GPT-4o, Gemini-2.5-pro, Qwen3 등 최신 LLM 들을 사용하더라도 Span Precision 이 0.25~0.45 수준으로 낮고, MQM 점수 상관관계도 0.5 미만으로 낮음.
• 의미: 현재 LLM 들은 저자원 Sinitic 언어의 세분화된 번역 오류를 정밀하게 탐지하거나 평가하는 데 한계가 있으며, 인간 주석 데이터의 필요성이 강력하게 입증됨.

5. 의의 및 결론 (Significance)

• 연구 생태계 확장: 저자원 Sinitic 언어에 대한 MT 연구와 평가를 위한 필수적인 인프라를 제공함.
• 모델 개선: 오류 탐지 능력을 갖춘 모델 미세 조정 (Fine-tuning) 과 번역 품질 추정 (Quality Estimation) 연구의 기반이 됨.
• 미래 작업: 이 데이터셋은 언어 감지, 언어 수용성 판단 (Linguistic Acceptability Judgment), 그리고 고자원 언어에서 저자원 언어로의 전이 학습 (Transfer Learning) 에 활용될 수 있음.
• 한계 및 향후 과제: 현재 오어와 민남어 데이터는 파일럿 단계로 규모가 작으며, 데이터 소스가 영어 기반이라 실제 모국어 화자 간 번역 시나리오를 완벽히 반영하지는 못함. 향후 더 다양한 Sinitic 언어로 확장 필요.

이 논문은 저자원 언어 번역의 질적 향상을 위해 정밀한 오류 주석 데이터의 중요성을 강조하며, 이를 통해 더 정확하고 인간과 유사한 번역 품질 평가를 가능하게 하는 중요한 발걸음입니다.