기술 요약: 콥트어-프랑스어 신경 기계 번역

문제 제기

신경 기계 번역 (NMT) 은 현대 언어에서 크게 발전했으나, 데이터 부족으로 인해 역사적 및 고대 언어는 여전히 대표성이 부족합니다. 콥트어는 이집트어족의 최종 단계로 이집트학 및 초기 기독교 연구에 중요하지만, 특히 프랑스어 번역을 위한 견고한 NMT 도구가 부재합니다. 기존 자원은 주로 영어 또는 아랍어 번역에 국한되어 있습니다. 본 논문은 저자원 고대 언어 번역에 내재된 네 가지 핵심 과제를 중점적으로 다루며, 콥트어를 프랑스어로 번역하기 위한 전략을 체계적으로 조사하여 이러한 격차를 해소합니다:

1. 번역 전략: 직접 번역할지, 아니면 중개 언어 (예: 영어) 를 사용할지 여부.
2. 모델 선택: 파인튜닝을 위한 최적의 사전 훈련 모델을 어떻게 선택할지.
3. 데이터 다양성: 동일한 텍스트의 다양한 스타일 버전으로 학습하는 것의 영향.
4. 강건성: 고대 필사본에서 흔히 발생하는 노이즈와 손상 (예: 누락된 문자, OCR 오류, 철자 변이) 을 어떻게 처리할지.

방법론

저자들은 정렬된 성경 코퍼스를 활용하여 네 가지 실험 단계를 평가하는 포괄적인 파이프라인을 구축했습니다:

1. 데이터셋 구축 및 전처리

• 출처: 콥트어 텍스트는 Coptic SCRIPTORIUM 프로젝트 (사히드어 신구약) 에서 추출되었습니다.
• 대상: 스타일적 다양성을 위해 세 가지 공개 도메인 프랑스어 성경 번역 (루이 세곤드, 크람퐁, 다비) 이 선정되었습니다.
• 정렬: 구절 ID 를 사용하여 구절이 자동으로 정렬되었습니다.
• 로마자 표기: 표준 Transformer 어휘집이 원래 콥트어 유니코드를 지원하지 않으므로, uroman 도구를 사용하여 콥트어 텍스트를 로마자 표기했습니다.
• 분할: 데이터 오염을 방지하기 위해 책 단위 분할이 사용되었습니다. 시험을 위해 (1 고린도, 마가, 갈라디야, 히브리) 책들이 제외되었고, 나머지 59 권이 학습 세트를 구성했습니다.

2. 실험 단계

이 연구는 통제된 실험을 통해 네 가지 구체적인 연구 질문을 평가했습니다:

• 파인튜닝의 적절성: 저자들은 네 가지 접근 방식을 비교했습니다:
  1. 콥트어 전용 모델 (Enis) 을 프랑스어로 파인튜닝.
  2. 다국어 모델 (Helsinki) 을 즉시 사용 (out-of-the-box).
  3. 콥트어 모델을 프랑스어 출력으로 하는 제로샷 프롬프팅.
  4. 중개 전략 (콥트어 $\to$ 영어 $\to$ 프랑스어).
• 사전 훈련 모델 선택: 네 가지 사전 훈련 모델이 콥트어-프랑스어 코퍼스로 파인튜닝되었습니다:
  • Enis: 콥트어-영어 모델.
  • Helsinki: 다국어 성경 훈련 모델 (콥트어/프랑스어).
  • T5: 범용 모델 (프랑스어 노출 있음, 콥트어 없음).
  • Hiero: 상형문자-영어/독일어 모델 (관련 어족).
• 파인튜닝 데이터셋 선택: 가장 성능이 좋은 모델 (Helsinki 와 Hiero) 이 개별 프랑스어 번역과 세 가지 번역을 결합한 데이터셋으로 학습되어 스타일적 변이의 이점을 평가했습니다.
• 노이즈에 대한 강건성: 필사본 열화를 시뮬레이션하기 위해 저자들은 학습 데이터에 노이즈를 주입했습니다:
  • 공백 (Lacunae): 2% 문자 삭제.
  • 철자 오류: 2% 인접 문자 교환.
  • OCR 오류: 10% 시각적으로 유사한 문자로 교체.
    모델들은 다양한 노이즈 수준 (0%, 10%, 30%, 50%, 100%) 으로 학습되었고, 깨끗한 데이터와 노이즈가 있는 데이터에서 테스트되었습니다.

3. 평가 지표

단일 콥트어 구절이 여러 유효한 프랑스어 번역을 가질 수 있으므로, 어휘 중첩 지표 (BLEU 등) 는 불충분한 것으로 판단되었습니다. 본 연구는 의미적 유사성과 학습된 지표를 활용했습니다:

• BERTScore: 문맥적 토큰 유사성.
• BLEURT: 인간 품질 판단을 예측하는 학습된 지표.
• COMET: 번역 품질을 위한 다국어 BERT 기반 지표.
• METEOR: 동의어 및 어간 추출을 포함한 유니그램 매칭.

주요 결과

1. 번역 전략

파인튜닝이 필수적입니다. 파인튜닝된 콥트어-프랑스어 모델이 모든 대안보다 훨씬 우수한 성과를 거두었습니다.

• 파인튜닝은 모든 지표에서 가장 높은 점수를 달성했습니다 (예: BERTScore 0.820).
• 중개 전략 (콥트어 $\to$ 영어 $\to$ 프랑스어) 과 제로샷 프롬프팅은 성능이 낮았으며, 종종 기준 모델보다 더 나빠 오류 누적과 불일치하는 디코딩 기대를 나타냈습니다.
• 다국어 모델은 파인튜닝 없이 사용될 때 저자원 쌍에 대해 비최적의 성능을 보였습니다.

2. 모델 선택

관련 언어 또는 대상 쌍에 대한 사전 훈련이 중요합니다.

• Helsinki 모델 (콥트어 및 프랑스어 성경 텍스트로 사전 훈련됨) 이 전체적으로 가장 좋은 성능을 달성했습니다 (BERTScore 0.850, COMET 0.731). 그 성공은 사전 훈련 코퍼스에 원천어와 대상어가 모두 포함되어 있고 도메인 정렬 (성경 텍스트) 이 있었기 때문입니다.
• Hiero 모델 (관련 언어인 상형문자로 훈련됨) 은 두 번째로 좋은 모델로 성능을 보였으며, 관련 고대 언어 간에 지식이 효과적으로 전이됨을 입증했습니다.
• 콥트어 또는 관련 언어 노출이 부족한 모델 (T5) 은 가장 낮은 성능을 보였습니다.

3. 데이터셋 다양성

스타일적 다양성이 일반화를 향상시킵니다.

• 단일 프랑스어 번역으로 학습된 모델은 해당 동일한 번역에서 테스트될 때 가장 좋은 성능을 보였습니다 (높은 어휘 일치).
• 그러나 세 가지 모두로 학습된 모델은 모든 테스트 세트에서 일관되게 가장 높은 BLEURT 및 COMET 점수를 달성했습니다. 이는 여러 유효한 번역에 노출됨으로써 모델이 더 나은 의미 표현을 학습하고, 특정 참조와 어휘가 약간 다르더라도 전반적으로 더 높은 품질의 번역을 생성할 수 있음을 시사합니다.

4. 노이즈에 대한 강건성

제어된 노이즈 주입이 복원력을 향상시킵니다.

• 깨끗한 데이터 (노이즈 0%) 로 학습된 모델은 깨끗한 테스트 데이터에서 가장 좋은 성능을 보였으나, 노이즈가 있는 데이터에서 테스트될 때 심각한 성능 저하 (Hiero 의 경우 BLEURT 에서 최대 53% 하락) 를 겪었습니다.
• 50% 노이즈로 학습된 모델이 가장 좋은 절충안을 보였습니다. 깨끗한 데이터에서 높은 성능을 유지하면서도 노이즈가 있는 입력에서 훨씬 덜 저하되었습니다 (평균 15% 미만 하락).
• 이는 고대 언어 번역의 경우, 실제 세계의 필사본 열화를 처리하기 위해 훈련 중 시뮬레이션된 손상을 주입하는 것이 필수적인 전략임을 시사합니다.

의의 및 기여

본 논문은 콥트어를 프랑스어로 번역하기 위한 전략에 대한 첫 번째 체계적 연구를 제시한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 실증적 검증: 고대 언어 번역에서 작업별 파인튜닝이 중개 기반 또는 제로샷 접근법보다 우수함을 입증했습니다.
2. 전이 학습: 관련 고대 언어 (상형문자) 나 특정 언어 쌍 (콥트어-프랑스어) 으로 사전 훈련된 모델이 최상의 결과를 산출함을 확인했습니다.
3. 데이터 전략: 스타일적으로 다양한 코퍼스 (여러 성경 번역) 로 학습하는 것이 의미적 강건성과 전반적인 번역 품질을 향상시킨다는 것을 확립했습니다.
4. 노이즈 강건성: 저자원 고대 언어 NMT 를 위한 실용적인 지침을 제공합니다: 훈련 중 약 50% 노이즈를 주입하면 역사적 필사본에 내재된 손상에 강건하면서도 깨끗한 텍스트에서의 성능을 지나치게 희생하지 않는 모델을 생성할 수 있습니다.

저자들은 이러한 발견이 특정 콥트어-프랑스어 사례를 넘어 다른 저자원 또는 고대 언어 쌍에 대한 NMT 도구 개발에 실용적인 지침을 제공한다고 결론지었습니다. 결과 모델과 코드는 공개적으로 제공되었습니다.