Enhancing Document-Level Machine Translation via Filtered Synthetic Corpora and Two-Stage LLM Adaptation

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 문맥 모델링과 유창성 측면에서 기계 번역 (MT) 에서 유망한 잠재력을 보여주지만, 실제 문서 수준 (Document-level) 번역에서는 다음과 같은 주요 한계로 인해 아직 널리 채택되지 못하고 있습니다.

• 데이터 부족: 문서 수준의 고품질 병렬 데이터 (Parallel Data) 가 부족합니다. 기존 데이터셋 (News Commentary, Europarl 등) 은 주로 문장 단위 (Sentence-level) 로 설계되어 있어, LLM 이 문서 전체의 일관성을 학습하기 어렵습니다.
• 할루시네이션 및 누락 (Hallucinations & Omissions): LLM 은 번역 생성 과정에서 원문에 없는 정보를 추가하거나 (할루시네이션), 원문의 정보를 생략하는 (누락) 경향이 있습니다. 이러한 오류는 전통적인 sacreBLEU 와 같은 지표로는 포착되지 않아 번역의 신뢰성을 떨어뜨립니다.

2. 제안된 방법론 (Methodology)

저자들은 LLM 기반의 합성 데이터 증강 (Data Augmentation) 과 다중 지표 필터링, 그리고 2 단계 파인튜닝 전략을 결합한 프레임워크를 제안합니다.

2.1. 문서 수준 데이터 증강 및 필터링 파이프라인

1. 데이터 증강 (Augmentation):
   • CNN/Daily Mail 요약 데이터셋을 활용하여 문서 수준의 병렬 데이터를 생성합니다.
   • Llama 3.1-8B-Instruct 모델을 사용하여 요약 텍스트를 영어 - 독일어 번역 쌍으로 변환합니다.
   • 가상 참조 (Pseudo-reference) 생성: 구글 번역 (Google Translate) 을 사용하여 생성된 번역에 대한 참조 데이터를 만듭니다. (구글 번역은 할루시네이션이 상대적으로 적다고 알려져 있음).
2. 다중 지표 필터링 (Multi-metric Filtering):
   • 생성된 합성 데이터의 품질을 높이고 오류를 제거하기 위해 세 가지 지표를 결합하여 필터링합니다.
     • sacreBLEU: n-gram 중첩도 측정 (참조 기반).
     • COMET: 학습 기반의 인간 번역 품질 예측 지표 (참조 기반).
     • LaBSE-CosSim: LaBSE 모델을 기반으로 한 임베딩 코사인 유사도. 참조 없이 의미적 유사성을 직접 평가하여 할루시네이션 탐지에 효과적입니다.
   • 각 지표에 대한 임계값 (Threshold) 을 설정하여 저품질 데이터를 제거합니다.

2.2. 2 단계 LLM 파인튜닝 전략 (Two-Stage Fine-tuning)

LLM 이 문서 수준의 맥락을 효과적으로 학습하도록 두 단계로 나누어 학습합니다.

1. 1 단계 (문장 수준 학습): 풍부한 양의 기존 문장 수준 MT 데이터셋 (News Commentary v16, Europarl 등) 으로 모델을 먼저 학습시킵니다. 이는 모델이 기본 번역 능력을 다지는 역할을 합니다.
2. 2 단계 (문서 수준 적응): 위 과정을 거쳐 필터링된 고품질 합성 문서 수준 데이터셋으로 추가 파인튜닝을 수행합니다. 이를 통해 모델은 문장 간 일관성 (Coherence) 과 맥락 정보를 효과적으로 활용하도록 적응됩니다.

3. 실험 설정 (Experiments)

• 작업: 영어 - 독일어 (En→De) 번역.
• 기저 모델: Llama-3.2-1B-Instruct (1B 파라미터).
• 데이터:
  • 증강 데이터: CNN/Daily Mail 에서 샘플링된 20,000 개 문서.
  • 1 단계 학습 데이터: News Commentary v16 의 20,000 개 문장 쌍.
• 평가 지표: sacreBLEU, COMET, LaBSE-CosSim 및 이들의 기하평균 (Geometric Mean).

4. 주요 결과 (Results)

실험 결과는 제안된 방법론의 효과성을 명확히 입증했습니다.

• 2 단계 전략의 우월성: 문서 수준 데이터만으로 학습한 모델에 비해, 2 단계 전략 (문장 수준 → 문서 수준) 을 적용한 모델이 모든 지표에서 성능이 향상되었습니다.
  • sacreBLEU: 11.24 → 15.07
  • COMET: 0.618 → 0.697
  • LaBSE-CosSim: 0.764 → 0.852
• 필터링의 효과: 필터링된 데이터로 학습한 모델이 필터링되지 않은 데이터보다 성능이 우수했습니다.
• 최적의 필터링 조합: 세 가지 지표 (sacreBLEU, COMET, LaBSE-CosSim) 를 모두 결합하여 필터링했을 때 가장 좋은 성능을 보였습니다.
  • 최적 임계값: sacreBLEU ≥ 35, COMET ≥ 0.75, LaBSE-CosSim ≥ 0.85.
  • 이 설정에서 sacreBLEU 15.96, COMET 0.701, LaBSE-CosSim 0.860 의 최고 점수를 기록했습니다.
  • 특히, 어휘 중첩 (sacreBLEU) 과 의미 평가 (COMET/LaBSE) 를 결합한 필터링이 상호 보완적인 효과를 발휘하여 할루시네이션과 누락을 효과적으로 줄였습니다.

5. 핵심 기여 및 의의 (Key Contributions & Significance)

1. 데이터 부족 해결: 고품질 문서 수준 병렬 데이터가 부족한 상황에서, LLM 을 활용한 합성 데이터 증강과 정교한 필터링을 통해 고품질 학습 자료를 확보하는 방법을 제시했습니다.
2. 할루시네이션/누락 감소: 참조가 없는 LaBSE-CosSim 을 포함한 다중 지표 필터링을 통해 LLM 의 전형적인 오류 (할루시네이션, 누락) 를 효과적으로 제어할 수 있음을 입증했습니다.
3. 효율적인 적응 전략: 2 단계 파인튜닝 (문장 수준 → 문서 수준) 이 LLM 이 문서 수준의 맥락을 학습하는 데 필수적임을 보여주었습니다.
4. 실용적 가치: 제한된 리소스 환경에서도 LLM 을 문서 수준 번역에 효과적으로 적용할 수 있는 실용적인 프레임워크를 제공하며, 이는 다른 언어 쌍이나 도메인으로도 확장 가능함을 시사합니다.

결론적으로, 이 논문은 LLM 기반 문서 수준 기계 번역의 핵심 장벽인 '데이터 부족'과 '생성 오류'를 해결하기 위해, 합성 데이터 증강, 다중 지표 필터링, 2 단계 학습 전략을 통합한 효과적인 솔루션을 제시했습니다.