Semi-Synthetic Parallel Data for Translation Quality Estimation: A Case Study of Dataset Building for an Under-Resourced Language Pair

논문 개요

이 연구는 자원이 부족한 언어 쌍 (Under-resourced Language Pair) 인 영어 - 히브리어 번역 품질 추정 (Quality Estimation, QE) 을 위해 반-합성 (Semi-Synthetic) 병렬 데이터셋을 구축하고 이를 활용하여 신경망 기반 QE 모델을 훈련하는 방법을 제시합니다. 특히 히브리어의 복잡한 형태론적 특성 (성, 수, 시제 등) 으로 인해 발생하는 번역 오류를 효과적으로 학습할 수 있는 데이터 구축 전략과 실험 결과를 다룹니다.

1. 문제 정의 (Problem)

• 자원의 부족: 영어 - 히브리어와 같은 자원이 부족한 언어 쌍의 경우, 고품질의 병렬 코퍼스 (Parallel Corpora) 가 부족하여 정확한 QE 시스템 개발이 어렵습니다.
• 언어적 복잡성: 히브리어는 영어에 비해 성 (남성/여성), 수 (단수/복수), 시제 등의 형태론적 변화가 풍부하고, 문장 구조가 유연하여 기계 번역 (MT) 시스템이 자주 오류를 범합니다.
• 기존 QE 의 한계: 기존 QE 모델은 참조 번역 (Reference Translation) 이 없는 상황에서 생성된 번역의 품질을 평가해야 하지만, 데이터의 편향성 (고품질 번역 위주) 과 다양한 오류 유형의 부재로 인해 성능이 제한적입니다.

2. 방법론 (Methodology)

A. 데이터셋 구축 (Dataset Construction)

연구팀은 다음과 같은 단계를 거쳐 대규모 반-합성 데이터셋을 구축했습니다.

1. 소스 문장 생성: 중급 영어 학습자용 사전의 예문 (Usage Examples) 을 기반으로 ChatGPT 를 활용해 문맥과 구조가 유사한 새로운 영어 문장들을 생성했습니다.
2. 기계 번역 및 필터링: 생성된 문장을 Google, Yandex, Microsoft 등 3 개의 MT 엔진으로 번역했습니다. 번역 결과 간의 BLEU 점수가 0.85 이상인 경우만 선별하여 일관성이 높은 번역 쌍을 확보했습니다.
3. 전문가 평가: 선별된 번역에 대해 언어학자가 1 점 (매우 나쁨) 에서 5 점 (완벽함) 까지 점수를 매겼으며, 전문 번역가들이 작업한 고품질 문장들을 5 점으로 할당했습니다.

B. 데이터 증강 (Data Augmentation via Perturbation)

초기 데이터셋 (약 14,000 개) 은 훈련에 부족하고 점수 분포가 편향되어 있어, 다음과 같은 제어된 오류 삽입 (Controlled Error Insertion) 기법을 적용하여 데이터 크기를 40 만 개 이상으로 확장했습니다.

• 문법적 오류 증강 (Grammatical Error-based): 히브리어의 성 (Gender) 과 수 (Number) 일치 오류를 인위적으로 생성했습니다. 오류 1 개당 점수를 1 점 감점, 2 개당 2 점 감점하여 3 점, 4 점 구간을 보강했습니다.
• 적대적 부정 샘플 (Adversarial Negatives): 영어 문장과 무관한 히브리어 문장을 짝지어 점수 0 으로 라벨링했습니다. 이는 모델이 번역이 아님을 식별하도록 훈련시키기 위함이었으나, 초기에는 모델이 모든 것을 0 점으로 예측하는 편향을 보였습니다. 이를 완화하기 위해 0 점 샘플의 비율을 조정했습니다.
• 어순 증강 (Word Order Augmentation): 히브리어 번역 내 단어의 위치를 인접 단어와 교환하거나 2 칸 이동, 무작위 셔플 등을 통해 문법적/의미적 왜곡을 유발하고 점수를 감점했습니다.

C. 모델 훈련 및 실험

• 모델 아키텍처: BERT Base 및 XLM-RoBERTa (XLM-R) 를 베이스로 하여 Fully Connected (FC) 분류 헤드를 추가했습니다.
• 훈련 기법: LoRA (Low-Rank Adaptation) 를 사용하여 효율적인 미세 조정을 수행했습니다.
• 실험 변수: 데이터셋의 크기 (Size) 와 점수 분포 (Score Distribution) 가 모델 성능에 미치는 영향을 분석하기 위해 다음과 같은 샘플링 전략을 비교했습니다.
  1. 정규 분포 샘플링 (Normal Distribution)
  2. 균일 분포 샘플링 (Uniform Distribution)
  3. 대규모 무작위 샘플링 (Large-scale Random Sampling)

3. 주요 결과 (Key Results)

• 초기 모델의 실패: 초기 소규모 데이터셋 (약 14,000 개) 으로 훈련한 모델은 Pearson 상관 계수 0.1 미만의 낮은 성능을 보였으며, 대부분의 테스트 데이터를 중간 점수 (3 점) 로 예측하는 경향이 있었습니다.
• 데이터 증강의 효과: 제어된 오류를 삽입하여 데이터 크기를 늘리고 점수 분포를 균형 있게 만든 결과, 모델 성능이 크게 향상되었습니다.
• 분포의 중요성:
  • 정규 분포 데이터 (50 만 개): Pearson 상관 계수 0.65 달성.
  • 균일 분포 데이터 (43 만 개): 모든 점수 구간 (0~5) 을 균등하게 포함시킨 데이터로 훈련 시 Pearson 상관 계수 0.88 달성. (편향된 데이터보다 성능이 월등히 우수함)
• 규모의 중요성: 100 만 개 및 400 만 개의 대규모 무작위 샘플 데이터로 훈련했을 때, Pearson 상관 계수 0.92라는 최고 성능을 기록했습니다. 이는 데이터의 양과 언어적 다양성이 모델의 일반화 능력을 결정하는 핵심 요소임을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. 자원이 부족한 언어를 위한 데이터 구축 프레임워크: 실제 병렬 코퍼스가 부족한 상황에서, 합성 데이터 생성과 제어된 오류 삽입을 결합하여 고품질 QE 데이터셋을 구축하는 구체적인 방법론을 제시했습니다.
2. 형태론적 복잡성 해결: 히브리어와 같이 형태론적으로 복잡한 언어에서 발생하는 성/수 일치 오류 등을 인위적으로 생성하여 모델이 이러한 미묘한 오류를 학습하도록 했습니다.
3. 데이터 분포와 규모의 영향 규명: QE 모델의 성능이 단순히 데이터 양뿐만 아니라 점수 분포의 균형 (균일 분포) 과 데이터의 규모에 의해 결정됨을 실험적으로 입증했습니다. 특히 균일 분포가 모델의 예측 편향을 줄이고 미세한 품질 차이를 구분하는 능력을 향상시킵니다.

5. 의의 및 향후 방향 (Significance & Future Work)

• 의의: 이 연구는 자원이 부족한 언어 쌍에 대해 고품질 QE 모델을 개발할 수 있는 실용적인 경로를 제시했습니다. 대규모 합성/반-합성 데이터가 실제 산업 환경의 번역 품질 평가 파이프라인에서 모델의 강건성 (Robustness) 을 높일 수 있음을 증명했습니다.
• 향후 방향: 현재 연구에서는 관용구 (Idioms) 의 번역 오류 처리가 미흡한 것으로 확인되었습니다. 향후 영어 관용구와 이에 대한 히브리어 번역 (정확한 것 및 오류가 있는 것) 을 포함한 데이터셋을 추가하여 모델의 관용구 처리 능력을 개선할 예정입니다.

결론적으로, 이 논문은 데이터 부족이라는 제약을 극복하기 위해 "합성 데이터 생성 + 제어된 오류 증강 + 대규모 스케일링" 전략을 결합하여, 영어 - 히브리어 번역 품질 추정 모델의 성능을 0.92 이상의 높은 상관 계수로 끌어올린 성공적인 사례입니다.