Improving Low-Resource Machine Translation via Round-Trip Reinforcement Learning

논문 개요

이 연구는 병렬 데이터 (Parallel Data) 가 부족한 **저자원 언어 (Low-Resource Languages)**의 기계 번역 (MT) 품질을 향상시키기 위해, **순환 번역 (Round-Trip Translation)**과 **강화 학습 (Reinforcement Learning, RL)**을 결합한 자기 지도 학습 (Self-Supervised) 프레임워크를 제안합니다. 특히, NLLB (No Language Left Behind) 모델 가족을 기반으로 하여 병렬 데이터 없이도 번역 품질을 자가 개선할 수 있음을 입증했습니다.

1. 문제 정의 (Problem)

• 저자원 언어의 한계: 현대 신경 기계 번역 시스템은 수백만 개의 병렬 문장 쌍이 존재하는 고자원 언어에서는 뛰어난 성능을 보이지만, 병렬 코퍼스가 부족하거나 전무한 저자원 언어에서는 성능이 현저히 떨어지거나 특정 도메인 외로 일반화되지 못합니다.
• 기존 방법의 결함:
  • 백트랜슬레이션 (Back-translation): 역방향 번역 모델의 품질에 크게 의존하며, 초기 번역 오류가 합성 데이터에 전파될 수 있습니다.
  • 최대 가능도 추정 (MLE): 훈련 시 평가 지표 (BLEU, chrF++ 등) 를 직접 최적화하지 않아, 추론 시 오류가 누적되는 '노출 편향 (Exposure Bias)' 문제가 발생합니다.
• 목표: 병렬 데이터 없이 오직 단일 언어 (Monolingual) 데이터와 사전 학습된 다국어 모델만을 활용하여 번역 품질을 향상시키는 방법론을 모색합니다.

2. 방법론 (Methodology)

저자들은 GRPO (Group Relative Policy Optimization) 알고리즘을 적용한 강화 학습 기반의 순환 번역 미세 조정 (Fine-tuning) 프레임워크를 제안합니다.

• 핵심 아이디어 (Round-Trip Consistency):
  1. 전진 번역 (Forward): 영어 (Source) 를 저자원 타겟 언어로 번역합니다.
  2. 역번역 (Back-translation): 생성된 타겟 문장을 다시 영어로 번역합니다.
  3. 보상 (Reward): 원래 영어 문장과 재구성된 영어 문장의 유사도를 측정하여 보상을 부여합니다.
• 알고리즘 (GRPO):
  • 기존 PPO 와 달리 가치 함수 (Value Critic) 를 제거하고, 샘플링된 그룹 내 보상 값을 정규화하여 상대적 이득 (Advantage) 을 계산합니다. 이는 학습의 안정성을 높이고 계산 효율성을 개선합니다.
• 보상 함수 설계 (Reward Design):
  • chrF++: 자형 (Character) 기반의 F-score 로, 형태론적으로 풍부한 저자원 언어에 적합하며 부드러운 그래디언트를 제공합니다.
  • BLEU: 단어 기반 정밀도 신호로 보조적으로 사용되었습니다.
  • 학습 과정: 모델은 병렬 데이터 없이, 오직 영어 단일 코퍼스를 사용하여 "영어 $\rightarrow$ 타겟 $\rightarrow$ 영어" 순환 과정에서 재구성의 정확도를 극대화하도록 학습됩니다.

3. 주요 기여 (Key Contributions)

1. 병렬 데이터 없는 RL 프레임워크: 순환 일관성 (Round-trip consistency) 을 기반으로 한 강화 학습 프레임워크를 도입하여, 병렬 데이터 없이 저자원 번역을 개선하는 방법을 제시했습니다.
2. 보상 함수에 대한 체계적 분석: BLEU 와 학습된 메트릭 (BLEURT 등) 보다 **chrF++**가 저자원 언어 학습에 더 효과적이고 안정적인 보상 신호임을 실험적으로 입증했습니다.
3. 실증적 분석: 다양한 언어 (Central Aymara, Wolof, Dyula 등) 와 모델 크기 (600M, 1.3B 파라미터) 에 걸쳐 일관된 성능 향상을 보여주었습니다.

4. 실험 결과 (Results)

• 데이터셋 및 설정: NLLB-200 모델 (600M, 1.3B) 과 NLLB-MD 데이터셋을 사용했습니다. 타겟 언어는 Central Aymara, Friulian, Wolof, Dyula, Bhojpuri, Russian 등 6 개 언어를 선정했습니다.
• 성능 향상 (chrF++ 점수):
  • 모든 언어와 모델 크기에서 제안한 방법 (Ours) 이 베이스라인 (Base), 백트랜슬레이션 (BT), 비지도 번역 (UMT), 단순 순환 번역 (RT) 보다 우수한 성능을 보였습니다.
  • 특히 600M 모델에서 평균 chrF++ 점수가 36.49 로, 기존 최강 기법인 BT(36.18) 를 상회했습니다.
  • 1.3B 모델에서도 BT(38.38) 와 매우 근접한 38.18 의 점수를 기록하며 경쟁력을 입증했습니다.
• 유창성 (Fluency) 평가: Goldfish 단일 언어 언어 모델을 사용하여 타겟 언어의 유창성을 평가한 결과, 대부분의 언어에서 학습 후 로그 확률 (Log-probability) 이 개선되어 유창성이 떨어지지 않음을 확인했습니다.
• 보상 함수 비교: chrF++ 만을 사용한 경우가 BLEU 단독 또는 BLEU+chrF++ 조합보다 더 큰 성능 향상을 보였습니다. 특히 BLEURT 와 같은 학습된 메트릭을 보상으로 사용할 경우, 모델이 메트릭을 악용 (Reward Hacking) 하여 실제 번역 품질이 저하되는 불안정성이 관찰되었습니다.
• 정성적 분석: 학습된 모델은 반복 (Repetition) 과 의미 이탈 (Semantic Drift) 을 줄이고, 관용구와 형태소 처리가 더 자연스러운 번역을 생성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 자기 개선 가능성: 사전 학습된 다국어 모델이 병렬 데이터 없이도 단일 언어 신호와 강화 학습을 통해 스스로 번역 품질을 개선할 수 있음을 증명했습니다.
• 확장성: 모델의 규모 (Scale) 가 커질수록 (600M $\rightarrow$ 1.3B) 성능 향상이 더욱 일관되게 나타났으며, 이는 더 큰 모델로 확장 시에도 유효할 것임을 시사합니다.
• 실용적 가치: 병렬 데이터 수집의 어려움으로 인해 디지털 정보 접근성이 낮은 수천 개의 언어 사용자들에게 번역 기술의 혜택을 제공할 수 있는 잠재력을 가집니다.

한계점 및 향후 과제:

• 현재는 600M/1.3B 모델만 평가되었으며, 더 큰 모델 (예: 3.3B) 로의 확장 안정성은 검증이 필요합니다.
• 실험된 언어의 수가 제한적이므로, 다양한 문자 체계와 언어 유형에 대한 일반화 능력을 입증하기 위해 더 많은 언어로 실험이 확장되어야 합니다.
• 모델이 자신의 생성물을 기반으로 학습하므로, 편향 (Bias) 이나 환각 (Hallucination) 이 강화될 수 있는 윤리적 리스크에 대한 주의가 필요합니다.