LUXMT 기술 보고서 요약

1. 문제 정의 (Problem)

룩셈부르크어 (LB) 는 기계 번역 (MT) 분야에서 **저자원 언어 (low-resource language)**로 분류되어 있습니다. 기존에 널리 사용되는 다국어 벤치마크 (예: FLORES-200) 는 데이터 오염 (data contamination) 우려가 있으며, 룩셈부르크어에 특화된 고품질 평가 데이터셋과 모델이 부족합니다. 또한, 룩셈부르크어에서 프랑스어 (FR), 영어 (EN), 독일어 (DE) 로의 번역 품질을 정량적으로 평가하고 개선할 수 있는 체계적인 파인튜닝 (fine-tuning) 전략이 필요했습니다.

2. 방법론 (Methodology)

2.1. 모델 선정 및 벤치마크 구축

• 모델 비교: GEMMA 3, AYA EXPANSE, COMMAND R, LLAMA 3.1/4, MISTRAL, PHI 4 등 다양한 오픈 소스 대형 언어 모델 (LLM) 을 룩셈부르크어 번역 벤치마크에서 평가했습니다.
• 벤치마크 데이터: 룩셈부르크 관광 잡지 'Luci'의 1~63 호 (LB, FR, DE, EN 4 개 언어) 를 기반으로 구축되었습니다. 저작권 문제로 공개는 제한적이지만, spaCy 를 활용한 문장 분할과 LUXEMBEDDER(룩셈부르크어 문장 임베딩) 를 통한 정렬을 거쳐 LB-FR, LB-EN, LB-DE 병렬 코퍼스를 구성했습니다.
• 최적 모델 선정: 평가 결과, **GEMMA 3 (27B)**이 가장 우수한 성능을 보여 이를 베이스 모델로 선정했습니다.

2.2. 데이터 수집 및 전처리

• 데이터 소스:
  • LUXALIGN: RTL 뉴스 기사 기반의 LB-FR 및 LB-EN 병렬 코퍼스.
  • 의회 의사록: 룩셈부르크 의회 (Chambre des Députés) 의 LB 텍스트를 구글 번역 (Google Translate) 을 통해 FR 및 EN 으로 확장하여 생성한 데이터.
• 필터링 (LUXEMBEDDER): LUXEMBEDDER 를 사용하여 문장 쌍의 유사도 (cosine similarity) 를 계산하고, 낮은 유사도 (낮은 번역 품질) 를 가진 데이터를 제거했습니다.
  • LUXALIGN 데이터: 유사도 임계값 0.99 적용 (데이터 양은 85.2% 감소했으나 품질 향상).
  • 의회 데이터: 유사도 임계값 0.98 적용 (1 대 1 번역 특성상 더 많은 데이터 보존).
• 최종 데이터셋: 총 약 54,500 개의 문장 쌍 (LB→FR: 32k, LB→EN: 22.5k).

2.3. 파인튜닝 (Fine-tuning)

• 하이퍼파라미터: 학습률 (Learning Rate) 2e-5, 에포크 (Epoch) 1 회.
• 실험: 임계값 필터링 효과, Temperature 설정 (0.11.0), 에포크 수 (13 회) 를 실험한 결과, 1 에포크 파인튜닝이 가장 좋은 성능을 보였습니다.

2.4. 평가 지표

• 메트릭스: BLEURT-20, XCOMETXL, BERTSCORE, LUXEMBEDDER 등을 사용.
• 접근법: 표면적 중첩 (n-gram) 기반 지표 (BLEU, CHRF2, TER) 는 시스템 간 비교에 한계가 있어 주 보고서에서는 제외하고 부록에 수록했습니다. 대신 신경망 기반 메트릭과 LUXEMBEDDER 를 활용한 무참조 (reference-less) 품질 추정 (QE) 을 시도했습니다.

3. 주요 기여 (Key Contributions)

1. LUXMT 모델 개발: GEMMA 3 기반의 룩셈부르크어 전용 기계 번역 모델 (LB→FR, LB→EN) 을 개발하고 파인튜닝했습니다.
2. 새로운 벤치마크 구축: 'Luci' 관광 잡지 기반의 인간 번역 데이터를 활용한 LB-FR, LB-EN, LB-DE 전용 벤치마크를 구축하여 데이터 오염 문제를 해결했습니다.
3. LUXEMBEDDER 활용: 룩셈부르크어 문장 임베딩을 데이터 필터링 도구로 활용하여 고품질 훈련 데이터를 선별했고, 이를 품질 추정 (QE) 지표로서의 가능성을 탐구했습니다.
4. 크로스링구얼 학습 증명: 독일어 (DE) 훈련 데이터가 없음에도 불구하고 LB→DE 번역 성능이 향상됨을 입증하여 LLM 의 크로스링구얼 학습 능력을 확인했습니다.

4. 결과 (Results)

• 성능 향상: LUXMT 는 베이스 모델인 GEMMA 3 대비 모든 언어 쌍 (LB→FR, LB→EN, LB→DE) 에서 통계적으로 유의미한 성능 향상을 보였습니다.
  • 특히 LB→DE 번역의 경우, 해당 언어 쌍의 훈련 데이터가 전혀 없었음에도 성능이 개선되어 LLM 의 언어 간 지식 전이 능력을 입증했습니다.
• LUXEMBEDDER 의 상관관계: LUXEMBEDDER 점수는 다른 자동 평가 지표 (특히 CHRF2, BLEU, TER) 와 높은 상관관계를 보였으나, 인간 선호도 기반 메트릭 (BLEURT 등) 과의 상관관계는 표면적 중첩 지표보다 낮았습니다. 이는 LUXEMBEDDER 를 품질 추정 지표로 사용할 때 신중해야 함을 시사합니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 룩셈부르크어와 같은 저자원 언어의 기계 번역 발전을 위한 체계적인 데이터 구축, 모델 파인튜닝, 평가 프레임워크를 제시했습니다. 또한, 훈련 데이터가 없는 언어로의 번역 성능 향상은 다국어 LLM 의 잠재력을 보여줍니다.
• 한계:
  • 도메인 제한: 벤치마크가 관광 잡지 (Luci) 에만 국한되어 있어 다른 도메인 (정치, 법률 등) 에 대한 일반화 여부는 불확실합니다.
  • 데이터 크기: 언어 쌍당 500 개의 문장 쌍으로 구성된 벤치마크는 통계적 신뢰도를 높이기 위해 확대가 필요합니다.
  • 출처 언어 불명확성: Luci 잡지의 원문 언어가 룩셈부르크어인지, 다른 언어에서 번역된 것인지 불명확하여 '번역체 (translationese)'가 포함될 가능성이 있습니다.
  • 평가 지표: LUXEMBEDDER 를 QE 지표로 사용하는 것은 추가 연구가 필요하며, 인간 평가 (Human Evaluation) 를 통한 검증이 필수적입니다.

결론적으로, 이 연구는 룩셈부르크어 기계 번역의 새로운 기준을 제시하며, 저자원 언어 처리를 위한 데이터 필터링 전략과 크로스링구얼 학습의 효과를 실증적으로 입증했습니다.