Open Machine Translation for Esperanto

논문 요약: 오픈 소스 에스페란토 기계 번역 (Open Machine Translation for Esperanto)

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 에스페란토 (Esperanto) 는 규칙적인 문법과 생산적인 어휘 형성 능력을 가진 가장 널리 사용되는 인공어 (constructed language) 입니다. 온라인 커뮤니티를 통해 상당한 디지털 자원을 보유하고 있지만, 현대 기계 번역 (MT) 기술의 맥락에서는 상대적으로 소외되어 있습니다.
• 문제:
  • 에스페란토를 위한 전용 최적화 오픈 소스 기계 번역 시스템이 부재합니다.
  • 기존 연구는 규칙 기반 (Rule-based) 이나 통계적 접근에 치중해 왔으며, 최신 신경망 (Neural) 및 대규모 언어 모델 (LLM) 기반의 체계적인 벤치마킹이 부족합니다.
  • 에스페란토는 '저자원 (Low-resource)' 언어로 분류되지만, 실제 웹 데이터 양은 많은 저자원 자연어보다 풍부하여 (Common Crawl 기준 75 위), 이를 활용한 모델 개발의 잠재력이 있습니다.
• 목표: 오픈 소스 기반의 다양한 MT 시스템 (규칙 기반, 인코더 - 디코더 모델, LLM) 을 비교 평가하고, 에스페란토 번역을 위한 최적의 오픈 소스 솔루션을 제시하며, 코드와 모델을 공개하여 커뮤니티의 접근성을 높이는 것입니다.

2. 방법론 (Methodology)

연구는 크게 벤치마킹 (Benchmarking) 과 모델 개발 (Model Development) 두 가지 단계로 진행되었습니다.

• 데이터 및 언어 쌍:

  • 언어: 에스페란토 (eo) 와 영어 (en), 스페인어 (es), 카탈루냐어 (ca) 간의 양방향 번역 (총 6 개 방향).
  • 데이터: FLORES+ 벤치마크 (테스트 세트) 와 Tatoeba Challenge (OPUS 리포지토리 기반, 정제된 병렬 코퍼스) 를 사용했습니다.
  • 데이터 전처리: OpusFilter 를 사용하여 길이 필터링, 언어 식별, HTML 태그 제거 등을 수행했습니다.

• 평가 대상 모델 (Benchmarked Systems):

  • 규칙 기반: Apertium (수동으로 작성된 언어 규칙 및 사전 기반).
  • 다국어 신경망 모델: NLLB (No Language Left Behind) 패밀리 (600M~3.3B 파라미터, 증류된 모델 포함).
  • 범용 LLM: Llama-3.1-8B-Instruct (Zero-shot 프롬프팅).
  • 번역 특화 LLM: Tower 패밀리 (TowerInstruct-7B-v0.2, Tower-Plus-9B).

• 자체 개발 모델 (Trained Models):

  • Transformer 모델: Marian 툴킷을 사용하여 0 번부터 학습 (From scratch). Transformer-base(60.6M 파라미터) 와 Transformer-tiny(17.4M 파라미터) 두 가지 크기로 학습.
  • LLM 파인튜닝: Llama-3.1-8B-Instruct 를 LoRA (Low-Rank Adaptation) 기법으로 파인튜닝. 각 언어 쌍당 10 만 개의 문장 쌍으로 학습.
  • NLLB 파인튜닝 시도: 다국어 설정에서 NLLB 모델을 파인튜닝했으나 성능 향상이 없어 중단.

• 평가 지표:

  • 자동 평가: BLEU, ChrF++ (주요 지표), COMET, MetricX.
  • 인간 평가: 스페인어 - 에스페란토 방향에 대해 100 개의 샘플을 선정, 상위 3 개 모델의 출력을 인간 판독자가 순위 매기기로 평가 (Win-rate 분석).

3. 주요 결과 (Results)

• 성능 순위:

  • NLLB 패밀리가 모든 언어 쌍에서 가장 우수한 성능을 보였습니다. 특히 NLLB-200-3.3B가 최고 점수를 기록했으며, 증류된 1.3B 모델도 경쟁력 있는 성능을 보였습니다.
  • LLM 성능: 범용 LLM (Llama-3.1-8B) 은 전용 MT 시스템보다 성능이 낮았으나, Tower 패밀리 (번역 특화 LLM) 보다는 훨씬 나은 결과를 보였습니다. 특히 TowerInstruct-7B 는 고자원 언어에 대한 파인튜닝이 오히려 에스페란토 번역 능력을 저하시킨 것으로 나타났습니다.
  • 규칙 기반 (Apertium): 신경망 모델보다 전반적으로 성능이 낮았으나, 일부 방향에서는 Tower 모델보다 나았습니다.

• 학습된 모델의 성과:

  • 효율성: 60M 파라미터의 Transformer-base 모델은 8B 파라미터의 파인튜닝된 Llama 모델과 유사하거나 더 나은 성능을 보였습니다.
  • 소형 모델의 가능성: 17.4M 파라미터의 Transformer-tiny 모델도 놀라울 정도로 경쟁력 있는 결과를 보여주어, 저자원 환경에서 소형 모델의 유효성을 입증했습니다.
  • 비대칭성: 에스페란토에서 다른 언어로 번역하는 것 (eo→X) 이 다른 언어에서 에스페란토로 번역하는 것 (X→eo) 보다 일반적으로 성능이 좋았습니다. 이는 고자원 언어 (영어, 스페인어 등) 의 학습 데이터 양이 많기 때문입니다.

• 인간 평가 및 오류 분석:

  • 인간 평가에서도 NLLB 모델이 약 50% 의 승률로 1 위를 차지했습니다.
  • 오류 유형:
    • Transformer-base: 어휘 오류, 미번역, 문법 불일치 등.
    • NLLB: 에스페란토의 구성적 어휘 형성 (예: neˆgtabulo → tabla de nieve) 을 직역하여 자연스럽지 않은 표현을 생성하는 경향.
    • Llama-FT: 정보 추가/삭제/허위 생성 (Hallucination), 언어 혼용, 심한 문법 오류 발생.

• 지표 상관관계:

  • 학습된 신경망 지표 (MetricX, COMET) 가 인간 판단과 높은 상관관계를 보였으며, 전통적인 n-gram 기반 지표 (BLEU, ChrF++) 보다 에스페란토 평가에 더 적합했습니다.

4. 주요 기여 (Key Contributions)

1. 첫 번째 포괄적 벤치마크: 에스페란토 오픈 소스 MT 시스템에 대한 최초의 체계적인 비교 평가 (규칙 기반, 신경망, LLM 포함) 를 수행했습니다.
2. 경량화 모델 공개: NLLB 에 필적하는 성능을 내면서도 훨씬 효율적인 소형 Transformer 모델 (Base, Tiny) 과 파인튜닝된 LLM 을 공개했습니다.
3. 오픈 사이언스 실천: 코드, 학습 데이터, 최상위 모델을 GitHub 과 HuggingFace 에 공개하여 에스페란토 커뮤니티의 기술 주권과 접근성을 강화했습니다.
4. LLM 에 대한 통찰: 저자원 언어 번역에서 범용 LLM 이 특정 번역에 최적화된 LLM 보다 더 나은 결과를 낼 수 있음을 보여주었습니다 (특화 파인튜닝이 일반 번역 능력을 저하시킬 수 있음).

5. 의의 및 결론 (Significance)

• 기술적 의의: 에스페란토와 같은 저자원 언어에서도 고비용의 대형 모델 없이도 고품질의 번역을 달성할 수 있음을 입증했습니다. 소형 모델은 개인 기기에서도 실행 가능하여 환경적, 경제적 지속 가능성을 높입니다.
• 사회적 의의: 에스페란토의 이념 (언어적 평등, 국제적 소통, 커뮤니티 협력) 과 부합하는 오픈 소스 기반의 디지털 언어 인프라를 구축하는 데 기여했습니다.
• 향후 과제: 에스페란토의 규칙적인 구조가 자연어보다 모델링이 쉬운지 연구하거나, 에스페란토를 중개어 (Interlingua) 로 활용한 피벗 번역 (Pivot-based MT) 접근법을 재검토하는 등의 연구가 필요하다고 제안합니다.

이 논문은 에스페란토 기계 번역의 현재 상태를 명확히 하고, 오픈 소스 및 경량화 모델을 통해 저자원 언어 기술의 미래를 제시한다는 점에서 중요한 의미를 가집니다.