No One-Size-Fits-All: Building Systems For Translation to Bashkir, Kazakh, Kyrgyz, Tatar and Chuvash Using Synthetic And Original Data

기술 요약: 만능 해결책은 없다: 바시키르어, 카자흐어, 키르기스어, 타타르어 및 추바시어를 위한 시스템 구축

문제 정의
본 논문은 저자원 튀르크계 언어, 특히 다섯 가지 언어 쌍(러시아어-바시키르어, 러시아어-카자크어, 러시아어-키르기스어, 영어-타타르어, 영어-추바시어)에 대한 기계 번역(MT) 문제를 다룹니다. 저자들은 이 언어들에 대해 고품질의 병렬 데이터가 부족하다는 점을 지적하며, 데이터가 부족한 상황에서 번역 품질을 개선하기 위해 다양한 접근 방식을 조사할 필요가 있다고 언급했습니다.

방법론
저자들은 데이터 증강, 매개변수 효율적 미세 조정(parameter-efficient fine-tuning), 그리고 검색 증강 프롬프팅(retrieval-augmented prompting)을 결합한 하이브리드 전략을 사용했습니다.

• 데이터 구축 및 증강:

  • 원본 데이터: 연구진은 다섯 가지 언어 쌍에 대해 다양한 출처(예: NLLB 팀, Plotnikov 및 Antonov, Zhang 등)에서 기존 병렬 코퍼스를 수집했습니다.
  • 합성 데이터: 데이터 부족 문제를 해결하기 위해, 저자들은 Yandex.Translate를 사용하여 훈련 세트를 증강했습니다. 영어 문구를 러시아어로(필요한 경우) 번ền한 다음, 대상 튀르크계 언어로 번역했습니다. 이 과정에서는 대규모 청크(5만~20만 샘플)에 대한 "문서 번역" 기능을 활용했습니다.
  • 필터링: 합성 데이터는 테스트 세트에 등장하는 모든 문구를 제거하기 위해 세심하게 필터링되었습니다.
  • 의사 라벨링(Pseudolabeling): 저자들은 데이터 의사 라벨링을 활용했으며, 예비 실험 결과 의사 라벨링 없는 다국어 훈련은 열등한 결과를 낳는다는 것을 발견했습니다.
  • 최종 데이터셋: 증강 후, 훈련 데이터 크기는 언어 쌍당 약 246만 샘플에 도달했습니다. 6개 언어로 번역된 데이터를 포함하는 특정 서브셋인 YaTURK-7lang이 공개되었습니다.

• 접근 방식 1: LoRA를 이용한 미세 조정 (카자흐어 및 바시키르어)

  • 기본 모델: 저자들은 facebook/nllb-200-distilled-600M을 기본 모델로 선택했습니다.
  • 토큰화: 모델을 유도하기 위해 커스텀 언어 쌍 접두사(예: <prefix_rus_bash>)를 토크나이저에 추가했습니다.
  • 훈련 전략: 두 가지 모드를 탐색했습니다:
    1. 모든 언어에 대해 1 에포크 동안 멀티태스크 미세 조정을 수행한 후, 특정 언어에 대한 LoRA 어댑터 훈련 수행.
    2. 싱글 태스크 미세 조정.
  • LoRA 구성: 저자들은 LoRA의 확장판인 DORA(Weight-Decomposed Low-Rank Adaptation)를 사용했습니다. 주요 하이퍼파라미터로는 $r=64$, $\alpha=64$, LoRA 드롭아웃 0.2, 그리고 PiSSA 가중치 초기화가 포함됩니다. 대상 모듈은 투영 레이어($q, v, k, out$)와 피드포워드 레이어($fc1, fc2$)입니다.
  • 최적화: 훈련에는 paged AdamW-8bit 옵티마이저를 사용하였으며, LoRA를 위해 선형 학습률 스케줄러(시작 속도 $5e^{-4}$), 전체 미세 조정을 위해 코사인 스케줄러를 사용했습니다.

• 접근 방식 2: 검색 증강 프롬프팅 (추바시어, 타타르어, 키르기스어)

  • 근거: NLLB를 추바시어에 대해 미세 조정했을 때 성능이 저조했는데, 이는 기본 모델이 추바시어로 사전 훈련되지 않았기 때문으로 보입니다. 마찬가지로 영어-추바시어에 대한 제로샷 성능도 약했습니다.
  • 검색 시스템: 데이터셋의 소스 언어 문구를 사용하여 ANNOY 인덱스를 구축했습니다. 새로운 쿼리에 대해, 시스템은 가장 유사한 소스 문구와 그 번역을 검색하여 인컨텍스트(in-context) 예시로 제공합니다.
  • 임베딩: 영어-추바시어의 경우 thenlper/gte-small을 사용했고, 다른 언어 쌍의 경우 sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2를 사용했습니다.
  • LLM 프롬프팅: API를 통해 여러 모델(DeepSeek-R1, DeepSeek-N1, MiMoV2, Gemma3, DeepSeek-V3.2)을 테스트했습니다. 프롬프트는 검색된 유사한 예시를 바탕으로 문구를 번역하도록 모델에 지시하며, 번역 결과만을 반환하도록 엄격한 제약을 두었습니다.
  • 구성: 영어-추바시어의 경우, 큰 컨텍스트 윈도우(TOP_N=7000)를 사용했습니다. 영어-타타르어의 경우, DeepSeek-V3.2를 이용한 제로샷 프롬프팅이 검색 기반 방식보다 우수한 것으로 나타났습니다.

• 앙상블 (Stacking):

  • 저자들은 의미적 유사성(LaBSE 인코더)과 퍼플렉시티 기반 필터링을 사용하여 여러 제출물 중 최상의 번역을 선택하려고 시도했습니다. 그러나 이러한 방법들은 일반적으로 최상의 단일 제출물에 비해 검증 점수가 약간 저하되는 결과를 초-낳았습니다.

주요 결과
저자들은 경진대회 리더보드의 chrF++ 점수를 보고합니다:

• 카자흐어: LoRA 기반 접근 방식이 49.71의 최고 점수를 달성했습니다.
• 바시키르어: LoRA 기반 접근 방식이 46.94를 달성했습니다.
• 추바시어: 검색된 예시를 포함한 DeepSeek-V3.2 프롬프팅이 39.47을 기록하여, 미세 조정된 NLLB 모델(11.70)과 제로샷 베이스라인을 크게 앞질렀습니다.
• 타타르어: 제로샷 또는 검색 기반 접근 방식이 41.6을 달성했습니다. 주목할 점은, DeepSeek-V3.2의 제로샷 결과(43.66)가 검색 기반 방법보다 뛰어났다는 것입니다.
• 키르기스어: 제로샷 접근 방식이 45.6에 도달하여, 컨텍스트 윈도우를 확장했을 때 성능 저하를 일으킨 검색 기반 프롬프팅보다 우수한 성능을 보였습니다.

기여 및 의의
본 논문의 주요 기여는 저자원이 튀르크계 언어에 대해 "만능(one-size-fits-all)" 전략은 효과적이지 않으며, 대신 최적의 접근 방식은 대상 언어의 가용 자원과 특성에 따라 달라진다는 것을 입증한 데 있습니다.

• 자원 의존적 전략: 상대적으로 자원이 풍부한 언어(바시키르어, 카자к어)의 경우, 합성 데이터에 대해 LoRA/DORA를 사용하여 사전 훈련된 모델(NLLB)을 미세 조정하는 것이 가장 효과적이었습니다.
• 희소성 적응: 추바시어와 같이 기본 모델에 사전 훈련이 부족한 극도로 데이터가 희소한 언어의 경우, 대규모 언어 모델을 활용한 검색 증강 프롬프팅이 상당한 품질 향상을 가져왔습니다.
• 제로샷의 한계: 적절한 제로샷 성능을 가진 언어(키르기스어, 타타르어)의 경우, 복잡한 검색 메커니즘이 DeepSeek-V3.2와 같은 고급 모델을 사용한 단순 제로샷 프롬프팅보다 우수하지 않았습니다.
• 오픈 릴리스: 저자들은 추가 연구를 촉진하기 위해 YaTURK-7lang 데이터셋과 카자크어 및 바시키르어에 대한 모델 가중치(멀티태스크 미세 조정 모델 및 LoRA 어댑터 포함)를 공개했습니다.

결론
연구는 일부 기존 자원이 있는 언어에는 합성 데이터에 대한 미세 조정이 가장 유망한 경로인 반면, 데이터가 극도로 부족한 언어에는 검색된 예시를 통한 프롬프팅이 실행 가능한 대안이 될 수 있다고 결론짓습니다. 저자들은 향히 연구에서 저자원 언어에 특화되어 사전 훈련된 모델을 미세 조정하는 방향을 탐구할 수 있음을 인정하면서도, 현재의 작업이 가용한 도구와 데이터를 사용하여 이러한 특정 튀르크계 언어 쌍을 처리하는 기준점(baseline)을 세웠다고 밝히고 있습니다.