Improving Indigenous Language Machine Translation with Synthetic Data and Language-Specific Preprocessing

기술적 요약: 합성 데이터 및 언어별 전처리를 통한 토착 언어 기계 번역 개선

문제 제기
아이마라어, 과라니어, 케추아어와 같은 아메리카 대륙의 토착 언어는 디지털 존재감의 부재와 언어 자원의 희소성으로 인해 심각한 소멸 위험에 처해 있습니다. 이러한 언어들을 위한 견고한 신경 기계 번역 (NMT) 시스템을 개발하는 데 있어 주요 장벽은 대규모 병렬 코퍼스의 부재입니다. 풍부한 훈련 데이터에 의존하는 기존 지도 학습 기계 번역 접근법은 이러한 저자원 환경에서 종종 성능이 저하됩니다. 더 나아가, 이러한 언어들은 종종 표준 전처리 파이프라인이 효과적으로 처리하지 못하는 복잡한 형태론적 구조 (특히 접착성) 와 표기법 변이를 보입니다.

방법론
저자들은 선별된 병렬 데이터셋에 합성 문장 쌍을 추가하여 데이터 부족을 완화하기 위한 데이터 중심 접근법을 제안합니다. 이 방법론은 세 가지 핵심 구성 요소를 포함합니다:

1. 합성 데이터 생성:

   • 본 연구는 MultiScript30k 데이터셋 파이프라인을 활용합니다. 단언어 코퍼스로부터의 역번역에만 의존하는 대신, 저자들은 순방향 번역을 사용합니다.
   • Multi30k 데이터셋의 스페인어 캡션을 고용량의 NLLB-200 (3.3B) 다국어 번역 모델을 사용하여 아이마라어와 과라니어로 번역합니다.
   • 이 접근법은 스페인어를 고자원 피벗 언어로 간주하여, 의미적 내용을 보존하면서 목표어 측면의 언어적 다양성을 증가시키는 합성 병렬 데이터를 생성합니다.

2. 언어별 전처리:

   • 과라니어: 파이프라인은 유니코드 NFKC 를 통한 텍스트 정규화, 소문자화, 그리고 빈번한 이중자음 (예: 공백으로 분리된 "c h"를 "ch"로 병합) 의 표준화를 통해 표기법 변이성을 해결합니다. 특히, 특정 발음 기호와 비모음 (예: ã, ˜e) 을 보존하고 정렬되지 않은 쌍을 제거하기 위해 길이 비율 필터를 적용합니다.
   • 케추아어: 저자들은 토큰을 분할하고 평가 지표를 왜곡시키는 체계적인 단어 내 공백 아티팩트 (예: "chaypiqa" 대신 "ch aypiqa") 를 확인했습니다. 외부 언어 자원을 사용하지 않고 이러한 분리 패턴을 병합하기 위해 결정론적 표기법 정규화 절차가 적용됩니다.
   • 아이마라어: 유니코드 정규화와 경음 자음에 사용되는 아포스트로피 주변의 불필요한 공백 제거에 중점을 둔 보수적인 파이프라인이 사용됩니다. 그러나 저자들은 일반적인 정규화가 해당 언어의 강한 접착성 형태론을 분할할 수 있다고 지적합니다.

3. 모델 미세 조정:

   • 다국어 mBART 모델 (facebook/mbart-large-50) 은 선별된 데이터셋 전용과 합성 데이터 증강 데이터셋 모두에서 미세 조정됩니다.
   • 과라니어의 경우, 표기법을 더 잘 처리하기 위해 토크나이저 어휘에 특정 문자, 비모음, 그리고 일반적인 이중자음이 포함되도록 확장됩니다.
   • 실험은 아이마라어–스페인어, 과라니어–스페인어, 케추아어–스페인어 번역 작업에서 수행됩니다.

주요 결과
본 연구는 BLEU 의 이러한 언어군에 대한 알려진 한계로 인해, 최근 아메리카NLP 공유 작업에서 접착성 언어를 위해 선호되는 **chrF++**를 사용하여 성능을 주로 평가합니다.

• 과라니어–스페인어: 합성 데이터 통합은 개발 세트에서 chrF++ 점수를 (선별된 데이터셋 전용 기준) 42.00에서 44.00으로 향상시켜 +2.00 점의 개선을 이루었습니다.
• 케추아어–스페인어: 결정론적 표기법 정규화의 적용은 상당한 개선을 가져와 chrF++ 점수 36.6을 달성했습니다. 이는 공유 작업 기준선을 상회했으며 셰필드 대학교의 최고 보고 시스템과 맞먹는 성능을 보였습니다.
• 아이마라어–스페인어: 합성 데이터 증강은 chrF++ 를 26.85 에서 30.82 로 소폭 증가시켰습니다. 그러나 전반적인 성능은 여전히 낮아, 형태론 인식 전략 없이는 고도로 접착적인 언어에 대한 일반적인 전처리와 데이터 증강만으로는 부족함을 시사합니다.
• 비교: 저자들의 시스템은 mBART 와 순방향 번역된 합성 데이터를 활용하여, 종종 역번역과 더 큰 NLLB-200 모델을 사용한 아메리카NLP 2023 기준선 및 최상위 제출 시스템 (예: 셰필드 대학교) 과 경쟁력 있는 결과를 달성했습니다.

의의 및 주장
본 논문은 순방향 번역된 합성 데이터가 데이터가 부족한 토착 언어 시나리오에서 NMT 품질을 개선하는 효과적이고 확장 가능한 전략임을 주장합니다. 본 연구는 다음을 보여줍니다:

1. 합성 데이터 증강은 견고한 다국어 모델과 결합될 때 다양한 언어 쌍에서 번역 품질 (chrF++ 로 측정) 을 일관되게 향상시킵니다.
2. 언어별 전처리, 특히 케추아어와 과라니어를 위한 표기법 정규화는 코퍼스 아티팩트를 줄이고 토큰 수준 정렬을 개선하는 데 중요합니다.
3. 데이터 증강은 도움이 되지만, 아이마라어와 같은 고도로 접착적인 언어에서는 일반적인 서브워드 토큰화가 형태소를 분할할 수 있어 한계가 있으며, 이는 향후 형태론 인식 접근법의 필요성을 시사합니다.

저자들은 자신의 작업을 더 넓은 아메리카NLP 이니셔티브 내에서 위치시켜 언어 보존 및 접근성 노력에 기여합니다. 그들은 자동 평가 지표가 개선을 보이지만, 합성 데이터에 대한 의존성과 문화적 뉘앙스에 대한 인간 평가의 부재가 여전히 한계임을 강조합니다. 향후 작업으로는 인간 평가 포함, 시각적 맥락을 활용한 멀티모달 번역 탐색 (MultiScript30k 와 같은 자원 활용), 그리고 형태론적으로 복잡한 언어를 위한 더 표적화된 전처리 개발이 제안됩니다.