Leveraging Sentence-oriented Augmentation and Transformer-Based Architecture for Vietnamese-Bahnaric Translation

기술 요약: 베트남어-반냐르어 번역을 위한 문장 단위 증강 및 트랜스포머 기반 아키텍처 활용

문제 정의
베트남 중부 소수 민족이 사용하는 몬-크메르 어족인 반냐르(Bahnar)어는 저자원 언어라는 특성으로 인해 디지털 보존 및 세대 간 소통에 상당한 어려움을 겪고 있다. 신경망 기계 번역(NMT)은 이 언어를 보존하고 장려할 수 있는 경로를 제공하지만, 표준 NMT 시스템은 제한된 병렬 코퍼스로 학습될 때 번역 품질이 저하되는 문제를 겪는다. 접사와 중첩 구조를 포함하는 복잡한 단어 구조, 고유한 음소 집합, 지역적 변이와 같은 반냐르어의 구체적인 언어적 특성은 번역을 더욱 어렵게 만든다. 기존의 데이터 증강(DA) 기술은 광범위한 전처리, 추가적인 자원(역번역을 위한 단일 언어 코퍼스 등), 또는 복잡한 생성 모델을 요구하는 경우가 많으며, 이는 희소한 베트남어-반냐르어 데이터셋에는 실행 불가능하다.

방법론
저자들은 외부 데이터나 복잡한 아키텍처 변경 없이도 저자원 NMT의 제약 내에서 작동하도록 설계된 두 가지 새로운 데이터 증강 전략을 제안한다. 두 방법 모두 기존의 병렬 학습 코퍼스에 적용되며, 표준 트랜스포머 기반 아키텍처(실험에서는 특히 BARTpho 모델 활용)와 호환된다.

1. 멀티태스크 학습 데이터 증강 (MTL DA):
   이지 데이터 증강(EDA)과 멀티태스크 학습 원리에서 영감을 얻은 이 프레임워크는 인코더가 소스 정보에 더 의존하도록 만들기 위해 합성된 타겟 문장을 생성한다. 타겟 언어 접두사에만 의존하는 대신(저자원 환경에서는 이것이 불충분함), 이 방법은 타겟 측에 노이즈를 도입하여 모델이 소스에 더 밀접하게 주의를 기울이도록 강제한다. 다섯 가지 보조 작업이 하이퍼파라미터 $\alpha$(0.5로 설정)에 의해 제어된다:

• Swap (교체): 타겟 단어를 무작위로 교체하여 접두사 의존성을 깨뜨림.
• Token (토큰): 무작위 타겟 단어를 특수 [UNK] 토큰으로 대체.
• Source (소스): 타겟 문장 전체를 소스 문장으로 대체.
• Reverse (역순): 타겟 문장의 단어 순서를 뒤집음.
• Replace (치환): 정렬된 소스-타겟 단어 쌍을 무작위 사전 단어로 대체.
  저자들은 특정 작업(특히 Token과 Swap)을 결합했을 때 최상의 결과를 얻었으며, Source 작업은 성능을 저하시킨다는 것을 발견했다.

2. 문장 경계 증강 (Sentence Boundary Augmentation):
   자동 음성 인식(ASR)의 세그멘테이션 오류 연구에서 착안한 이 방법은 단어 수준이 아닌 문장 수준에서 노이즈를 적용한다. 이는 인접한 문장 쌍 $(S_1, T_1)$과 $(S_2, T_2)$를 절단하고 결합하는 과정을 포함한다. 하이퍼파라미터 $p$는 절단 비율(기본값 0.3)을 결정한다. 알고리즘은 첫 번째 문장의 뒷부분과 두 번째 문장의 앞부분을 유지하고 이를 결합하여 새로운 학습 쌍 $(S_{out}, T_{out})$을 형성한다. 이는 잘못된 문장 경계를 시뮬레이션하여 모델이 세그멘테이션 오류와 문맥 변화에 대한 견고성을 학습하도록 강제한다.

주요 기여

• 두 가지 DA 기술 구현: 본 연구는 베트남어-반냐르어 번역 작업을 위해 MTL DA와 문장 경계 증강을 성공적으로 구현하고 평가하였다.
• 파라미터 최적화: 저자들은 하이퍼파라미터($\text{MTL DA의 } \alpha \text{ 및 문장 경계 증강의 } p$)에 대한 심층 분석을 수행하여, 데이터 다양성과 의미적 타당성 사이의 균형을 맞추는 최적의 설정을 식별하였다.
• 오류 특화 개선: 이 방법들은 이 도메인의 일반적인 번역 실패, 특히 "연어(collocation)" 오류와 "단어 대 단어(word-by-word)" 번역 문제를 대상으로 테스트되어 표적화된 개선을 입증하였다.
• 자원 효율성: 두 접근 방식 모두 기존 병렬 코퍼스 외에 추가 데이터가 필요 없으며, 복잡한 전처리나 보조 시스템의 학습(역번역과 달리)을 요구하지 않는다.

실험 결과
실험은 약 16,105개의 베트남어-반냐르어 문장 쌍 데이터셋을 사용하여 수행되었으며, 주요 평가 지표로 BLEU를 사용하였다. 베이스라인 트랜스포머 모델은 29.89의 BLEU 점수를 달성하였다.

• MTL DA 성능: Token과 Swap 작업을 결합했을 때 MTL 변형 중 가장 높은 개선을 보이며 40.64의 BLEU 점수를 달성하였다. Token(38.48) 및 Replace(38.01)와 같은 개별 작업 또한 유의미한 이득을 보였다. Source 작업은 점수가 급락(2.38)하였는데, 이는 정렬되지 않은 완전히 새로운 어휘를 도입하는 것이 모델에 해를 끼친다는 것을 확인시켜 준다.
• 문장 경계 성능: 이 방법은 ($p=0.7$일 때) 41.33의 BLEU 점수를 달성하여 다른 모든 구성을 능가하였다. 주목할 점은, 이 개선이 MTL DA(원본의 2배 크기)에 비해 더 작은 증강 데이터 크기(원본의 0.67배)로도 달성되었다는 것이다.
• 베이스라인과의 비교: 제안된 두 방법 모두 표준 EDA(36.37) 및 시맨틱 임베딩(39.20)보다 크게 우수한 성능을 보였다.
• 특정 오류 감소:
  • 연어(Collocation) 오류의 경우, MTL DA(Token+Swap)는 BLEU 점수를 1.52에서 4.64로 개선하여(3배 증가) 문장 경계 증강(3.87)보다 뛰어난 성능을 보였다.
  • 단어 대 단어(Word-by-Word) 오류의 경우, 문장 경계 증강이 6.61에서 11.08로 점수를 높여(약 68% 개선) MTL DA(9.19)보다 우수한 성능을 보였다.

의의 및 주장
본 논문은 이러한 증강 전략이 반냐르어의 저자원 NMT에 내재된 데이터 부족 문제를 효과적으로 해결한다고 주장한다. 그 의의는 다음과 같다:

1. 타겟 측 노이즈(MTL DA)는 모델의 의존성을 타겟 접두사에서 소스 인코더로 성공적으로 전환하여 번역 충실도를 높일 수 있다.
2. 문장 수준 노이즈(경계 증강)는 단어 수준 노이즈에 대한 매우 효과적이고 자원 효율적인 대안이며, 세그멘테이션 문제를 처리하고 전반적인 유창성을 향상시킬 수 있다.
3. 이러한 방법들은 아키텍처에 구애받지 않으며(architecture-agnostic), 데이터 효율적이어서 추가 데이터 수집이 불가능한 다른 저자원 언어 쌍에도 적용 가능하다.

저자들은 이러한 방법들이 유망한 결과를 보여주지만, 멀티태스크 학습에서 다양한 데이터 비율을 탐색하고 다른 저자원 방언 및 언어 전반에 걸쳐 이러한 접근 방식을 검증하기 위한 추가 연구가 필요하다고 결론지었다.