Transcribing Bengali Text with Regional Dialects to IPA using District Guided Tokens

기술 요약: 지역 방언이 포함된 벵골어 텍스트를 IPA로 전사하기 위한 구역 가이드 토큰 활용

문제 정의
벵골어 텍스트를 국제 음성 기호(IPA)로 정확하게 전사하는 것은 복잡한 시퀀스-투-시퀀스(sequence-to-sequence) 작업이며, 특히 지역 방언을 다룰 때 더욱 그러하다. 이러한 어려움은 언어의 복잡한 음운론, 문맥 의존적 음성 변화(자음 중첩 등), 그리고 방글라데시의 여러 구역(district) 간의 현저한 발음 차이에서 발생한다. 표준 벵골어와 달리, 지역 방언은 독특한 철자 관습, 고유한 지역 어휘, 그리고 동일한 표기법에 대한 서로 다른 음성 실현을 보이는 경우가 많다. 예를 들어, "나의"를 뜻하는 단어(amar)는 치타공(Chittagong), 랑푸르(Rangpur), 나르신디(Narshindi) 및 기타 지역에서 다르게 발음된다. 기존의 시퀀스-투-시퀀스 모델은 미등록 단어(OOV) 문제와 명시적인 가이드 없이는 지역 특유의 음성 패턴을 포착하지 못하기 때문에 이러한 변이성에 대응하는 데 어려움을 겪는다. 또한, 표준 텍스트-투-IPA 접근 방식은 저자원 지역 방언의 특정 언어적 뉘앙스를 반영하지 못하는 경우가 많다.

방법론
저자들은 시퀀스-투-시퀀스 모델의 지역적 발음 모호성을 해결하기 위해 **구역 가이드 토큰(District Guided Tokens, DGT)**이라는 새로운 기술을 제안한다. 핵심 메커니즘은 입력 텍스트의 출처 구역(예: <Chittagong>, <Rangpur>)을 나타내는 특정 토큰을 벵골어 텍스트 앞에 접두사로 붙이는 것이다.

• 토큰 구현: 이 토큰들은 토크나이저의 어휘 내에서 하나의 단위로 인코딩되도록 고유한 단어로 취급된다. 이러한 새로운 토큰들을 수용하기 위해 트랜스포머 모델의 임베딩 크기를 확장하였다.
• 모델 아키텍처: 본 연구에서는 세 가지 최첨단 인코더-디코더 트랜스포머 모델인 mT5-base, umT5-base, ByT5-small을 활용한다.
  • ByT5는 단어나 서브워드 토큰이 아닌 바이트 시퀀스를 직접 처리하기 때문에 특히 효과적인 것으로 강조된다. 이 아키텍처는 지역적 철자 변이로 인해 발생하는 OOV 문제를 본질적으로 완화한다.
• 데이터셋: 연구에는 Fatema 등이 작성한 데이터셋에서 파생된 150,000개의 벵골어 문장 쌍과 그에 대응하는 IPA 전사 데이터가 사용되었다. 데이터는 치타공, 나이르(Narail), 나르싱디(Narsingdi), 랑푸르, 탕가일(Tangail), 키쇼르간지(Kishoreganj)의 6개 구역을 포함한다. 데이터는 80% 훈련, 10% 검증, 10% 테스트 세트로 분할되었다.
• 전처리: 입력 텍스트는 영어 숫자를 벵골어 숫자로 변환하고 줄바꿈 문자를 제거하여 단일 문장 입력으로 만드는 등의 정제 과정을 거쳤다.

주요 기여

1. 새로운 기술: 시퀀스-투-시퀀스 모델에 지역적 문맥을 명시적으로 주입하기 위한 플러그 앤 플레이(plug-and-play) 프레임워크로서 DGT를 도입하였다.
2. 최초의 시도: 본 연구는 표준 언어 전사를 넘어 지역 벵골어 텍스트를 IPA로 전사하는 시퀀스-투-시퀀스 문제를 해결하려는 최초의 시도이다.
3. 포괄적인 평가: 저자들은 다양한 구역에 대한 모델 성능을 상세히 분석하고, DGT가 적용된 모델을 비-DGT 베이스라인과 비교하였다.
4. 오픈 소스 공개: 저자들은 추가 연구 및 애플리케이션 개발을 촉진하기 위해 미세 조정된 모델 체크포인트(HuggingFace를 통해)와 훈련/추론 노트북(GitHub을 통해)을 오픈 소스로 공개하였다.

실험 결과
연구는 홀드아웃(held-out) 테스트 세트에 대해 단어 오류율(WER)과 음절 오류율(CER)을 사용하여 모델을 평가하였다.

• 전반적인 성능: DGT를 장착한 ByT5-small 모델이 가장 우수한 성능을 보였으며, WER 1.24%, CER **0.42%**를 기록했다. umT5-base가 WER 2.39%, CER 1.01%로 그 뒤를 이었다. mT5-base는 umT5의 고유한 상대적 위치 편향과 달리 공유된 위치 편향으로 인해 훨씬 낮은 성능(WER 27.79%, CER 5.63%)을 보였다.
• DGT의 영향: 절제 연구(ablation study)를 통해 DGT가 성능을 유의미하게 향 향상시킨다는 것이 확인되었다. 예를 들어, ByT5-small 모델의 WER은 DGT가 없을 때 1.80%에서 DGT가 있을 때 1.24%로 개선되었다.
• 구역별 편차: 성능은 구역마다 달랐다. **나이르(Narail)**가 가장 전사하기 쉬웠으며(가장 낮은 오류율), **치타공(Chittagong)**은 가장 까다로운 지역(가장 높은 오류율)으로 나타났다. 이는 해당 지역의 발음 및 철자 격차가 매우 높기 때문인 것으로 보인다.
• 모델 비교: 바이트 기반의 ByT5 모델이 단어 기반 모델(mT5, umT5)보다 뛰어난 성능을 보였으며, 이는 바이트 수준에서 OOV 단어와 철자 변이를 직접 처리하는 이점을 입증한다.

의의 및 주장
본 논문은 높은 언어적 다양성을 가진 언어인 벵골어의 IPA 전사 정확도를 높이기 위해 DGT를 통한 명시적인 지역 구역 정보의 포함이 효과적이라고 주장한다. 저자들은 이 접근 방식이 이전에 다루어지지 않았던 지역 방언의 쓰인 텍스트와 지역 특유의 구어적 소리 사이의 간극을 효과적으로 메운다고 단언한다.

연구는 토큰을 사용하지 않는 ByT5 아키텍처가 OOV 단어와 철자 변이에 대한 강건함 덕분에 이 작업에 특히 적합함을 강조한다. 저자들은 자신들의 모델을 공개함으로써 지역 벵골어 구역을 위한 NLP 애플리케이션 개발을 가속화하고, 언어학적 분석, 음성 합성 및 저평가된 방언의 보존을 용이하게 하는 것을 목표로 한다. 저자들은 현재의 모델이 초기 단계의 언어 모델임을 겸허히 밝히며, 향후 연구에서 대규모 언어 모델(LLM)과 동적 DGT 선택 메커니즘의 역량을 탐구할 수 있을 것이라고 언급했다.