💬 NLP

Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model

본 논문은 바나르어 자원의 부족을 극복하고 문화적 가교 역할을 위한 효과적인 바나르어-베트남어 기계 번역을 달성하기 위해, 데이터 증강 및 휴리스틱 방법으로 강화된 시퀀스 투 시퀀스 사전 학습 베트남어 언어 모델을 사용하는 전이 학습 접근 방식을 제안한다.

원저자: Dat Minh Tran Phan, Khang Nhat Hoang Vo, Tho Thanh Quan

게시일 2026-07-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dat Minh Tran Phan, Khang Nhat Hoang Vo, Tho Thanh Quan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

모든 언어가 고유하고 북적이는 도시라고 상상해 보세요. 영어 나 베트남어 같은 도시들은 거대한 메트로폴리스로서 높은 마천루와 끝없는 도서관, 그리고 서로에게 방향을 외치는 수백만 명의 사람들로 가득 차 있습니다. 하지만 몇 백 명의 주민만이 사는 아주 작고 숨겨진 마을들도 있습니다. 그곳의 어르신들은 머릿속에 이야기를 간직하고 있지만, 거리 표지판도, 지도도, 가이드북도 없습니다. 인공지능의 세계에서 이 "도시들"은 언어이며, "가이드북"은 컴퓨터가 그 언어를 말하는 법을 배우기 위해 필요한 방대한 양의 텍스트 데이터입니다.

오랫동안 AI 번역기는 거대한 메트로폴리스를 항해하는 법만 아는 관광객과 같았습니다. 만약 당신이 아주 작은 마을의 언어로 번역을 요청한다면, 그들은 규칙을 배울 만큼 충분한 사례를 본 적이 없기 때문에 그저 멍하니 바라보거나 말을 지어낼 뿐이었습니다. 이것이 바로 "저자원(low-resource)" 언어의 문제입니다. 컴퓨터 두뇌를 훈련시킬 데이터가 충분하지 않은 것입니다. 하지만 만약 우리가 컴퓨터에게 큰 도시의 언어를 먼저 가르친 다음, 몇 가지 특별한 단서들을 보여줌으로써 작은 마을의 언어를 말하도록 가르칠 수 있다면 어떨까요? 그것이 바로 "전이 학습(transfer learning)"의 마법입니다. 이미 천 가지의 프랑스 요리를 만드는 법을 배운 숙련된 요리사를 생각해 보세요. 만약 당신이 그에게 특정 지역의 스튜 레시피 몇 개를 준다면, 그는 비록 그 정확한 스튜를 본 적이 없더라도 자신의 기술을 적응시켜 완벽하게 만들어낼 수 있습니다. 이 논문은 바로 그 과제, 즉 베트남어와 바냐르어(Bahnaric, 베트남 소수 민족이 사용하는 아름답지만 데이터가 부족한 언어) 사이의 간극을 메우는 것을 돕는 일에 대해 깊이 파고듭니다.

이 연구를 진행한 연구진은 바냐르족과 베트남어 사용 주류 사회 사이에 디지털 다리를 놓기 위해 노력했습니다. 그들의 주요 목표는 매우 적은 "교과서"(이중 언어 데이터)만을 가지고도 바냐르어를 베트남어로 바꿀 수 있는 기계 번역 시스템을 만드는 것이었습니다. 그들은 단순히 표준 AI 모델을 문제에 투입하는 것만으로는 잘 작동하지 않는다는 것을 발견했는데, 이는 바냐르어가 디지털 세상에서 매우 희귀하기 때문입니다. 대신, 그들은 전이 학습이라는 영리한 기술을 사용했습니다. 그들은 이미 베트어의 구석구석을 배운 매우 똑똑한 AI 모델(거대 도시 언어)에서 시작했습니다. 그런 다음, 이 모델에게 바냐르어-베트남어 문장 쌍이라는 아주 작고 특별한 식단을 제공하여 새로운 언어를 배우도록 도왔습니다.

이 작업을 더욱 효과적으로 만들기 위해, 팀은 2단계 프로세스를 발명했습니다. 먼저, 그들은 바냐르어를 위한 맞춤형 "단어 분리기(word splitter)"를 구축했습니다. 바냐르어 단어는 까다롭고 종종 서로 붙어 있을 수 있기 때문에, 컴퓨터는 문장을 의미 있는 덩어리로 나누는 데 도움이 필요했습니다. 이 덩어리 중 일부는 사전에 있는 단어(예: "앵커" 단어)여서 번역하기 쉬웠지만, 다른 것들은 AI의 두뇌를 동원해 파악해야 하는 까다로운 "덩어리"들이었습니다. BARTpho라는 모델을 기반으로 한 이 AI는 이러한 어려운 덩어리들을 처리하도록 미세 조정되었습니다.

하지만 팀은 여기서 멈추지 않았습니다. 그들은 최고의 AI를 갖추더라도 데이터가 충분하지 않다는 것을 깨달았습니다. 그래서 그들은 **데이터 증강(data augmentation)**이라는 기술을 사용하여 데이터로 "가상 놀이"를 했습니다. 고양이 사진 한 장을 가지고 컴퓨터에게 고양이가 어떻게 생겼는지 가르치고 싶다고 가정해 봅시다. 당신은 그 사진을 가져와서 뒤집거나, 색상을 바꾸거나, 크기를 조절하여 다섯 개의 새로운 "가짜" 사진을 만들 수 있습니다. 연구진은 문장을 가지고 이와 유사한 작업을 수행했습니다. 그들은 단어를 바꾸거나, 단어를 숨기거나, 문장 부분을 섞는 등의 방법을 사용하여 새로운 합성 훈련 예시를 만들어냈습니다. 이는 실제 화자를 더 찾을 필요 없이 AI에게 더 많은 연습을 제공함으로써 훈련 데이터셋의 크기를 두 배로 늘려주었습니다.

결과는 꽤 유망했습니다. 그들이 만든 커스텀 시스템인 BV-BARTpho를 다른 표준 AI 모델들과 테스트했을 때, 이 시스템이 가장 높은 성적을 거두었습니다. 표준 모델들은 약 20에서 30 정도의 "BLEU 점수"(번역 정확도를 측정하는 방법)를 기록했습니다. 그러나 특별한 단어 분리기와 데이터 증강 기술을 사용한 그들의 커스텀 모델은 바냐르어를 베트남어로 번역하는 데 있어 33.58의 점수를 달성했습니다. 더욱 흥osamente하게도, 베트남어에서 바냐르어로의 번역에 데이터 증강 기술을 구체적으로 테스트했을 때, 그 방법들은 진가를 발휘했습니다. 단어 바꾸기와 숨기기(특히 "swap"과 "token")를 결합하여 사용했을 때, 그들은 점수를 기준점인 33.58에서 무려 49.61까지 끌어올렸습니다.

이 논문은 이 접근 방식이 이 특정 작업에 매우 효과적임을 시사합니다. 이는 AI에게 희귀한 언어를 가르치기 위해 산더미 같은 데이터가 필요한 것이 아니라, 이미 관련된 언어를 알고 있는 모델과 결로 보유한 적은 데이터를 똑똑하게 사용하는 방법이 필요하다는 것을 증명합니다. 바냐르어를 베트남어로 성공적으로 번역함으로써, 연구진은 바냐르 문화의 보존을 돕고 두 민족이 서로를 더 잘 이해할 수 있도록 돕기를 희망합니다. 이 논문이 전 세계 모든 언어에 대한 완벽하고 해결된 문제를 주장하는 것은 아니지만, 창의성과 스마트한 컴퓨팅을 통해 어려운 번역 과제를 관리 가능한 데로 바꿈으로써, 이 특정 문화적 가교를 위한 매우 강력하고 작동 가능한 솔루션을 보여줍니다.

기술 요약: 전이 학습을 이용한 바냐어-베트남어 번역을 통한 문화적 가교 구축

문제 정의
본 연구에서 다루는 주요 과제는 바냐어(베트남의 저자원 소수 민족 언어)를 베트남어로 번열하는 것이다. 이 작업은 어휘, 문법 문서화, 대화 패턴의 부족 및 충분한 이중 언어 코퍼스의 부재를 포함한 심각한 언어적 자원 부족으로 인해 어려움을 겪고 있다. 방대한 병렬 데이터를 필요로 하는 전통적인 신경망 기계 번역(NMT) 방식은 이러한 맥락에서 효과적이지 않다. 또한, ChatGPT와 같은 거대 언어 모델조차 데이터 불균형으로 인해 이러한 저자원 언어 처리에 어려움을 겪는다. 저자들은 바냐족과 베트남 민족 간의 문화적 이해와 통합을 촉진하기 위해 이러한 격차를 해소하고자 한다.

방법론
제안된 솔루션은 바냐어-베트남어 쌍에 특화된 시퀀스-투-시퀀스(Seq2Seq) 사전 학습 언어 모델을 활용하는 전이 학습 접근 방식을 채택한다. 시스템은 다음 두 가지 주요 단계로 구성된 엔드-투-엔드 파이프라인을 통해 작동한다:

분절 단계 (Segmentation Phase):
- 단어 분절 (Word Segmentation): 병렬 코퍼스를 활용하여 빈번하게 인접하는 단어 그룹을 식별하는 전용 바냐어 단어 분절기를 개발하였다. 이들은 문장을 의미 있는 단어로 우선적으로 나누기 위해 JSON 파일에 저장된다.
- 청크 탐지 (Chunk Detection): 분절된 단어들은 "앵커(anchors)"(바냐어-베트남어 사전에 존재하는 단어)와 "청크(chunks)"(모델을 통해 번역이 필요한 단어)로 분류된다.
매핑 단계 (Mapping Phase):
- 사전 매핑 (Dictionary Mapping): 앵커는 이중 언어 사전을 사용하여 직접적인 베트남어 대응어로 변환된다.
- 단어 중의성 해소 (Word Disambiguation): 다중 의미를 가진 사전 단어의 경우, 고정된 크기의 윈도우 내에서 병렬 코퍼스의 주변 단어를 분석하는 휴리스틱 방법을 사용한다. 후보 단어들은 주변 단어의 존재 여부에 따라 가중치가 부여되며, 가장 높은 점수를 받은 번역어를 선택한다.
- 모델 번역 (Model Translation): 청크는 미세 조정된 BV-BARTpho 모델에 입력된다. 이 모델은 대규모 베트남어 코퍼스로 사전 학습된 BARTpho 구조를 기반으로 하며, 제한된 바냐어-베트남어 병렬 데이터로 추가 미세 조정되었다. 모델은 인코더-디코더로서 동작하며, 바냐어 청크를 잠재 표현(latent representations)으로 인코딩하고 이를 베트남어 구절로 디코딩한다.
데이터 증강 전략 (Data Augmentation Strategies):
데이터 부족 문제를 완화하기 위해 저자들은 두 가지 증강 기법을 구현하였다:
- 멀티태스크 학습 데이터 증강 (MTL DA): EDA 및 멀티태스크 학습에서 영감을 얻은 이 기법은 Swap(대상 단어를 무작위로 교체), Token(단어를 UNK로 대체), Source(소스 복사), Reverse(단어 순서 역전), Replace(정렬된 쌍을 대체)와 같은 변환을 포함한다. 하이퍼파라미터 $\alpha$ (0.5로 설정)는 영향을 받는 단어의 비율을 제어한다.
- 문장 경계 증강 (Sentence Boundary Augmentation): 이 방법은 인접한 문장을 분리하고 그 부분을 교체함으로써, 의미적 일관성을 유지하면서 모델이 다양한 분절 시나리오에 노출되도록 한다.

주요 기여

BV-BARTpho 모델: 자원 제한을 극복하기 위해 바냐어와 베트남어 사이의 언어적 유사성(단어 순서 및 통사 구조 등)을 활용하는 미세 조정된 Seq2Seq 모델(BV-BARTpho)을 개발하였다.
특화된 전처리: 바냐어에 맞춤화된 전용 단어 분절 시스템과 휴리스틱 단어 중의성 해소 프로세스를 구축하였다.
증강 프레임워크: 제한된 훈련 코퍼스를 효과적으로 확장하기 위해 특정 데이터 증강 전략(MTL DA 및 문장 경계 증강)을 적용하였다.
문화적 응용: 바냐어의 보존 및 확장을 지원하고 민족 간 상호 이해를 증진하기 위해 설계된 기능적인 번역 파이프라인을 제공한다.

결과
시스템은 빈딘(Binh Dinh), 자라이(Gia Lai), 꼰툼(Kon Tum) 성에서 수집된 16,105개의 훈련 쌍, 1,988개의 테스트 쌍, 1,987개의 검증 쌍으로 구성된 데이터셋을 사용하여 BLEU 점수로 평가되었다.

모델 성능: 제안된 바냐어 토크나이저를 적용한 BV-BARTpho는 33.58의 가장 높은 BLEU 점수를 달성하였으며, 이는 바닐라 트랜스포머(20.51), PhoBERT-fused NMT(25.20), PE-PD-PGN(30.24)을 포함한 베이스라인 모델들을 능가하였다.
증강의 영향: 다양한 증강 작업을 통한 베트남어-바냐어 번역 평가 시, 문장 경계 증강 방법이 50.72의 가장 높은 BLEU 점수를 기록하였다. MTL DA 작업 중에서는 Swap과 Token의 조합(49.61) 및 Swap과 Replace의 조합(48.23)이 베이스라인(33.58)보다 유의미하게 높은 성능을 보였다.
관찰 사항: 연구 결과 "Reverse" 및 "Source" 작업은 성능이 저조한 것으로 나타났으며, 이는 단어 순서를 흐트리거나 완전히 다른 어휘를 도입하는 것이 번역 품질에 부정적인 영향을 미칠 수 있음을 시사한다.

의의 및 주장
본 논문은 이 접근 방식이 두 언어 간의 불균형한 자원 문제를 효과적으로 처리하는 동시에 훈련 및 계산 과정을 최적화한다고 주장한다. 바냐어를 베트남어로 성공적으로 번역함으로써, 본 연구는 바냐어의 확장과 보존에 기여한다. 저자들은 이러한 기술적 성취를 바냐족과 베트남 민족 간의 상호 이해를 돕는 "문화적 가교"를 향한 단계로 규정한다. 결과적으로 전이 학습이 타겟팅된 데이터 증강과 결래될 때 저자원 기계 번역 작업에 있어 실행 가능한 전략임을 입증하였다.

유사한 논문