VietNormalizer: An Open-Source, Dependency-Free Python Library for Vietnamese Text Normalization in TTS and NLP Applications

이 논문은 TTS 및 NLP 응용을 위해 숫자, 날짜, 통화, 약어 및 외래어 등을 발음 가능한 베트남어 형태로 변환하는 경량 규칙 기반 오픈소스 라이브러리 'VietNormalizer'를 제안합니다.

핵심

이 논문은 **'VietNormalizer(비엣노말라이저)'**라는 새로운 도구를 소개합니다. 이 도구를 쉽게 이해하려면 **'음성 합성 (TTS) 을 위한 요리사'**의 비유를 들어볼 수 있습니다.

🍳 비유: 컴퓨터가 읽는 '요리 재료' 정리하기

컴퓨터가 사람 목소리로 글을 읽어주는 (TTS) 작업을 상상해 보세요. 컴퓨터는 "14:30", "1,500,000 원", "NASA" 같은 숫자나 약어를 그대로 읽으면 엉뚱한 소리를 냅니다. 마치 요리사가 "14:30"이라는 숫자 덩어리를 그대로 입에 넣으려 하거나, "NASA"라는 알파벳을 그대로 씹으려 하는 것과 비슷하죠.

VietNormalizer는 바로 이 **'재료를 손질하는 주방장'**입니다.

• "14:30"을 들어오면 → "오후 두 시 삼십 분"으로 다듬어 줍니다.
• "1,500,000 원"을 보면 → "백오십만 원"으로 바꿔줍니다.
• "NASA"를 보면 → "나사"라고 발음하기 쉬운 한국어 소리로 바꿔줍니다.

이렇게 손질된 재료 (텍스트) 만이 컴퓨터가 자연스러운 목소리로 요리 (발음) 를 할 수 있게 해줍니다.

---

🚀 이 도구가 특별한 이유 3 가지

기존에 있던 도구들은 몇 가지 큰 단점이 있었습니다. VietNormalizer 는 이 모든 문제를 해결했습니다.

1. 무거운 짐을 다 내려놓았습니다 (Zero-Dependency)

• 기존 도구들: 무거운 AI(인공지능) 모델을 실행하려면 컴퓨터에 거대한 짐 (수 GB 의 데이터, GPU 등) 을 싣고 다녀야 했습니다. 마치 간단한 김밥을 말려고 대형 트럭을 불러야 하는 꼴이었죠.
• VietNormalizer: 오직 **규칙 (Rule)**만 사용합니다. AI 모델이 필요 없어 아주 가볍고 빠릅니다. 스마트폰이나 작은 서버에서도 즉시 실행할 수 있습니다. "가방 하나만 들고 여행하는 가벼운 여행객"과 같습니다.

2. 모든 재료를 한 번에 다 다룹니다 (Comprehensive Coverage)

• 기존 도구들: 숫자만 다듬거나, 날짜만 다듬는 등 부분적으로만 일했습니다.
• VietNormalizer: 숫자, 날짜, 시간, 돈, 퍼센트, 약어, 외국어까지 일곱 가지 카테고리를 모두 다룹니다. 마치 모든 재료를 한 번에 손질해주는 만능 칼과 도마처럼 작동합니다.

3. 누구나 쉽게 수정할 수 있습니다 (User-Extensible)

• 기존 도구들: 새로운 약어가 생기면 코드를 고쳐야 해서 일반인이 쓰기 어려웠습니다.
• VietNormalizer: 엑셀 파일 (CSV) 처럼 간단한 목록만 만들어서 추가하면 됩니다. 마치 레시피 책에 새로운 재료를 적어 넣는 것처럼 누구나 쉽게 커스터마이징할 수 있습니다.

---

🌍 이 도구가 중요한 이유

이 논문은 베트남어뿐만 아니라 **전 세계의 '저자원 언어 (데이터가 부족한 언어)'**들에게도 큰 의미가 있습니다.

• 현재 상황: 대부분의 언어에는 AI 를 훈련시킬 만큼의 데이터가 없습니다. AI 가 요리를 하려면 많은 식재료가 필요한데, 데이터가 부족하면 AI 는 요리를 못 합니다.
• 해결책: VietNormalizer 는 규칙 기반이므로 데이터가 없어도 언어 전문가가 몇 일만 공부하면 만들 수 있습니다. 이는 데이터가 부족한 태국, 라오스, 캄보디아 같은 언어들에게도 똑같은 방식으로 적용할 수 있는 **'블루프린트 (설계도)'**가 됩니다.

💡 요약하자면

VietNormalizer는 복잡한 AI 없이, 가볍고 빠르며 정확한 규칙만으로 베트남어 텍스트를 컴퓨터가 읽기 좋은 말로 바꿔주는 만능 도구입니다.

• 누구에게 필요한가요? 컴퓨터로 목소리를 내는 서비스 (TTS) 를 만들거나, 베트남어 텍스트를 분석하려는 개발자.
• 어떻게 쓰나요? 파이썬 (Python) 으로 쉽게 설치 (pip install vietnormalizer) 하고, 텍스트만 넣으면 바로 다듬어진 결과를 얻습니다.

이 도구는 **"데이터가 부족해도 규칙만 있다면, 누구든 고품질의 음성 서비스를 만들 수 있다"**는 희망을 보여주는 사례입니다.

기술 요약

1. 문제 정의 (Problem Statement)

텍스트 음성 변환 (TTS) 및 자연어 처리 (NLP) 응용 프로그램에서 **텍스트 정규화 (Text Normalization, TN)**는 필수적인 전처리 단계입니다. 특히 베트남어는 다음과 같은 고유한 도전 과제로 인해 정규화가 어렵고 중요한 과제로 남아 있습니다.

• 비표준 단어 (NSWs) 의 높은 밀도: 실제 텍스트 (소셜 미디어, 뉴스, 상업 텍스트 등) 에는 숫자, 날짜, 시간, 통화, 백분율, 약어, 외래어 등 발음 가능한 형태로 변환해야 하는 비표준 단어가 매우 빈번하게 등장합니다.
• 복잡한 언어적 특성:
  • 성조 (Tonal morphology): 베트남어는 6 가지 성조를 사용하며, 정규화 과정에서 성조가 잘못 표기되면 TTS 발음 오류로 직접 이어집니다.
  • 숫자 발음의 복잡성: '10'(muoi), '20'(hai muoi) 등 10 의 배수와 10~19 사이의 숫자 표현 규칙이 불규칙하고 다른 동남아시아 언어와 다릅니다.
  • 외래어 및 코드 스위칭: 영어, 프랑스어 등 외래어의 베트남어 음운론적 표기 (Transliteration) 가 필요합니다.
• 기존 도구의 한계:
  • 기존 솔루션들은 대부분 무거운 신경망 (Neural Network) 의존성 (BERT, CRF 등) 을 요구하거나, 특정 NLP 툴킷 (underthesea 등) 에 종속되어 있어 독립적인 설치가 어렵습니다.
  • 또는 숫자, 날짜, 통화 등 특정 클래스만 부분적으로 지원하여 TTS 파이프라인에 필요한 전 범위를 커버하지 못합니다.

2. 방법론 (Methodology)

저자들은 의존성이 없는 (Zero-dependency), 순수 규칙 기반 (Rule-based) 파이프라인인 VietNormalizer를 제안했습니다. 이 라이브러리는 외부 API 나 GPU 없이 순수 Python 3.8+ 로만 구현되었습니다.

• 아키텍처 및 처리 파이프라인:
  처리 순서는 충돌을 방지하기 위해 엄격하게 정의되었습니다.

  1. Unicode 정규화: NFC 표준화 및 이모지/비인쇄 문자 제거.
  2. 날짜 및 시간 정규화: DD/MM/YYYY, HH:MM 등의 패턴을 베트남어 구어체로 변환.
  3. 통화 정규화: VND(동) 및 USD 금액 감지 및 발음화.
  4. 백분율 정규화: % 기호를 'phan tram'으로 변환.
  5. 일반 숫자 정규화: 재귀적 분해 알고리즘을 통해 정수 및 소수를 베트남어 단어로 변환 (예: 1,500,000 → 'mot trieu nam tram nghin').
  6. 사전 기반 치환: 사용자 정의 CSV 파일을 통해 약어 (Acronyms) 와 외래어 (Loanwords) 를 확장 및 음역합니다.

• 핵심 기술적 설계:

  • 미리 컴파일된 정규식 (Pre-compiled Regex): 모든 패턴은 클래스 초기화 시 한 번만 컴파일됩니다.
  • 단일 패스 처리 (Single-pass Processing): 사전 기반 치환 시 모든 키를 하나의 정규식 대안 (alternation) 으로 결합하여, 입력 길이 $n$에 대해 $O(n)$의 시간 복잡도를 보장합니다. 이는 순차적 치환 ($O(n \cdot |D|)$) 보다 훨씬 효율적입니다.
  • 확장성: 사용자가 CSV 파일을 통해 약어 및 외래어 사전을 동적으로 추가하거나 업데이트할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 포괄적인 규칙 기반 파이프라인: 숫자, 날짜, 시간, 통화, 백분율, 약어, 외래어 등 7 가지 주요 NSW 카테고리를 모두 처리하는 최초의 독립형 베트남어 TN 라이브러리입니다.
2. 경량화 및 의존성 제거: 신경망 모델이나 외부 API 없이 순수 Python 으로 구현되어, 임베디드 하드웨어, 서버리스 함수, 저사양 환경에서도 즉시 실행 가능합니다.
3. 고성능 배치 처리: 미리 컴파일된 정규식과 단일 패스 알고리즘을 통해 단일 CPU 코어에서도 분당 수만 개의 발화 (utterance) 를 처리할 수 있는 생산성 (Production-grade) 을 제공합니다.
4. 오픈소스 및 접근성: PyPI (pip install vietnormalizer) 및 GitHub 에서 MIT 라이선스로 공개되어 커뮤니티 기여를 장려합니다.
5. 저자원 언어에 대한 일반화 가능성: 규칙 기반 접근법의 타당성을 입증하고, 이를 다른 성조 언어 (Tonal) 나 교착어 (Agglutinative) 언어로 확장할 수 있는 청사진을 제시했습니다.

4. 결과 및 성능 (Results & Performance)

• 효율성: 신경망 기반 접근법 (예: Trang et al., 2022) 은 문장당 수십~수백 밀리초의 지연 시간을 발생시키지만, VietNormalizer 는 마이크로초 (microseconds) 단위로 처리하여 실시간 TTS 스트리밍에 적합합니다.
• 리소스: BERT 등 수 GB 규모의 모델과 토크나이저를 필요로 하는 기존 도구와 달리, VietNormalizer 는 설치 시 추가적인 저장 공간이나 메모리 오버헤드가 없습니다.
• 정확도: 규칙 기반 시스템은 결정론적 (Deterministic) 이며, 잘 정의된 NSW 클래스에 대해서는 도메인 간 일반화 능력이 뛰어납니다. (단, 문맥에 따른 모호성 해결은 제한적일 수 있음)

5. 의의 및 중요성 (Significance)

• TTS/NLP 생태계의 격차 해소: 베트남어 TTS 및 NLP 분야에서 오랫동안 존재했던 '가벼우면서도 포괄적인 정규화 도구'의 부재를 해결했습니다.
• 저자원 언어 (Low-resource Languages) 에 대한 패러다임 제시: 라벨링된 대규모 데이터가 부족한 대부분의 언어 (전 세계 7,000 개 언어 중 다수) 에 대해 신경망 모델 대신 규칙 기반 접근법이 여전히 가장 실용적이고 즉각적인 해결책임을 강조했습니다.
• 확장 가능성: 이 프레임워크는 태국어, 크메르어, 라오어 등 숫자 체계가 유사한 언어나 중국어, 태국어 등 성조 언어, 인도네시아어 등 교착어 언어로 쉽게 이전 및 적용될 수 있음을 시사합니다.
• 실무 적용: VietSuperSpeech 파이프라인 등 대규모 ASR/TTS 데이터 전처리 워크플로우에 이미 통합되어 사용되고 있습니다.

결론

VietNormalizer 는 복잡한 베트남어 텍스트를 TTS 가 이해할 수 있는 발음 가능한 형태로 변환하는 데 있어, 무거운 신경망 의존성을 배제하고 속도, 경량화, 확장성을 모두 잡은 혁신적인 오픈소스 솔루션입니다. 이는 베트남어뿐만 아니라 전 세계 저자원 언어의 TTS 기술 발전에 중요한 기초를 제공합니다.