기술 요약: NüshuVoice: 멸종 위기 언어인 뉘슈(Nüshu)의 목소리를 피치 인지형 텍스트 음성 변환 기술로 부활시키다

문제 정의

뉘슈(Nüshu)는 중국 후난성 장용현에서 여성들이 역사적으로 사용해 온 멸종 위기의 음성 문자이다. 최근의 계산적 노력은 뉘슈의 텍atrical 디지털화, 인코딩 및 시각적 인식(OCR)에 집중되어 왔으나, 음향적 양상에 대한 연구는 거의 이루어지지 않았다. 이러한 공백은 매우 치명적인데, 뉘슈는 각 글자가 현지 장용 방언의 초성, 종성, 성조를 포함한 특정 음절에 대응하는 음절 문자이기 때문이다.

뉘슈를 위한 텍스트 음성 변환(TTS) 시스템 구축은 극심한 데이터 부족으로 인해 매우 어려운 과제이다. 현대의 저자원(low-resource) 설정이 수 시간 분량의 연속된 음성을 보유한 것과 달리, 가용한 뉘슈 녹음은 기록 보관용이며 스튜디오 품질이 아닐 뿐만 아니라, 자연스러운 문장 단위 발화가 아닌 거의 전적으로 고립된 음절 단위의 발음으로 구성되어 있다. 대규모의 쌍을 이룬 텍ual-음성 데이터셋이나 외부 정렬 감독(alignment supervision)에 의존하는 기존의 TTS 아키텍처는 이러한 조건 하에서 불안정한 텍스트-음성 정렬과 약한 운율 모델링 문제를 겪기 쉽다. 또한, 뉘슈 자동 음성 인식(ASR) 시스템의 부재로 인해 단어 오류율(WER)과 같은 표준적인 객관적 평가 지표를 사용할 수 없다.

방법론

1. 데이터셋 구축: NüshuVoice

저자들은 뉘슈를 위한 최초의 문장 단위 다중 모달 TTS 벤치마크인 NüshuVoice를 구축하였다. 구축 파이프라인은 세 단계의 엄격한 과정을 거쳤다:

• 데이터 수집: 텍스트 데이터는 The Mystery of Jiangyong Nüshu(약 63,665자)에서 추출하였으며, 이는 원본 글리프(glyph), 음성 전사(IPA 및 5단계 피치 척도 사용), 그리고 표준 중국어 번역을 제공한다. 오디오 데이터는 873개의 고립된 음절 녹음을 포함하는 Nüshu Pronunciation Electronic Dictionary에서 추출하였다.
• 철자 필터링: 손글씨/인쇄된 글리프를 표준 유니코드 형태와 매핑하기 위해 엄격한 시각적 및 의미적 교차 참조 프로토콜을 적용하였다. 검증된 유니코드 대응 형식이 없거나 구조적 불일치가 있는 글자를 포함하는 문장은 철자 충실도를 보장하기 위해 폐기되었다.
• 문장 단위 오디오 조립: 연속된 녹음이 불가능했기에, 저자들은 문장 단위 오디오를 조립하기 위한 결정론적 파이프라인을 개발하였다. 검증된 유니코드 문자를 사전의 해당 고립된 WAV 파일에 매핑하였다. 이 세그먼트들은 연속적인 발화를 재구성하기 위해 Audacity를 사용하여 시간적으로 연결되었으며, 이를 통해 표준화된 텍스트, IPA, 오디오 간의 일대일 정렬을 생성하였다.
• 검증: 두 명의 뉘슈 도메인 전문가에 의한 전문가 검증을 통해 최종 데이터셋(1,252개 발화, 약 98.8분)에 대해 93.6%의 정확도를 확인하였다.

2. 모델 아키텍처: Nüshu-PitchVITS

극심한 저자원 환경을 해결하기 위해, 저자들은 엔드 투 엔드 텍스트 음성 변환을 위한 적대적 학습 기반 변분 추론(VITS) 프레임워크의 확장판인 Nüshu-PitchVITS를 제안하였다.

• F0 조건부 프레임워크: 뉘슈 주석에 5단계 피치 표기가 명시적으로 포함되어 있다는 점을 인식하여, 모델은 운율적 귀납 편향(prosodic inductive bias)으로서 명시적인 기본 주파수(F0) 예측기를 통합한다.
• 아키텍처 세부 사항:
  • 입력: 톤 인지형 음성 전사(음절 + 5단계 톤 값).
  • 피치 브랜치: 경량화된 2층 1D 합성곱 네트워크가 텍스트 인코더의 은닉 상태로부터 프레임 단위의 로그-F0 시퀀스($\hat{f}$)를 예측한다.
  • 잠재 주입(Latent Injection): 예측된 피치 표현은 은닉 차원으로 투영되어 파형 디코딩 전의 잠재 음향 표현에 더해진다 ($Z' = Z + E_{F0}$).
  • 정렬: 피치 예측기는 저자원 환경에서 정렬 추정을 불안정하게 만드는 것을 방지하기 위해 단조 정렬 탐색(Monotonic Alignment Search, MAS)에서 제외된다. 정렬은 오직 사전 통계와 흐름 변환된 사후 변수로부터 계산된다.
• 학습 전략: 사전 학습된 영어 VITS 모델에서 초기화된 2단계 학습 접근 방식이 채택되었다:
  1. 1단계: 파형 디코더와 사후 인코더를 동결한다. 텍스트 인코더, 피치 예측기, 지속 시간 예측기, 그리고 정규화 흐름(normalizing flow)만을 KL-발산, 지속 시간, 피치 예측 손실을 사용하여 학습시킨다.
  2. 2단계: 모든 모듈의 동결을 해제하고, 적대적, 특징 매칭, 재구성 및 피치 손실을 포함한 결합 손실 함수를 사용하여 엔드 투 엔드 공동 학습을 수행한다.

주요 기여

1. NüshuVoice 데이터셋: 표준화된 유니코드 텍스트, IPA 전사, 중국어 번역, 그리고 조립된 기록 오디오를 정렬한 최초의 문장 단위 뉘슈 TTS 데이터셋을 생성하였다.
2. Nüshu-PitchVITS: 극심한 저자원 조건에서 합성을 안정화하기 위해 뉘슈의 명시적인 5단계 피치 표notation을 운율적 귀납 편향으로 활용하는 새로운 TTS 프레임워크를 제안하였다.
3. 체계적 평가: 뉘슈를 위한 신경망 TTS의 최초의 종합적인 객관적 및 주관적 평가를 수행하여, 멸종 위기 음성 문자를 위한 새로운 베이스라인과 지표를 확립하였다.
4. 문화적 보존: 뉘슈의 발음을 접근 가능하게 만드는 계산적 접근법을 통해, 이 멸종 위기 문자 체계의 음향적 부활을 지원한다.

실험 결과

제안된 방법은 NüshuVoice 테스트 세트에 대해 5개의 강력한 베이스라인(Tacotron 2, FastSpeech 2, Glow-TTS, F5-TTS, 표준 VITS)과 비교 평가되었다.

• 객관적 지표:
  • 스펙트럼 충실도: Nüshu-PitchVITS는 3.11의 멜-계수 왜곡(MCD)을 달성하여, 가장 강력한 베이스라인인 VITS(5.19)를 크게 앞질렀으며, 자기회귀 모델(MCD > 37)보다 압도적인 개선을 보여주었다.
  • 피치 재구성: 모델은 F0 제곱 평균 제곱근 오차(RMSE)를 13.23(VITS의 23.42 대비)으로 줄였고, 피어슨 상관계수 0.92(VITS의 0.73 대비)를 달성하여 우수한 톤 정확도를 입증하였다.
• 주관적 지표 (MOS):
  • 명료도: Nüshu-PitchVITS는 4.97에 가까운 완벽한 명료도 MOS를 달성한 반면, 표준 베이스라인들은 거의 1.0(불명료)에 가까운 점수를 기록했다.
  • 자연스러움: 모델은 실제 녹음값(3.34)과 유사한 3.31의 자연스러움 MOS를 달성하였다.
• 스펙트럼 분석: 스펙트로그램 분석 결과, 표준 VITS는 과도한 평활화(over-smoothing)와 약화된 조화 대비를 보인 반면, Nüshu-PitchVITS는 더 날카로운 조화 밴드와 일관된 피치 관련 구조를 생성하여 명시적 F0 조건화의 효능을 확인시켜 주었다.

의의 및 주장

본 논문은 NüshuVoice와 Nüshu-PitchVITS가 뉘슈 TTS 합성에 관한 최초의 전용 연구임을 주장한다. 저자들은 음향 데이터는 부족하지만 톤 주석이 존재하는 멸종 위기 음성 문자의 경우, 언어학적으로 근거한 운율 모델링이 필수적이라고 주장한다.

본 연구의 의의는 다음과 같다:

1. 음향적 부활: 시각적 인식을 넘어 뉘슈의 구어적 실현과 톤 역동성을 복구함으로써, 이는 뉘슈의 구전 및 문화적 유산을 보존하는 데 필수적이다.
2. 방법론적 통찰: 전통적인 정렬 메커니즘이 실패하는 극단적인 저자원 환경에서 명시적 피치 조건화가 VITS 아키텍처를 어떻게 안정화할 수 있는지 입증하였다.
3. 자원 가용성: 저자원 TTS, 멸종 위기 언어 부활, 그리고 무형 문화유산의 계산적 보존을 위한 향후 연구의 토대가 될 공개 데이터셋과 코드를 제공한다.

저자들은 조립된 형태의 오디오(자연스러운 공조음 및 담화 운율 결여), 기록적 제약으로 인한 제한된 화자 다양성, 정확한 유니코드 대응이 없는 역사적 글리프 변이체의 제외와 같은 한계를 인정하며 신중한 태도를 유지한다. 그들은 이 작업이 커뮤니티의 지식을 대체하기보다는 보존과 기록을 지원하는 데 목적이 있음을 강조한다.