Giving Voice to the Constitution: Low-Resource Text-to-Speech for Quechua and Spanish Using a Bilingual Legal Corpus

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 남미 안데스 지역의 원주민 커뮤니티, 특히 페루의 케추아 (Quechua) 화자들은 정부 언어인 스페인어로만 제공되는 법률 및 정치적 정보에 접근하는 데 심각한 장벽을 겪고 있습니다. 페루 헌법은 시민 생활의 핵심이지만, 공식 텍스트는 스페인어로만 제공되거나 번역된 케추아 버전이 음성 기술 (TTS) 을 통해 접근하기 어렵습니다.
• 문제:
  1. 데이터 부족 (Low-Resource): 케추아어는 음성 데이터가 극도로 부족한 저자원 언어로, 고품질 TTS 모델을 학습시키기 어렵습니다.
  2. 접근성 부재: 법률 문서 (헌법) 를 원주민 언어로 명확하게 전달할 수 있는 오디오 리소스가 부족하여, 라디오 방송, 법률 지원, 스크린 리더 등에서의 활용이 제한적입니다.
  3. 재사용성 부족: 케추아어 중심의 연구 (ASR, ST 등) 를 위한 정렬된 텍스트 - 음성 데이터셋이 부재합니다.

2. 방법론 (Methodology)

이 연구는 페루 헌법을 대상으로 케추아어와 스페인어 양방향 고품질 TTS 파이프라인을 구축했습니다.

가. 데이터 수집 및 전처리 (Corpus & Normalization)

• 케추아어 데이터: Siminchik (약 97.5 시간) 및 Lurin (약 83.3 시간) 코퍼스를 활용했으나, 1 초 미만의 짧은 클립과 노이즈가 포함된 데이터를 필터링하여 최종 약 40 시간의 정제된 데이터를 확보했습니다.
  • 정규화: 케추아어의 높은 접미사 (agglutinative) 특성으로 인한 표기법 변이를 줄이기 위해 형태소 분석기 (morphological parser) 를 사용하여 표기법을 표준화했습니다.
• 스페인어 데이터: 다양한 방언 (페루, 안데스, 라틴아메리카 등) 을 포함하는 약 218 시간의 고품질 오픈 소스 TTS 학습 데이터를 활용했습니다.
• 텍스트 처리: 헌법 조항을 문장 단위로 분할하고, 구두점, 숫자, 약어 등을 정규화하여 JSON 형식으로 정렬했습니다.

나. 모델 아키텍처 및 학습 전략 (Models & Training)

세 가지 최신 (SOTA) TTS 아키텍처를 비교 및 적용했습니다. 모두 이중 언어 (Bilingual) 학습 전략을 사용하여, 고자원 언어인 스페인어 데이터를 통해 저자원 언어인 케추아어의 성능을 향상시키는 크로스-링구얼 전이 (Cross-lingual Transfer) 를 구현했습니다.

1. XTTS v2: GPT 기반 인코더 - 디코더 스택을 사용하며, Coqui TTS 하이퍼파라미터와 사전 학습 체크포인트를 활용합니다.
2. F5-TTS: Flow-matching 패러다임을 사용하며, ConvNeXt 인코더와 Diffusion Transformer 백본을 통해 노이즈 제거 및 생성을 수행합니다.
3. DiFlow-TTS: Factorized codec 토큰에 대한 이산 흐름 매칭 (discrete flow matching) 을 사용하여 제로샷 (zero-shot) 합성을 목표로 합니다.

• 학습 환경: NVIDIA H100 GPU 에서 FP16 혼합 정밀도, AdamW 최적화 등을 사용하여 학습 및 미세 조정을 수행했습니다.

다. 평가 지표 (Evaluation)

저자원 환경에 맞춰 객관적 및 프록시 (proxy) 지각 평가를 수행했습니다.

• UTMOS: 지각된 자연스러움을 추정하는 객관적 점수.
• SIM-O: 생성된 발화 간 화자 일관성 (화자 임베딩 코사인 유사도).
• WER (Word Error Rate): 케추아어 전용 ASR 모델 (QUESPA) 을 사용하여 합성 음성의 가독성 측정.
• Prosodic Accuracy: 기본 주파수 (F0) 및 에너지 (Energy) 의 RMSE 를 통해 억양 및 강세 모델링 정확도 평가.

3. 주요 결과 (Results)

케추아어 헌법 텍스트를 입력으로 하여 세 모델의 성능을 비교한 결과는 다음과 같습니다.

• DiFlow-TTS 의 우수성: 가장 작은 모델 (164M) 임에도 불구하고 **가장 높은 자연스러움 (UTMOS 3.31)**과 **가장 낮은 오류율 (WER 0.16)**을 기록했습니다. 또한, 억양 (F0, Energy) 모델링 오차가 가장 낮아 스페인어에서 학습된 음향 패턴이 케추아어로 가장 효과적으로 전이되었음을 보여줍니다.
• F5-TTS 의 강점: 화자 일관성 (SIM-O) 에서 가장 높은 점수를 기록하여 언어 간 화자 특성을 잘 유지했습니다.
• XTTS v2 의 한계: 가장 큰 모델임에도 불구하고 파라미터 스케일만으로는 저자원 환경에서 최적의 성능을 내지 못했으며, 억양 전이 측면에서 상대적으로 낮은 성능을 보였습니다.

4. 주요 기여 (Key Contributions)

1. 페루 헌법용 이중 언어 TTS 리소스 공개: 케추아어와 스페인어 헌법 조항별 정렬된 텍스트, 재현 가능한 추론 코드, 합성된 오디오를 공개하여 커뮤니티가 재사용할 수 있는 인프라를 제공했습니다.
2. 저자원 법률 도메인 TTS 프레임워크: 데이터 부족 문제를 해결하기 위해 고자원 언어 (스페인어) 와의 크로스-링구얼 학습 전략을 효과적으로 적용한 파이프라인을 제시했습니다.
3. 모델 아키텍처 비교 연구: 저자원 환경에서 모델 크기 (Scale) 보다는 **시간적 및 억양적 동역학을 명시적으로 제어하는 아키텍처 (DiFlow-TTS 등)**가 더 중요한 성능 요인임을 실증했습니다.
4. ASR 및 연구용 데이터셋 제공: 합성된 오디오는 향후 케추아어 ASR 학습 및 증강 (Augmentation) 을 위한 고품질 데이터로 활용 가능합니다.

5. 의의 및 결론 (Significance)

• 사회적 영향: 원주민 언어로 된 법률 정보 접근성을 높여 정치적 참여와 권리 보호를 지원하며, 언어적 포용성 (Inclusivity) 을 증진합니다.
• 기술적 통찰: 저자원 언어의 TTS 개발에서 단순한 모델 스케일링보다는 **데이터 정렬 (Data Alignment)**과 억양 제어 아키텍처의 중요성을 강조했습니다.
• 지속 가능성: 오픈 소스 도구와 크로스-링구얼 학습을 통해 제한된 감독 하에서도 고타격 (High-impact) 음성 자원을 구축할 수 있음을 입증했습니다.

이 연구는 원주민 언어를 위한 기술 개발이 단순히 언어 보존을 넘어, 법적 권리와 시민 참여의 실질적인 도구로 작용할 수 있음을 보여주는 중요한 사례입니다.