Breeze Taigi: Benchmarks and Models for Taiwanese Hokkien Speech Recognition and Synthesis

논문 요약: Breeze Taigi (대만어 화성어 음성 인식 및 합성을 위한 벤치마크 및 모델)

1. 문제 정의 (Problem)

대만어 (타이지, Taigi) 는 역사적, 문화적으로 중요한 언어이지만, 영어나 표준 중국어 (만다린) 에 비해 음성 기술 개발이 상대적으로 뒤처져 있습니다. 주요 문제는 다음과 같습니다:

• 표준화된 벤치마크 부재: 대만어 음성 인식 (ASR) 및 합성 (TTS) 시스템을 객관적으로 비교하고 성능을 측정할 수 있는 표준화된 평가 프로토콜과 데이터셋이 부족합니다.
• 데이터 부족: 고품질의 레이블이 지정된 대만어 음성 데이터가 부족하여 대규모 모델을 학습시키기 어렵습니다.
• 언어적 복잡성: 다양한 방언, 복잡한 성조 변화 (tone sandhi), 그리고 한자 표기법의 다양성으로 인해 음소 및 성조 뉘앙스를 정확히 포착하는 것이 어렵습니다.
• 평가의 어려움: 기존 다국어 모델들은 대만어를 충분히 지원하지 않으며, 대만어와 만다린의 언어적 차이로 인해 직접적인 전사 (transcription) 비교가 복잡합니다.

2. 방법론 (Methodology)

이 논문은 Breeze Taigi라는 포괄적인 프레임워크를 제안하며, 병렬 언어 자원과 대규모 합성 데이터 생성 기술을 전략적으로 활용합니다.

• 벤치마크 구축 (Benchmarking):

  • 데이터 소스: 대만 행정원 (Executive Yuan) 의 공식 공익 광고 (PSA) 오디오를 활용합니다. 만다린 버전과 대만어 버전이 병렬로 존재하는 30 개의 오디오 쌍을 선별했습니다.
  • Ground Truth 생성: 대만어 오디오에 대한 참조 전사는 만다린 오디오를 기반으로 생성합니다. 최첨단 만다린 ASR, 대형 언어 모델 (LLM) 을 통한 텍스트 정제, 그리고 전문가의 검증을 거쳐 정확성을 확보했습니다.
  • 평가 지표:
    • ASR: 대만어 오디오를 만다린 텍스트로 매핑하여 **문자 오류율 (CER, Character Error Rate)**을 주 평가 지표로 사용합니다. 단어 단위 (WER) 가 아닌 문자 단위를 사용하는 것은 한자 기반 언어의 특성상 단어 경계가 모호하기 때문입니다.
    • TTS: 자동 평가 (ASR 기반 CER) 와 인간 평가 (발음 정확도, 자연스러움 MOS) 를 결합한 이중 평가 체계를 도입했습니다.

• 모델 개발 및 학습:

  • 대규모 합성 데이터셋: 약 10,000 시간 분량의 대만어 합성 음성 데이터를 생성하여 학습에 활용했습니다. 이 데이터는 다양한 화자, 음향 환경, 대화 맥락을 포함하여 ASR 과 TTS 모델 학습에 적합하도록 설계되었습니다.
  • ASR 모델 (BreezeASR-Taigi): Whisper 모델 (Whisper-large-v2) 을 기반으로 하여, 생성된 10,000 시간의 합성 데이터로 미세 조정 (Fine-tuning) 했습니다.
  • TTS 모델 (BreezyVoice-Taigi): CosyVoice 2 프레임워크를 기반으로 하며, 대규모 언어 모델 (LLM) 구성 요소만 미세 조정하여 대만어 합성 성능을 최적화했습니다.

3. 주요 기여 (Key Contributions)

1. 재현 가능한 벤치마크 프로토콜: 대만어 ASR 및 TTS 시스템을 객관적으로 비교할 수 있는 표준화된 평가 방법론과 30 개의 테스트 샘플 (ASR), 20 개의 테스트 샘플 (TTS) 을 공개했습니다.
2. 병렬 자원 활용 전략: 대만어 전용 데이터가 부족한 상황에서, 공식적인 만다린 - 대만어 병렬 오디오를 활용하여 고품질의 기준 전사 (Ground Truth) 를 생성하는 실용적인 방법론을 제시했습니다.
3. 대규모 합성 데이터 기반 학습: 10,000 시간 규모의 음향적으로 다양한 합성 데이터셋을 구축하고, 이를 통해 기존 상용 모델보다 우수한 성능을 내는 오픈 소스 베이스라인 모델 (BreezeASR-Taigi, BreezyVoice-Taigi) 을 개발했습니다.
4. 다차원 평가 체계: TTS 에 대해 자동 지표 (CER) 와 인간 평가 (발음 정통성, 자연스러움) 를 결합하여, 단순한 가독성뿐만 아니라 언어적 진정성과 자연스러움을 종합적으로 평가할 수 있는 체계를 마련했습니다.

4. 실험 결과 (Results)

• ASR 성능 (BreezeASR-Taigi):

  • 제안된 모델은 **평균 CER 30.13%**를 기록하여, 상용 시스템 (Yating: 32.11%, Taiwanese Input Method: 30.70%) 및 기존 연구 모델 (ASR25: 49.99%) 보다 우수한 성능을 보였습니다.
  • 특히 만다린 최적화 모델 (ASR25) 보다 대만어 특화 모델이 훨씬 낮은 오류율을 보임을 입증했습니다.

• TTS 성능 (BreezyVoice-Taigi):

  • 자동 평가: 평균 CER **19.09%**로, Taigi AI Labs (38.19%) 및 Aten AI Voice (23.14%) 를 압도했습니다.
  • 인간 평가: 자연스러움 (MOS) 에서 **5.0 점 (완전 자연스러움)**을 기록했습니다.
  • 발음 정통성: BreezyVoice-Taigi 는 자연스러운 대화 패턴 (코드 스위칭 포함) 을 학습하여 자연스러움은 높았으나, 엄격한 대만어 발음 기준 (59.2%) 에서는 Aten AI Voice (89.8%) 보다 낮았습니다. 이는 대만어 화자가 전문 용어 등에서 만다린 발음을 자연스럽게 섞어쓴다는 언어적 현실을 모델이 잘 반영했기 때문입니다.

5. 의의 및 결론 (Significance)

• 저자원 언어 기술 개발의 패러다임: 데이터가 부족한 언어 (Low-resource languages) 에 대해 병렬 언어 자원과 대규모 합성 데이터 생성을 결합하여 효과적인 음성 기술을 개발할 수 있음을 입증했습니다.
• 표준화된 평가의 필요성 충족: 대만어 음성 기술 연구의 투명성과 비교 가능성을 높여, 향후 연구의 기반을 마련했습니다.
• 실용적 적용 가능성: 제안된 프레임워크와 모델은 대만어의 디지털화를 가속화하며, 언어 보존, 교육, 접근성 도구 등 다양한 분야에서 활용될 수 있습니다.
• 언어적 통찰: TTS 평가에서 '자연스러운 코드 스위칭'과 '규범적 발음' 사이의 균형을 어떻게 평가할 것인지에 대한 중요한 논의를 제기했습니다.

이 논문은 대만어 음성 기술의 발전에 있어 표준화된 벤치마크와 고성능 오픈 소스 모델을 제공함으로써, 해당 분야의 연구와 상용화에 중요한 기여를 하고 있습니다.