1. 문제 정의 (Problem)

아랍어는 전 세계 4 억 명 이상이 사용하는 언어로, 30 개 이상의 다양한 방언 (dialects) 을 보유하고 있습니다. 그러나 아랍어 음성 합성 (TTS) 분야에는 다음과 같은 중대한 과제가 존재합니다.

• 다양한 방언의 통합 부재: 현대 표준 아랍어 (MSA) 를 중심으로 한 기존 TTS 시스템은 일상생활에서 널리 쓰이는 다양한 지역 방언 (예: 이집트, 사우디, 모로코 방언 등) 을 지원하지 못합니다.
• 데이터 부족 및 품질 문제: 방언별 고품질 TTS 학습 데이터가 극히 부족합니다. 기존 데이터는 주로 자동 음성 인식 (ASR) 용으로 제작되어 노이즈가 많고, 텍스트에 발음 기호 (diacritics) 가 생략된 경우가 많아 TTS 학습에 적합하지 않습니다.
• 표준화된 평가 기준 부재: 여러 방언을 아우르는 TTS 모델의 성능을 비교할 수 있는 공개된 벤치마크가 존재하지 않았습니다.
• 오픈소스 프레임워크 부재: 상업적 모델 (예: ElevenLabs) 은 일부 성능을 보이지만, 오픈소스 기반의 통합 방언 TTS 프레임워크는 전무했습니다.

2. 방법론 (Methodology)

저자들은 Habibi라는 통합 방언 아랍어 TTS 프레임워크를 제안하며, 다음과 같은 핵심 기법을 적용했습니다.

가. 다중 방언 데이터 큐레이션 파이프라인

• 데이터 소스: MASC, SADA, MGB 시리즈, FLEURS 등 다양한 오픈소스 ASR 코퍼스와 공개 데이터를 수집하여 12 개 이상의 지역 방언을 커버하는 학습 데이터를 구축했습니다.
• 전처리: 원시 데이터의 노이즈를 제거하기 위해 화자 분리 모델 (source separation) 을 활용하고, 발화 속도 (CPS) 기반 필터링을 적용하여 불완전한 데이터를 제거했습니다.
• 확장: 기본 데이터 (D1) 에 추가적으로 정제된 데이터를 합쳐 총 1,857 시간 (약 87 만 개 발화) 의 확장 데이터 (D2) 를 구축했습니다.

나. 언어학적 기반 커리큘럼 러닝 (Linguistically-Informed Curriculum Learning)

모델의 학습 효율을 높이기 위해 2 단계 학습 전략을 채택했습니다.

1. 1 단계 (MSA 기반 SFT): 중국어와 영어로 사전 학습된 F5-TTS 모델을 현대 표준 아랍어 (MSA) 데이터로 먼저 미세 조정 (SFT) 합니다. MSA 는 모든 아랍어권에서 공유하는 공식 문어체이므로, 모델이 아랍어의 음운론적, 문법적 기초를 익히는 '다리' 역할을 합니다.
2. 2 단계 (방언 적응): MSA 기반 모델을 다양한 방언 데이터로 추가 미세 조정합니다. 이 과정에서 지역 식별자 (Regional Identifiers) 를 텍스트 시퀀스에 특수 토큰으로 추가하여 모델이 특정 방언의 특징을 학습하도록 유도합니다.

다. 표준화된 벤치마크 구축

• 7 개 방언 하위 집합 (MSA, SAU, UAE, ALG, IRQ, EGY, MAR) 으로 구성된 최초의 표준화된 아랍어 제로샷 TTS 벤치마크를 공개했습니다.
• 총 11,000 개 이상의 발화와 수동으로 검증된 전사 텍스트를 포함하며, 학습 데이터와 완전히 분리되어 평가의 신뢰성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 오픈소스 통합 방언 TTS: 20 개 이상의 언어 단위 (ISO 639-3) 와 12 개의 지역 식별자를 지원하는 최초의 오픈소스 통합 아랍어 TTS 모델 (Habibi) 을 공개했습니다.
2. 표준화된 벤치마크: 다중 방언 아랍어 제로샷 TTS 평가를 위한 첫 번째 표준 벤치마크를 공개하여 향후 연구의 기준을 마련했습니다.
3. 발음 기호 없는 고품질 합성: 텍스트에 발음 기호 (diacritics) 가 없어도 컨텍스트 학습 (in-context learning) 과 커리큘럼 러닝을 통해 자연스러운 방언 발음을 생성할 수 있음을 입증했습니다.
4. 상업적 모델 대비 경쟁력 입증: ElevenLabs 의 최신 모델 (Eleven v3 alpha) 과의 비교를 통해 오픈소스 모델이 상업적 모델과 대등하거나 우월한 성능을 보일 수 있음을 증명했습니다.

4. 실험 결과 (Results)

저자들은 8,000 시간 이상의 H100 GPU 학습 시간을 투자하여 30 개 이상의 설정에 대한 광범위한 실험을 수행했습니다.

• ElevenLabs 와의 비교:
  • 화자 유사성 (Speaker Similarity): Habibi 는 모든 7 개 방언에서 ElevenLabs 보다 월등히 높은 화자 유사성 점수 (SIM) 를 기록했습니다 (예: 알제리 방언에서 4.10 vs 2.48). ElevenLabs 는 자연스러움을 우선시하여 화자 특징을 덜 충실히 재현하는 경향이 있었습니다.
  • 자연스러움 및 가독성: Habibi 는 ElevenLabs 와 유사하거나 더 나은 자연스러움 (NMOS) 과 가독성 (WER) 을 보여주었습니다.
• 통합 모델 vs. 전용 모델:
  • 단일 통합 모델 (Unified Model) 은 각 방언별 전용 모델 (Specialized Model) 과 유사하거나 특정 방언 (MSA, MAR 등) 에서 더 나은 성능을 보였습니다. 이는 단일 모델이 다양한 방언을 효과적으로 일반화할 수 있음을 의미합니다.
• 학습 전략의 유효성:
  • 커리큘럼 러닝: MSA 를 먼저 학습한 후 방언을 학습하는 전략이, 방언 데이터만으로 학습하거나 MSA 단계를 건너뛰는 전략보다 성능이 훨씬 뛰어났습니다.
  • 지역 식별자: 학습 시 지역 식별자를 포함하면 추론 시 식별자가 없더라도 성능이 향상되었으며, 특히 WER(단어 오류율) 감소에 기여했습니다.
  • 데이터 품질: 데이터 양 증가도 중요하지만, 데이터의 품질 (노이즈 제거) 이 성능에 더 결정적인 영향을 미쳤습니다.

5. 의의 및 결론 (Significance)

• 오픈소스 생태계 조성: 아랍어 TTS 분야의 '롱테일 (long-tail)' 문제 해결을 위한 강력한 오픈소스 기반을 제공했습니다.
• 실용적 경쟁력: 상업적 모델에 비해 낮은 비용으로 고품질의 다중 방언 음성 합성이 가능함을 입증하여, 저자원 언어 기술의 발전 가능성을 보여줍니다.
• 향후 연구의 토대: 공개된 모델 체크포인트, 학습/추론 코드, 그리고 벤치마크 데이터를 통해 향후 아랍어 및 다국어 음성 합성 연구의 표준적인 평가와 개발을 촉진할 것으로 기대됩니다.

이 논문은 Habibi를 통해 아랍어 TTS 기술의 장벽을 허물고, 언어학적 통찰과 데이터 공학을 결합하여 저자원 방언 환경에서도 고품질 음성 합성이 가능함을 체계적으로 증명했습니다.