Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost

다음은 "Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

인도어 (특히 텔루구어, 타밀어, 힌디어) 에 대한 고품질 텍스트 음성 변환 (TTS) 시스템을 구축하려면 일반적으로 다음 두 가지 방법 중 하나가 필요합니다:

1. 처음부터 훈련: 수백에서 수천 개의 GPU 시간과 방대한 데이터셋이 필요합니다 (예: Indic Parler-TTS, IndicF5).
2. 폐쇄형 상용 API 사용: 호출당 비용이 발생하고 데이터 제어권이 없습니다.

기존 오픈소스 다국어 베이스인 ResembleAI Chatterbox는 23 개 언어 (힌디어 포함) 를 지원하지만, 텔루구어와 타밀어는 원생적으로 지원하지 못합니다. 또한, 브라흐미 문자 (데바나가리, 텔루구, 타밀 등) 에 대한 토큰화 기능이 부족하여 이러한 언어를 처리할 때 토큰화 오류나 "바이트-BPE 쓰레기 (byte-BPE junk)"가 발생하는 경우가 많습니다. 저자들은 다음과 같은 질문을 던집니다: 새로운 음향 디코더를 훈련하거나 상용 TTS 훈련 데이터를 사용하지 않고도, 동결된 비인도어 원생 다국어 베이스를 텔루구어, 타밀어, 힌디어에서 상용급 성능으로 끌어올리기 위해 필요한 최소한의 개입은 무엇인가?

2. 방법론

저자들은 세 가지 엔지니어링 구성 요소를 단일 레시피로 결합하는 3-분기 추론 파이프라인을 제안합니다. 핵심 혁신은 동결된 모델을 최소한의 파라미터 업데이트와 추론 시간 휴리스틱을 통해 적응시키는 것입니다.

A. BUPS (브라흐미 통합 음소 공간)

• 과제: Chatterbox 토크나이저는 원시 텔루구어 또는 타밀어 스크립트를 처리할 수 없습니다.
• 해결책: 토큰화 시 브라흐미 문자 (데바나가리, 텔루구, 타밀, 카나다, 벵골, 구자라트, 말라얄람) 를 ISO-15919 로마자화 된 라틴 문자열로 변환하는 결정적 라우팅 레이어입니다.
• 메커니즘: 입력 텍스트를 스크립트별로 세그먼트화하고, 브라흐미 범위를 음운론을 보존하는 음운 기호를 사용하여 라틴어로 음역한 후, 비브라흐미 범위는 변경 없이 전달합니다. 이를 통해 모델의 기존 라틴 토크나이저 경로가 모델 가중치를 수정하지 않고도 인도어 텍스트를 처리할 수 있게 합니다.

B. LoRA 적응 (텍스트 헤드 전용)

• 대상: Chatterbox 베이스의 **텍스트 토큰 예측기 (t3 transformer)**만 해당됩니다. 음향 디코더 (s3gen) 와 음성 인코더 (ve) 는 동결된 상태로 유지됩니다.
• 구성: 어텐션 프로젝션 ($q, k, v, o$) 에 적용되는 저랭크 적응 (LoRA) 어댑터입니다.
  • 학습 가능 파라미터: 7.86M (810M 베이스 모델의 0.97%).
  • 훈련 데이터: 라이선스된 인도어 오디오 약 1,220 시간 (IndicTTS, Rasa, FLEURS, Shrutilipi). 상용 TTS 데이터는 전혀 사용되지 않았습니다.
  • 언어 조건부: 텔루구어와 타밀어 텍스트는 힌디어 프록시 언어 ID(hi)로 조건부 설정됩니다. 이는 베이스가 이미 보유하고 있는 가장 가까운 지원 음향 매니폴드를 통해 적응을 라우팅합니다.
• 결과: 텍스트 헤드는 인도어 음운론과 일치하는 음성 토큰을 방출하도록 학습하는 반면, 동결된 디코더는 오디오를 생성합니다.

C. 음성 프롬프트 복구 및 Config B

• 문제: BUPS 와 LoRA 가 있더라도 기본 추론은 동결된 디코더가 원생 인도어 음향 사전 지식을 갖추지 못했기 때문에 "단조로운" 또는 "외국 억양이 섞인" 발음을 생성합니다.
• 해결책: 추론 시간 레시피는 다음을 포함합니다:
  1. 음성 프롬프트: 목표 언어 (입력 텍스트와 동일한 언어) 로 된 8~11 초 참조 오디오 클립을 제공합니다. 이는 디코더를 원생 억양과 음색에 조건부 설정합니다.
  2. Config B 샘플링 오버라이드: 생성을 안정화하기 위한 세 가지 특정 파라미터 조정:
     • exaggeration: 0.7 (억양 윤곽을 증가시킴).
     • temperature: 0.6 (분포를 좁힘).
     • min_p: 0.1 (음소 편향을 일으키는 저확률 토큰을 필터링함).

D. 라우팅 아키텍처

시스템은 순수 스크립트 입력을 위해 2-분기 아키텍처를 배포하고, 코드 믹스 입력을 위해 세 번째 분기를 사용합니다:

1. 텔루구어/타밀어 (순수 스크립트): **BUPS + LoRA (Hi 프록시)**를 통해 라우팅됩니다.
2. 힌디어 (순수 스크립트): Vanilla Chatterbox(LoRA 없음, BUPS 없음)를 통해 라우팅됩니다. 중요하게도, 힌디어에 LoRA 를 적용하면 의미 정확도가 저하되므로, 음성 제어 분기가 사용됩니다.
3. 코드 믹스 (예: 힌디어 + 영어): IndicF5(원생 인도어 흐름 매칭 모델)로 라우팅되며, 그 앞에 영어 단어를 원생 스크립트 음철로 변환하는 Haiku 기반 음역 전처리기가 선행됩니다 (예: "WhatsApp" $\to$ "व्हाट्सऐप").

3. 주요 기여

1. BUPS: 라틴 토큰화된 TTS 베이스에서 인도어 지원을 가능하게 하는 라우팅 메커니즘으로서 ISO-15919 로마자화의 첫 번째 적용.
2. 최소 개입 LoRA: 프록시 언어 ID 를 사용하여 동결된 다국어 모델의 텍스트 헤드만 적응시키는 전략으로, 음향 디코더 훈련 없이 상용급 품질을 달성.
3. 음성 프롬프트 복구 레시피: 특정 샘플링 오버라이드 (Config B) 와 동일 언어 음성 프롬프트를 결합하면 동결된 디코더에서 상용급 음향을 복구할 수 있음을 입증.
4. 2-분기 배포: 언어에 따라 LoRA 적응 모델과 Vanilla 모델 간에 동적으로 전환하는 새로운 아키텍처로, LoRA 가 힌디어 성능을 해친다는 음성 제어를 통해 검증됨.
5. 코드 믹스 솔루션: 영어 범위를 원생 스크립트로 음역하는 전처리 파이프라인으로, 코드 믹스 입력의 LLM-WER 를 약 0.80 에서 약 0.14~0.27 로 감소시킴.
6. 오픈 릴리스: R6 LoRA 가중치 (Apache-2.0) 와 추론 코드 (MIT) 가 공개됨.

4. 결과

PSP (음소 대체 프로파일) 벤치마크와 가독성 지표를 기준으로 평가됨:

• 텔루구어:
  • 후치경음 붕괴 (Retroflex Collapse): 26.7% (Praxy) 대 33.3% (Sarvam Bulbul) 및 50% (Cartesia). Praxy 가 1 위.
  • FAD (Fréchet Audio Distance): 291.3 (상용 베이스라인과 비교 가능).
• 타밀어:
  • Zha 붕괴: 71% (Praxy) 대 86% (상용 3 대). 이는 가장 명확한 차원별 개선입니다.
  • PSD (억양 서명 발산): 71.2 (Sarvam Bulbul 과 일치).
• 힌디어:
  • LLM-WER: 0.025 (Praxy Vanilla) 는 Cartesia Sonic-3 와 동점.
  • 참고: LoRA 분기는 힌디어 성능을 크게 저하시켰음 (LLM-WER 0.334). 이는 2-분기 라우팅의 필요성을 입증함.
• 코드 믹스:
  • 음역 전처리기를 사용하면 LLM-WER 이 0.800.85 (원시 IndicF5) 에서 **0.140.27**로 감소함.

5. 의의

• 비용 효율성: 상용 훈련 데이터 제로와 최소한의 컴퓨팅 (단일 A100, 약 11 시간, 약 $45) 을 사용하여 주요 인도어에 대한 상용급 TTS 를 달성.
• 접근성: 처음부터 모델을 훈련하는 데 필요한 컴퓨팅이나 데이터를 감당할 수 없는 개발자들에게 고품질 인도어 TTS 에 대한 접근을 민주화.
• 방법론적 통찰: 다국어 베이스의 경우, 텍스트 헤드 적응과 추론 시간 음향 조건부 설정(음성 프롬프트) 의 결합이 "충분히 가까운" 음향 매니폴드 (예: 텔루구어/타밀어를 위한 힌디어) 가 제공된다면 지원되지 않는 언어의 격차를 메우기에 충분함을 입증.
• 음성 제어: 논문은 "더 많은 적응"이 항상 좋은 것은 아님을 엄격하게 입증함; LoRA 어댑터는 베이스가 이미 지원하는 언어 (힌디어) 에서는 성능을 actively 해치므로, 조건부 라우팅 전략이 필요함.

저자들은 이 "최소 개입" 접근 방식이 순수 스크립트 인도어 입력에 대해 오픈소스와 상용 TTS 간의 격차를 효과적으로 해소하며, 코드 믹스 시나리오에는 별도의 저비용 솔루션이 있음을 결론지었습니다.