기술 요약: X-Voice

문제 제기

제로샷 음성 복제 기술은 텍스트-음성 변환 (TTS) 분야에 혁명을 가져왔으나, 기존 다국어 시스템은 상당한 병목 현상에 직면해 있습니다. 현재 접근 방식은 일반적으로 두 가지 범주로 나뉩니다: 추론 지연과 오차 누적을 겪는 자기회귀 (AR) 모델, 그리고 프롬프트로 짝지어진 음성 및 전사본에 의존하는 비자기회귀 (NAR) 모델입니다. 전사본에 대한 의존성은 다국어 환경, 특히 정확한 전사본을 얻기 어려운 저자원 언어와 미문자 방언에서 중요한 한계점입니다. 또한, 기존 NAR 모델들은 교차 언어 합성 시 화자의 원래 억양이 목표 언어의 발음을 방해하는 '억양 누출 (accent leakage)' 현상에 종종 어려움을 겪습니다. 더구나 많은 고성능 모델은 수십억 개의 파라미터를 가진 대규모 규모로, 접근성과 추론 속도를 제한합니다.

방법론

저자들은 30 개 언어에 걸쳐 전사본 없이 제로샷 음성 복제를 수행하도록 설계된 04B 파라미터 플로우 매칭 모델인 X-Voice를 제안합니다. 이 시스템은 F5-TTS 아키텍처 (Diffusion Transformer) 를 기반으로 구축되었으며, 강제 정렬과 같은 복잡한 전처리가 필요 없이 참조 전사본의 필요성을 제거하는 새로운 2 단계 학습 패러다임을 도입했습니다.

1. 통합 다국어 표현

언어 간 격차를 해소하기 위해 X-Voice 는 통합 표현으로 **국제 음성 문자 (IPA)**를 활용합니다. 중국어는 병음 (Pinyin) 으로 표현되며, 다른 언어들은 정확성을 보장하기 위해 eSpeak-NG, PyThaiNLP, PyOpenJTalk, g2pK 와 같은 전문 툴킷에서 파생된 IPA 토큰을 사용합니다. 토큰 시퀀스에는 명확히 악센트 표시기가 포함되며, 음소들은 핵심 조음 단위와 초분절적 변조 요소 (예: 길이, 숨소리, 성조) 로 분해되어 보편적인 음향 기반과 언어별 변화를 모두 포착합니다.

2. 2 단계 학습 패러다임

• 1 단계: 견고한 기반 (X-Voices1): 모델은 선별된 42 만 시간 규모의 다국어 코퍼스로 학습됩니다. 이 단계는 견고한 음향 매니폴드를 확립하고 보편적인 음성 표현을 학습합니다.
  • 이중 수준 언어 주입: 억양 누출을 방지하기 위해 저자들은 언어 ID(LID) 를 두 수준에서 주입합니다:
    • 시간 수준: LID 임베딩은 시간 임베딩과 연결되어 MLP 를 통과하며, ODE 궤적을 목표 언어의 운율적 매니폴드로 유도합니다.
    • 텍스트 수준: LID 임베딩은 **Feature-wise Linear Modulation(FiLM)**을 통해 텍스트 임베딩에 적용됩니다. 이는 게이트 역할을 하여 공유된 IPA 표현을 언어별 패턴에 적응시키기 위해 음성학적 특징을 스케일링하고 이동시킵니다.
• 2 단계: 전사본 없는 미세 조정 (X-Voices2): 이 단계는 참조 전사본 없이 복제를 가능하게 합니다.
  • 합성 데이터 생성: X-Voices1 은 무작위 텍스트와 실제 음성 프롬프트를 짝지어 화자 일관성이 있는 오디오 1 만 시간 이상을 합성하는 데 사용됩니다.
  • 마스크된 프롬프트를 통한 SFT: 모델은 합성 오디오 프롬프트와 실제 목표 음성의 쌍으로 미세 조정됩니다. 핵심적으로 오디오 프롬프트의 전사본은 마스킹되어(특수 토큰으로 대체됨) 모델이 텍스트에 의존하는 대신 오디오 프롬프트에서 직접 운율적 특징을 추출하도록 강제합니다.

3. 추론 최적화

저자들은 **분리 및 스케줄링된 클래스프리 가이드 (CFG)**를 구현합니다:

• 분리: 언어적 및 음향적 가이드는 스타일과 발음을 더 잘 제어하기 위해 독립적으로 유도됩니다.
• 비대칭 웜업 (A-Warmup): 고엔트로피 노이즈에서 강한 가이드로 인한 궤적 진동을 해결하기 위해, 언어적 가이드 강도는 0 에서 선형적으로 웜업되는 반면, 음향적 가이드는 화자의 음성 윤곽을 고정하기 위해 시작부터 전체 강도로 유지됩니다.

주요 기여

1. 파라미터 효율적 다국어 기반: X-Voice 는 30 개 언어를 지원하는 고효율 0.4B 모델입니다. 이중 수준 언어 주입과 분리된 CFG 를 통해 수십억 규모 모델의 계산 비용 없이 고품질 제로샷 복제를 달성합니다.
2. 전사본 없는 지도 미세 조정 패러다임: 이 논문은 보조 모듈이나 강제 정렬 없이 참조 전사본에 대한 의존성을 제거하는 새로운 2 단계 파이프라인을 제시하여 다국어 합성의 주요 병목 현상을 해결합니다.
3. 오픈소스 생태계: 저자들은 전체 42 만 시간 학습 코퍼스, 3 만 시간 고품질 부분집합, 30 개 언어에 걸쳐 엄격하게 검증된 벤치마크, 그리고 모든 학습 레시피를 공개하여 커뮤니티 연구를 촉진합니다.

실험 결과

• 객관적 지표: X-Voice 테스트 세트 (30 개 언어) 에서 X-Voice 는 WER(단어 오류율) 와 SIM-o(화자 유사도) 측면에서 LEMAS-TTS 와 같은 기존 오픈소스 플로우 매칭 시스템을 능가합니다. WER 에서는 수십억 파라미터 규모의 상용 모델인 Qwen3-TTS와 유사한 결과를 달성하지만, 일부 언어에서는 화자 유사도에서 약간의 격차가 있습니다.
• 교차 언어 성능: X-Voice 는 견고한 교차 언어 복제 능력을 보여주며, 대부분의 언어 쌍 (예: 영어에서 이탈리아어로, 한국어에서 영어로) 에서 최상이거나 최상에 근접한 WER 을 달성합니다. 이는 억양으로 인한 ASR 오류를 효과적으로 완화합니다.
• 주관적 평가: 가독성 (IMOS) 과 화자 유사도 (SMOS) 측면에서 X-Voice 는 저자원 유럽 언어에서 특히 우수한 성능을 보입니다. 독일어와 포르투갈어와 같은 언어에서는 더 큰 모델에 비해 SMOS 가 약간 낮지만, 자연스러움과 일관성 사이의 강력한 균형을 유지합니다.
• 효율성: X-Voice 는 자기회귀 기반 모델에 비해 훨씬 빠른 실시간 인자 (RTF) 를 달성하여 실시간 응용에 적합합니다.

중요성과 주장

이 논문은 X-Voice 가 대규모 선별된 코퍼스에서 학습된 견고한 1 단계 음향 기반이 2 단계에서 전사본 없는 합성을 지도하는 고품질 데이터 엔진으로 기능할 수 있음을 보여준다고 주장합니다. 저자들은 아키텍처 혁신이 플로우 매칭 모델에서 지속적인 문제인 교차 언어 억양 누출을 효과적으로 완화한다고 단언합니다.

데이터, 벤치마크, 모델을 오픈소스로 공개함으로써 저자들은 확장 가능한 음성 생성 연구의 장벽을 낮추고 고품질 TTS 기술의 민주화에 기여하여 "모든 사람이 30 개 언어를 speak 할 수 있게" 하는 것을 목표로 합니다. 이 연구는 수십억 규모의 파라미터나 복잡한 전처리 파이프라인에 의존하지 않고도 전사본 없는 제로샷 다국어 음성 복제가 가능함을 시사합니다.