기술 요약: DSA-Tokenizer

문제 제기

완전 이산형 (fully discrete) 음성 대규모 언어 모델 (LLM) 은 음성 및 언어 처리를 통합하기 위해 고품질 음성 토크나이저가 필요합니다. 기존 토크나이저는 일반적으로 세 가지 범주로 나뉘며, 각각 중대한 한계가 있습니다:

1. 의미론적 (Semantic) 전용 토크나이저: 언어적 내용 (주로 자동 음성 인식 (ASR) 감독을 통해) 을 우선시하지만, 음색 (timbre) 과 억양 (prosody) 과 같은 필수적인 음향 단서를 폐기합니다.
2. 의미론적 - 음향 혼합 토크나이저: 고충실도 재구성을 달성하지만, 얽힌 (entangled) 표현을 생성하여 내용과 스타일에 대한 독립적인 제어를 방해합니다.
3. 얕게 분리된 (Shallowly disentangled) 토크나이저: 의미론적 정보와 음향 정보를 분리하려 시도하지만, 종종 불완전한 분리로 인해 속성의 깨끗한 분리를 달성하지 못합니다.

현재 평가 지표 (재구성 품질, ASR 성능) 는 분리를 엄격하게 평가하기에 부족합니다. 저자들은 교차 발화 음성 클로닝 (cross-utterance voice cloning)—한 발화의 내용을 다른 발화의 스타일과 결합하는 것—이 더 직접적이고 엄격한 테스트라고 주장합니다. 기존 모델들은 여기서 종종 실패하여, 심각한 음색 불일치 (언어학적 편향) 나 의미론적 충실도 손실 (음향학적 편향) 을 보입니다.

방법론

저자들은 DSA-Tokenizer(분리된 의미론적 - 음향 토크나이저) 를 제안합니다. 이는 고유한 최적화 제약 조건과 계층적 융합 디코더를 통해 음성을 이산적인 의미론적 토크와 음향 토크로 명시적으로 분리하도록 설계된 프레임워크입니다.

1. 작업별 제약 조건을 갖춘 듀얼 스트림 토크나이징

아키텍처는 직교 목표를 가진 두 개의 병렬 이산 토크 스트림을 사용합니다:

• 의미론적 토크 ($z_s$): 자동 음성 인식 (ASR) 으로 감독받아 음향 스타일을 억제하면서 언어적 내용을 포착합니다.
  • 구현: 사전 훈련된 HuBERT 모델이 입력 파형을 처리한 후, 25Hz 에서 표현을 이산화하는 유한 스칼라 양자화 (FSQ) 레이어가 뒤따릅니다.
  • 제약: 파이프라인은 엄격한 언어적 제약을 강제하기 위해 연결형 시계열 분류 (CTC) 손실로 훈련됩니다.
• 음향 토크 ($z_a$): 의미론적 스트림을 보완하는 화자 정체성과 억양 속성을 포착하도록 설계되었습니다.
  • 구현: 멜 스펙트로그램이 추출되어 SEAN 스타일 인코더를 통해 다운샘플링된 후 FSQ 를 통해 이산화됩니다.
  • 제약: $z_s$에 인코딩되지 않은 잔여 음향 세부 사항을 포착하기 위해 디코더와 함께 엔드 - 투 - 엔드로 훈련됩니다. 시퀀스 길이 ($T_a$) 는 의미론적 길이 ($T_s$) 와 독립적이어서 교차 발화 작업을 용이하게 합니다.

2. 결합 재구성 - 문맥적 인페인팅 훈련

스트림 간 정보 유출을 방지하고 강력한 음성 클로닝을 가능하게 하기 위해 모델은 혼합 훈련 전략을 사용합니다:

• 자기 재구성 모드: 모델은 완전한 $z_s$ 및 $z_a$ 시퀀스를 사용하여 전체 멜 스펙트로그램의 속도 필드를 예측합니다.
• 문맥적 인페인팅 모드: 무작위 시간 분할 $\tau$가 $\tau$ 이후의 멜 스펙트로그램을 마스킹합니다. 디코더는 전체 의미론적 시퀀스 ($z_s$) 와 접두사 음향 토크 ($z_{<\tau}^a$) 만을 조건으로 하여 마스킹된 영역을 예측해야 합니다. 이는 모델이 의미론적 지침을 준수하면서 부분적 문맥으로부터 전역 음향 스타일을 추론하도록 강제하여 유출을 줄입니다.

3. 계층적 흐름 매칭 디코더

DiT(확산 트랜스포머) 기반 흐름 매칭 디코더는 하이브리드 주입 전략을 사용하여 두 스트림을 융합합니다:

• 의미론적 주입 (ControlNet 스타일): 의미론적 토크는 구조적 척추로 간주됩니다. 이들은 업샘플링되어 경량 CNN 어댑터를 통해 밀집된 시간적 조건으로 주입되어 엄격한 내용 정렬을 보장합니다.
• 음향 주입 (크로스 어텐션): 음향 토크는 크로스 어텐션 메커니즘을 통해 주입됩니다. 이는 디코더가 엄격한 프레임 레벨 정렬 제약을 부과하지 않고 화자 및 억양 단서를 유연하게 검색할 수 있게 하여 교차 발화 음성 클로닝을 가능하게 합니다.

4. 효율성 및 품질 정제

추론 속도와 지각적 품질을 해결하기 위해:

• 증류 (Distillation): 흐름 매칭 디코더는 ZipVoice 에서 영감을 받아 4 단계 학생 모델로 증류되어 샘플링 단계를 16 에서 4 로 줄입니다.
• GAN 미세 조정: 멜 스펙트로그램 공간에 GAN 정제 단계를 적용합니다. 다중 스케일 PatchGAN 판별자와 고정된 WavLM 화자 검증 공간과 일치하도록 훈련된 프록시 화자 인코더가 사용됩니다. 이 단계는 MSE 목적 함수를 가진 흐름 매칭이 저에너지 영역을 포함한 미세한 세부 사항을 과소 모델링하는 경향을 수정하여 제어 가능성을 유지하면서 오디오 충실도를 향상시킵니다.

주요 기여

1. DSA-Tokenizer 아키텍처: ASR 감독과 멜 스펙트로그램 재구성 목적을 사용하여 의미론적 내용과 음향 스타일을 명시적으로 분리하는 듀얼 스트림 토크나이저로, 완전 이산형 음성 LLM 과 호환됩니다.
2. 훈련 전략: 고충실도 재구성과 교차 발화 음성 클로닝을 모두 지원하는 결합 재구성 - 문맥적 인페인팅 전략과 계층적 흐름 매칭 디코더의 도입.
3. 효율적 정제: 4 단계 증류와 GAN 미세 조정을 결합한 DiT 정제 전략으로, 효율적인 고품질 생성을 달성합니다.
4. 실증적 검증: 얽히거나 부분적으로 분리된 베이스라인에 비해 엄격한 의미론적 - 음향 분리가 다운스트림 음성 LLM 을 위한 더 효과적인 토크 인터페이스를 제공함을 입증했습니다.

결과

SeedTTS 데이터셋 (영어 및 중국어) 과 다운스트림 LLM 작업에 대한 실험은 다음과 같은 결과를 도출했습니다:

• 재구성 및 음성 클로닝: DSA-Tokenizer 는 재구성과 교차 발화 음성 클로닝 작업 모두에서 가장 높은 UTMOS(자연스러움) 점수를 달성하면서 낮은 WER/CER 를 유지합니다. 음성 클로닝에 실패하는 비분리 베이스라인 (예: WavTokenizer) 이나 음성 클로닝에서 성능이 저하되는 부분 분리형 (예: SAC) 과는 달리, DSA-Tokenizer 는 두 작업을 효과적으로 균형 있게 수행합니다.
• 분리 탐지 (Probing): 탐지 실험 (내용을 위한 ASR, 스타일을 위한 화자 분류) 은 DSA-Tokenizer 가 가장 깨끗한 분리를 달성함을 보여줍니다. 그 의미론적 토크는 최소한의 스타일 유출을 나타내는 가장 낮은 화자 분류 정확도 (2.35%) 를 보이고, 음향 토크는 최소한의 내용 유출을 나타내는 가장 높은 화자 분류 정확도 (23.65%) 와 가장 높은 ASR 오류 (120.36%) 를 보입니다.
• 다운스트림 LLM 성능:
  • LLM 기반 음성 클로닝: DSA-Tokenizer 는 UTMOS, SIM, WER 에서 WavTokenizer 와 SAC 를 능가하여, 더 깨끗한 분해가 LLM 에게 교차 발화 생성을 더 쉽게 만든다는 것을 시사합니다.
  • LLM 기반 TTS: 순수 자기회귀 TTS 설정에서 DSA-Tokenizer 는 영어와 중국어 모두에서 최고의 UTMOS 와 SIM 을 달성하면서 WER 을 경쟁력 있게 유지하며, 비분리 베이스라인 (LLaSA, Spark-TTS) 과 부분 분리형 SAC 를 능가합니다.
• 애블레이션 연구: 화자 손실 ($L_{spk}$) 이나 문맥적 인페인팅을 제거하면 음성 클로닝 성능이 심각하게 저하됩니다. 4 단계로 증류하면 성능이 유지되며, GAN 미세 조정은 내용 관련 지표를 포함한 모든 지표를 추가로 향상시킵니다.

중요성 및 주장

이 논문은 DSA-Tokenizer가 현재 토크나이저 중에서 가장 "깨끗한" 의미론적 - 음향 분리를 제공한다고 주장합니다. 저자들은 이러한 엄격한 분리가 단순한 이론적 개선이 아니라 제어 가능한 음성 생성을 위한 실용적 필요성이라고 주장합니다. 내용과 스타일이 독립적이고 신뢰성 있게 인코딩되는 토크 인터페이스를 제공함으로써, DSA-Tokenizer 는 다운스트림 음성 LLM 이 높은 충실도와 낮은 오류율로 교차 발화 음성 클로닝과 같은 복잡한 작업을 수행할 수 있게 합니다.

이 연구는 교차 발화 음성 클로닝이 내용과 스타일 사이의 유출을 직접적으로 드러내기 때문에 분리를 평가하는 중요한 벤치마크임을 강조합니다. 또한, 생성을 위한 흐름 매칭과 세부 사항 복구를 위한 GAN 정제의 조합이 효율적이고 고품질이며 완전 이산형 음성 생성 시스템으로 가는 실현 가능한 길을 제시한다고 제안합니다.

저자가 지적한 한계점으로는 원샷 코덱스에 비해 모델의 추론 지연 시간, 주로 중국어 - 영어 데이터에 초점을 맞춘 점, 그리고 현재 화자 정체성뿐만 아니라 감정이나 미세한 억양과 같은 다른 요소들에 대한 분리 분석이 부족하다는 점이 포함됩니다.