🤖 AI

End-to-End Training for Discrete Token LLM based TTS System

이 논문은 이산 토큰 기반 TTS 구성 요소들을 통합하기 위해 음성 토크나이저, 자기회귀 LLM, 플로우 매칭 모델, 그리고 보상 모델을 공동으로 최적화하는 완전한 엔드 투 엔드 학습 프레임을 제안하며, 이를 통해 기존의 계단식 방식에 비해 현저히 단순해진 파이프라인으로 새로운 최첨단 성능을 달성한다.

원저자: Changfeng Gao, Yong Ren, Jun Yuan, Ye Bai, Zhao You, ShiDong Shang

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Changfeng Gao, Yong Ren, Jun Yuan, Ye Bai, Zhao You, ShiDong Shang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 이어달리기에서 교향곡으로

텍스트 음성 변환(TTS) 시스템(글자를 소리 내어 읽어주는 컴퓨터)을 구축하는 것을 이어달리기 팀을 만드는 것에 비유해 봅시다.

기존 방식 (계단식 파이프라인):
대부분의 현재 시스템에는 세 명의 별도 주자가 있습니다:

번역가 (토크나이저): 목소리의 소리를 가져와 숫자로 된 비밀 코드(토큰)로 바꿉니다.
예측가 (LLM): 텍스트를 읽고 그 비밀 코드 속의 다음 숫자를 추측합니다.
가수 (FM 모델): 추측된 숫자들을 가져와 다시 음파로 바꿉니다.

문제는 무엇일까요? 이 세 명의 주자는 각자 따로 훈련한다는 점입니다. 번역가는 음성 인식(ASR)을 잘하도록 훈련받고, 예측가는 숫자를 맞히도록 훈련받으며, 가수는 소리를 재구성하도록 훈련받습니다. 이들은 연습 기간 동안 서로 대화하지 않습니다. 마침내 함께 경주를 시작할 때, 서로의 스타일을 모르기 때문에 비틀거리게 됩니다. 이는 마치 번역가가 예측가가 이해할 수 없는 방언을 사용하는 것과 같아서, 결국 엉망인 최종 공연으로 이어집니다.

새로운 방식 (엔드 투 엔드 훈련):
이 논문은 이 세 명의 주자(그리고 코치 한 명)를 하나의 거대하고 통합된 연습 세션에서 함께 훈련할 것을 제안합니다. 이들은 같은 언어를 말하는 법을 배우고, 서로의 움직임을 예측하며, 실시간으로 자신의 성과를 조정하는 법을 배웁니다 통합니다.

등장인물

음성 토크나이저 (번역가):
- 하는 일: 인간의 목소리를 아주 작은 단위의 불연속적인 "레고 블록"(토큰)으로 쪼갭니다.
- 기존의 문제: 이 모델은 컴퓨터의 다음 단계를 위해서가 아니라, 인간을 위한 좋은 번역가(음성-텍스트 변환 앱 등)가 되도록 훈련되었습니다.
- 해결책: 이 새로운 시스템에서 번역가는 예측가와 가수가 사용하기에 특별히 설계된 레고 블록을 만드는 법을 배웁니다.
LLM (예측가):
- 하는 일: 당신이 입력한 텍스트를 읽고, 그것을 말하는 데 필요한 레고 블록의 순서를 예측합니다.
- 기존의 문제: "가장 확률이 높은" 블록을 맞히도록 훈련되었는데, 이로 인해 목소리가 단조롭고 지루하거나 "평균적인" 소리로 들리는 경우가 많았습니다.
  এটি 단순히 통계적으로 확률이 높은 것이 아니라, 실제로 소리가 좋은지에 대해 가수와 코치로부터 즉각적인 피드백을 받습니다.
플로우 매칭 모델 (가수):
- 하는 일: 레고 블록을 가져와 실제 음성 파형을 만들어냅니다.
- 기존의 문제: 이 모델은 완벽한 블록(정답 데이터)을 가지고 훈련받았지만, 실제 상황에서는 예측가가 실수를 저지릅니다. 그래서 완벽하지 않은 블록을 받으면 가수는 무너지곤 했습니다.
- 해결책: 블록이 약간 불완전하더라도 노래할 수 있도록 학습하여, 시스템을 더 견고하게 만듭니다.
보상 모델 (코치):
- 하는 일: 이 모델은 새로 추가된 요소입니다. 출력물을 듣고 세 가지를 확인합니다: "제대로 된 단어를 말했는가?" (ASR), "적절한 사람의 목소리인가?" (화자 식별), "감정이 실려 있는가?" (감정).
- 역할: 심판 역할을 하며 발음과 스타일이 좋은지에 대해 점수를 부여함으로써, 팀 전체가 더 나은 공연을 할 수 있도록 이끌어줍니다.

훈련 방법: 3단계 리허설

저자들은 단순히 모두를 한꺼번에 경기장에 던져 넣은 것이 아니라, 안정성을 유지하기 위해 스마트한 3단계 훈련 파이프라인을 사용했습니다.

1단계: 기초 다지기 (1차 손실 - First-Order Loss)

비유: 번역가, 예측가, 가수가 모두 완벽한 대본과 완벽한 녹음본을 함께 보고 있다고 상상해 보세요.
진행 과정: 이들은 함께 학습합니다. 번역가는 예측가가 맞히기 쉽고 가수가 사용하기 쉬운 블록을 만드는 법을 배웁니다. 코치는 블록이 올바른 의미와 감정을 담고 있는지 감시합니다.
목표: 모두가 같은 선상에 서게 하고, 번역가가 다른 이들을 혼란스럽게 하는 "나쁜" 블록을 만드는 것을 방지합니다.

2단계: 개별 연습 (Independent Practice)

비유: 이제 번역가는 숙련자가 되어 변하지 않습니다. 예측가와 가수는 각자 연습하지만, 서로 다른 데이터셋을 사용할 수 있습니다 (예를 들어, 가수는 노이즈가 있는 녹음본으로 연습하고, 예측가는 깨끗한 녹음본으로 연습할 수 있습니다).
목표: 번역가의 코드를 망가뜨리지 않으면서 가수의 기술과 예측가의 기술을 미세 조정합니다.

3단계: 전체 드레스 리허설 (2차 손실 - Second-Order Loss)

비유: 이것이 바로 본 게임입니다. 이제 예측가는 (완벽한 블록 대신) 블록을 직접 추측하며 실수를 할 수 있습니다. 가수와 코치는 이러한 불완전한 추측을 다뤄야 합니다.
마법 같은 일: 만약 예측가가 틀린 블록을 추측하면, 가수와 코치는 예측가에게 "그 추측 때문에 목소리가 이상해졌으니 다시 해봐"라는 신호를 보냅니다.
목표: 이 과정이 루프를 완성합니다. 예측가는 가수가 실제로 처리할 수 있는 추측을 하는 법을 배우고, 가수는 오류에 대해 견고해지는 법을 배웁니다. 이를 통해 '훈련-테스트 불일치'(시스템이 훈련 때는 잘 작동하지만 실제 환경에서는 실패하는 현상)를 제거합니다.

결과: 왜 중요한가

이 논문은 모두를 함께 훈련함으로써 시스템이 훨씬 더 좋아진다고 주장합니다.

더 높은 정확도: 표준 테스트(Seed-TTS)에서 이들의 시스템은 발음 오류가 매우 적었습니다 (중국어 단어 오류율 0.78%, 영어 1.56%). 이는 새로운 "SOTA(최첨단)" 기록입니다.
더 작은 모델: 이들은 상대적으로 작은 모델(예측가 0.6B, 가수 0.5B 파라미터)을 사용하여 이 성과를 달랐으며, 효율적으로 훈련한다면 거대하고 비대한 시스템 없이도 훌륭한 결과를 얻을 수 있음을 증명했습니다.
풍부한 정보량: 이 시스템이 만든 "레고 블록"(토큰)은 더 똑똑합니다. 이 블록들은 소리와 의미 모두에 대한 유용한 정보를 더 많이 담고 있으며, 사용 가능한 "코드북"(모든 가능한 블록의 집합)을 더 효율적으로 사용하여 시스템이 몇 가지 흔한 블록만 사용하고 나머지는 무시하는 문제를 피합니다.

결론

이 논문은 TTS 시스템을 구축할 때 각 부분을 따로 만들고 그것들이 잘 맞기를 바라는 기존 방식이 비효식적이라고 주장합니다. 전체 시스템을 하나의 거대하고 상호 연결된 유기체로 취급하고 엔드 투 엔드로 훈련함으로써, 더 정확하고, 더 표현력이 풍부하며, 심지어 더 작은 컴퓨터 모델로도 훈련하기 쉬운 목소리를 얻을 수 있습니다. 이는 낯선 사람들이 모여서 곡을 연주하려고 애쓰는 것과, 수개월 동안 모든 음표를 함께 연습한 밴드가 연주하는 것의 차이와 같습니다.

기술 요약: 이산 토큰 기반 LLM TTS 시스템을 위한 엔드-투-엔드(End-to-End) 학습

문제 정의

현재의 최첨단(SOTA) 텍스트 음성 변환(TTS) 시스템은 일반적으로 음성 토크나이저, 자기회귀(Autoregressive) 대규모 언어 모델(LLM), 그리고 확산 기반 플로우 매칭(Flow-matching, FM) 모델로 구성된 계단식 파이프라인에 의존합니다. 이러한 구성 요소들은 전통적으로 독립적으로 설계되고 학습되며, 이는 세 가지 주요 한계점을 야기합니다:

목표의 불일치(Misaligned Objectives): 토크나이저는 다운스트림의 자기회귀 토큰 예측이나 FM 재구성과 반드시 일치하지 않는 프록시 목적 함수(예: ASR 정확도, SSL 표현 품질 또는 오토인코딩 충실도)를 사용하여 사전 학습됩니다. 이는 종종 최적의 엔드-투-엔드 동작을 저해하며, 토큰의 표현력(예: 더 큰 코드북)을 높이는 것이 재구성에는 도움이 될 수 있으나 LLM의 학습 난이도를 높이는 결과를 초래합니다.
불투명한 토큰 표현(Opaque Token Representations): 신경망의 블랙박스 특성으로 인해, 이산 토큰에 인코딩된 정보를 분리하기 어렵습니다. 토큰은 종-종 얽혀 있고, 중복되며, 제어 불가능한 변동 요인(예: 화자 속성이 혼합된 의미론적 내용)을 포함하게 되어, 예측의 모호성을 유발하고 합성 제어력을 감소시킵니다.
학습-테스트 불일치(Train-Test Mismatch): FM 모델은 일반적으로 LLM이 예측한 토큰이 아닌 정답(Ground-truth) 토큰으로 학습됩니다. 결과적으로 LLM 출력의 오류와 분포 변화가 FM으로 전파되어 추론 시 합성 품질을 저하시킵니다. 또한, 토큰 가능성(Likelihood)을 극대화하는 데에만 집중하여 학습된 LLM은 "안전하고" "평균적인" 생성에 수렴하는 경향이 있어, 표현력 있는 TTS에 필요한 다양한 운율과 스타일을 포착하지 못합니다.

최근 연구들이 부분적인 공동 최적화(예: 토크나이저와 확산 모델의 결전 또는 LLM과 보상 모델의 결합)를 시도했으나, 기존 방식들은 인터페이스의 불일치와 독립적으로 학습된 구성 요소 간의 학습-테스트 불일치를 해결하지 못해 전체적인 최적화에 실패하는 경우가 많습니다.

방법론

본 논문은 음성 토크나이저, LLM, FM 모델, 그리고 보조 보상 모델(RM)의 학습을 통합하는 완전한 엔드-투-엔드(E2E) 최적화 프레임워크를 제안합니다. 이 프레임워크는 두 가지 구별된 손실 함수와 3단계 학습 파이프라인을 활용합니다.

핵심 구성 요소

음성 토크나이저(Speech Tokenizer): 유한 스칼라 양자화(Finite Scalar Quantization, FSQ)를 사용하여 음성 신호를 이산 토큰 시퀀스( $c_{1:T}$ )와 양자화된 표현( $q_{1:T}$ )으로 변환합니다.
보상 모델(Reward Model, RM): 토큰 표현에 대해 자동 음성 인식(ASR), 화자 감정 인식(SER), 화자 식별(SPK)을 수행하는 멀티태스크 인식 모델입니다.
플로우 매칭(Flow-Matching, FM) 모델: 토큰 표현으로부터 음성을 재구성하는 디퓨전 트랜스포머(Diffusion Transformer, DiT)입니다.
대규모 언어 모델(Large Language Model, LLM): 입력 텍스트와 이전 토큰에 조건화되어 다음 음성 토큰을 예측하는 자기회귀 모델입니다.

손실 함수

1차 손실 ( $L_1$ ):
- 목표: 정답 토큰을 사용하여 토크나이저를 공동 최적화합니다.
- 구성 요소:
  - $L_{LLM}$ : 다음 토큰 예측 손실.
  - $L_{RM}$ : ASR (CTC), SER (Cross-Entropy), SPK (Cosine Similarity) 손실의 합.
  - $L_{FM}$ : 플로우 매칭 재구성 손실.
- 메커니즘: 이러한 태스크로부터의 그래디언트가 토크나이저로 직접 역전파되어, 특정 TTS 파이프라인에 대해 음향적 및 의미론적으로 유의미하도록 이산 토큰 공간을 형성합니다.
2차 손실 ( $L_2$ ):
- 목표: 학습-테스트 불일치를 완화하기 위해 LLM 자체의 생성 분포 하에서 LLM을 최적화합니다.
- 메커니즘: LLM은 미분 가능한 Gumbel-Softmax를 사용하여 토큰 시퀀스를 생성하며, 이 시퀀스는 FM과 RM에 입력됩니다. 이후 시스템은 이 예측된 토큰들의 재구성 품질( $L_{LFM}$ )과 인식 일관성( $L_{LRM}$ )을 바탕으로 최적화됩니다.
- 효과: 이는 강화 학습 스타일의 정렬(Alignment) 역할을 하여, LLM이 단순히 정확할 뿐만 아니라 다운스트림의 재구성 및 인식 요구 사항에 대해서도 강건한 토큰을 생성하도록 독려합니다.

학습 파이프라인

안정성을 보장하기 위해 학습은 세 단계로 진행됩니다:

1단계: 모든 파라미터가 $L_1$ 을 사용하여 학습 가능합니다. 목표는 다운스트림 감독(RM, FM, LLM)을 통해 토크나이저를 학습시키는 것입니다.
2단계: 토크나이저를 고정(Frozen)합니다. RM, FM, LLM을 독립적으로 학습합니다(예: RM을 위해 노이즈 데이터를 추가하는 등).
3단계: RM을 고정합니다. LLM과 FM을 $L_2$ (2차 손실)를 사용하여 공동 학습함으로써, LLM의 생성 분포를 FM의 재구성 능력과 정렬시킵니다.

주요 기여

전체론적 E2E 프레임워크: 본 논문은 계단식으로 독립 학습되는 기존 파이프라인의 한계를 넘어, 토크나이저, LLM, FM, RM을 동시에 최적화하는 통합 학습 프레임워크를 도입했습니다.
이중 단계 최적화: 1차 손실(토크나이저 형성을 위한 정답 감독)과 2차 손실(LLM 정렬을 위한 생성 인지 감독)의 구분을 통해 표현 학습과 추론 시점의 불일치 문제를 모두 해결했습니다.
이론적 분석: 저자들은 음성 토크나이저 학습을 소스 코딩 문제로 공식화하여, 제안된 E2E 목적 함수가 토큰 엔트로피( $H(X_n)$ )와 시간적 의존성( $I(X_{n+1}; X_n)$ )을 극대화하여 더 효율적인 코드북 활용과 더 나은 예측 정보 보유를 이끌어냄을 입증했습니다.
단순화된 학습 파이프라인: 본 방법론은 기존의 복잡한 계단식 시스템에 비해 현저히 단순한 학습 과정을 통해 SOTA 성능을 달-성합니다.

실험 결과

시스템은 0.6B 파라미터 LLM과 0.5B 파라미터 FM을 사용하여 Seed-TTS-Eval 벤치마크에서 평가되었습니다.

제로샷(Zero-Shot) TTS 성능:
- 단어 오류율(WER) 0.78%(중국어) 및 1.56%(영어)를 달성했습니다.
- 이 결과는 유사한 파라미터 크기를 가진 시스템 중 새로운 SOTA를 기록하며, 내용 일관성(WER/CER)과 화자 유사도(SS) 모두에서 계단식 베이스라인 및 기타 최신 모델(예: Seed-TTS, CosyVoice3, Qwen3-TTS)을 능가했습니다.
재구성 및 인식:
- FM 모델은 특히 토크나이저와의 공동 학습이 도입되었을 때, 학습 단계 사이에 WER 및 화자 유사도(SS)에서 상당한 개선을 보였습니다.
- RM은 강력한 ASR 및 SER 성능을 보여주었으며, 중국어 ASR 태스크에서 S3-tokenizer 및 Qwen-TTS-tokenizer를 능가했습니다.
어블레이션 연구(Ablation Studies):
- E2E 학습을 제거했을 경우(토크나이저를 독립적으로 사전 학습) 성능이 저하되었으며, 이는 공동 최적화의 결정적인 역할을 확인시켜 줍니다.
- 토큰 분포에 대한 통계적 분석 결과, E2E 학습이 $L_{LLM}$ 또는 $L_{FM}$ 없이 학습된 모델에 비해 더 높은 정보 엔트로피와 더 균일한 코드북 활용을 이끌어냄을 보여주었습니다.

의의

본 논문은 홀리스틱한 엔드-투-엔드 최적화가 이산 토큰 기반 TTS 시스템을 개선하는 데 필수적이라고 주장합니다. 토크나이저의 표현 학습을 LLM 및 FM의 요구 사항과 직접 정렬함으로써, 시스템은 계단식 접근 방식에 내재된 불일치와 학습-테스트 불일치 문제를 극복합니다. 결과적으로, 모든 구성 요소의 최적화를 통합하는 훨씬 단순한 학습 파이프라인이 현재의 SOTA 시스템과 대등하거나 더 나은 성능을 낼 수 있음을 입증하였으며, 이를 통해 학습 인프라의 복잡성을 크게 줄일 수 있음을 보여주었습니다.