🤖 machine learning

Optimality of FSQ Tokens for Continuous Diffusion for Categorical Data with Application to Text-to-Speech

이 논문은 유한 스칼라 양자화(FSQ) 토큰화 방식이 범주형 데이터를 생성하는 연속 확산 모델에 최적임을 이론적 및 경험적으로 입증하며, 이는 FSQ가 자기회귀 방식의 거대 언어 모델보다 훨씬 작고 빠르면서도 텍스트 음성 변환 작업에서 이를 능가하는 성능을 보인다는 점을 통해 증명된다.

원저자: Vadim Popov, Wenju Gu, Tasnima Sadekova, Georgii Aparin, Assel Yermekova

게시일 2026-06-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vadim Popov, Wenju Gu, Tasnima Sadekova, Georgii Aparin, Assel Yermekova

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 말을 가르치는 방법을 상상해 보세요. 이를 위해 로봇은 인간의 음성이 매끄럽고 끝없는 강물이 아니라, 단어나 소리 같은 뚜렷한 구성 요소들의 집합이라는 것을 이해해야 합니다. AI의 세계에서 이러한 블록들을 **토큰(tokens)**이라고 부릅니다.

오랫동안, 로봇에게 이 블록들을 생성하는 법을 가르치는 가장 좋은 방법은 "자기회귀(Autoregression)"라는 방식을 사용하는 것이었습니다. 이는 마치 문장을 한 번에 한 단어씩 써 내려가며, 다음 단어를 결정하기 위해 이전의 모든 단어를 되돌아보는 것과 같습니다. 이 방식은 정확하지만 느리고, 거대한 뇌(거대한 컴퓨터 모델)를 필요로 합니다.

최근 과학자들은 더 빠른 방법인 **확산(Diffusion)**을 발견했습니다. 확산은 조각가가 노이즈와 정전기가 가득한 점토 덩어리에서 시작하여, 완벽한 조각상이 나타날 때까지 노이즈를 조금씩 깎아내는 것과 같습니다. 이 방식은 이미지나 음악처럼 매끄러운 것들을 만드는 데 매우 효과적입니다. 하지만 음성 토큰처럼 "이산적인(discrete)" 것들(마치 매끄러운 점토가 아닌 뚜렷한 레고 블록 같은 것들)에 확산을 적용하는 것은 까다롭습니다. 노이즈가 방해가 되어, 로봇이 어떤 특정한 레고 블록을 골라야 할지 혼란스러워하기 때문입니다.

이 논문은 확산 과정이 완벽하게 작동할 수 있도록 이 레고 블록들을 정리하는 새로운 방법을 소개합니다. 다음은 그 내용의 요약입니다.

1. 문제점: "노이즈가 가득한 방"

당신이 사람들(토큰)로 가득 찬 어두운 방 안에 있다고 상상해 보세요. 당신은 특정한 사람을 찾고 싶지만, 방 안은 안개(노이즈)로 자욱합니다.

기존 방식: 안개가 너무 짙어서 사람들이 무작위로 흩어져 있습니다. 누가 누구인지 구별하기 어렵습니다.
목표: 로봇이 안개 속에서도 누가 어디에 서 있는지 쉽게 추측할 수 있도록 사람들을 배치해야 합니다.

2. 해결책: "완벽한 격자" (FSQ)

저자들은 이 사람들(토큰)을 배치하는 가장 좋은 방법이 **유한 스칼라 양자화(Finite Scalar Quantization, FSQ)**라는 방법임을 발견했습니다.

FSQ를 3D 입방체 안의 완벽하게 조직된 격자라고 생각해보세요.

사람들이 무작위로 서 있는 대신, 이들은 정확하고 균일하게 간격이 떨어진 좌표(예: 자 위의 -1, 0, +1)에 배치됩니다.
이는 모든 토큰이 고유하고 예측 가능한 위치를 갖는 "격자"를 만들어냅니다.
이 논문은 이 특정 격자 배치가 확산 과정을 위한 최적의 레이아웃임을 수학적으로 증명합니다. 이는 마치 레고 블록을 완벽한 상자에 담아두는 것과 같아서, 상자를 아무리 흔들어도(노이즈를 추가해도) 원래의 자리에 다시 쉽게 분류해 넣을 수 있습니다.

3. 증명: 왜 이 격자가 승리하는가

저자들은 단순히 추측한 것이 아니라, 이 격자가 최고라는 것을 증명하기 위해 두 가지를 수행했습니다.

수학적 증명: 그들은 이 격자 배치가 서로 다른 토큰을 찾아가는 경로 사이의 "혼란"(KL 발산으로 측정됨)을 최소화한다는 것을 보여주었습니다. 간단히 말해, "고양이"와 "강아지"를 찾는 경로가 충분히 구별되어 있어, 노이즈가 높을 때도 로봇이 길을 잃지 않습니다.
실험: 그들은 "장난감" 버전의 시스템을 구축하여 무작위 배치 방식과 완벽한 FSQ 격자 방식을 비교 실험했습니다. 결과적으로 FSQ 격자가 훨씬 더 일관되게 승리하며, 올바른 토큰을 훨씬 더 정확하게 예측했습니다.

4. 실전 테스트: 새로운 음성 비서

이것이 실제 세계에서 어떻게 작동하는지 증명하기 위해, 팀은 새로운 텍스트 음성 변환(TTS) 시스템(텍스트를 소리 내어 읽어주는 로봇)을 구축했습니다.

그들은 기존의 강력한 음성 시스템(CosyVoice2)을 가져왔는데, 이 시스템은 문장을 생성하기 위해 거대한 "뇌"(대규모 언어 모델 또는 LLM)를 사용했습니다.
그들은 이 거대한 뇌를 FSQ 격자를 사용하는 그들의 새로운 확산 기반 뇌로 교체했습니다.

결과:

더 나은 품질: 새로운 로봇은 기존 모델보다 더 명확하고 자연스럽게 말했습니다.
더 빠름: 음성을 한 단어씩 써 내려갈 필요가 없기 때문에, 기존보다 5~10배 더 빠릅니다.
더 작음: 새로운 모델은 기존 모델보다 10배 더 작습니다. 이는 마치 슈퍼컴퓨터를 스마트 태블릿으로 교체하면서도 더 나은 결과를 얻는 것과 같습니다.
제로샷 클로닝(Zero-Shot Cloning): 기존 시스템과 마찬가지로 짧은 샘플만으로도 사람의 목소리를 흉내 낼 수 있지만, 훨씬 더 효율적으로 수행했습니다.

요요약

이 논문은 만약 당신이 이산적인 음성 신호(토퀀)를 생성하기 위해 "조각하기"(확산) 방식을 사용하고 싶다면, 음성 블록(토큰)을 완벽하고 균일한 격자(FSQ) 형태로 배치해야 한다고 주장합니다. 이러한 배치는 수학적 계산을 더 잘 작동하게 하고, 학습을 더 안정적으로 만들며, 최종적인 음성 비서를 기존의 거물들보다 더 빠르고, 작고, 명확하게 만들어 줍니다.

기술 요약: 범주형 데이터를 위한 연속적 확산(Continuous Diffusion)에서의 FSQ 토큰의 최적성 및 텍스트 음성 변환(TTS)에 대한 적용

1. 문제 정의

연속적 확산 모델(Continuous diffusion models)은 연속적인 도메인(예: 이미지, 비디오)에서는 최첨단 성능을 달aged하지만, 텍스트나 이산적 음성 토큰과 같은 범주형 데이터에 적용될 때는 상당한 어려움에 직면합니다. 이산적 확산 모델(Discrete diffusion models)이 존재함에도 불구하고, **범주형 데이터를 위한 연속적 확산(Continuous Diffusion for Categorical Data, CDCD)**이라 불리는 하이브리드 프레임워크가 등장했습니다. CDCD에서 순방향(forward) 및 역방향(reverse) 확산 과정은 이산적 토큰의 임베딩을 포함하는 연속적 잠재 공간(latent space) 내에서 작동하며, 신경망은 이러한 이산적 토큰들의 확률을 예측합니다.

그러나 CDCD 프레임워크는 순수 이산적 또는 연속적 접근 방식에 비해 상대적으로 적은 관심을 받아왔습니다. 주요 병목 현상은 잠재 공간의 구조와 확산 모델의 공동 최적화(joint optimization)로 인해 발생하는 학습의 불안정성입니다. 연속적 잠재 공간의 구조는 매우 중요합니다. 만약 토큰 임베딩의 기하학적 구조가 최적이 아니라면, 서로 다른 토큰에 대응하는 확산 경로(diffusion paths)가 구별 불가능해질 수 있으며, 이는 모델이 정확한 역방향 궤적을 학습하는 것을 방해합니다. 본 논문은 CDCD 모델에 가장 적합한 잠재 공간의 기하학적 특성을 조사하며, 특히 토큰 임베딩 간의 거리와 확산 경로 측도(diffusion path measures)의 쿨백-라이블러(Kullback-Leibler, KL) 발산 사이의 관계에 초점을 맞춥니다.

2. 방법론

이론적 프레임워크

저자들은 잠재 공간의 기하학적 구조와 CDCD 모델의 학습 역학 사이의 이론적 연결 고리를 구축합니다.

확산 경로 측도(Diffusion Path Measures): 본 논문은 두 가지 서로 다른 데이터 샘플(토큰 임베딩) $a_1$ 과 $a_2$ 로 이어지는 역방향 시간 확산 경로 측도 사이의 KL 발산이 두 임베딩의 제곱 유클리드 거리 $\|a_1 - a_2\|^2_2$ 및 순방향 확산 계수의 시간 의존적 적분에 비례함을 도출합니다.
최적성 기준: 이러한 도출을 바탕으로, 저자들은 잠재 공간 내 토큰 임베딩 간의 평균 최근접 이웃(nearest-neighbor) 거리를 최대화하는 것이 서로 다른 토큰으로 이어지는 확산 경로 간의 KL 발산을 최소화한다는 가설을 세웁니다. 이러한 분리(separation)는 신경망이 서로 다른 토큰으로 향하는 궤적을 더 쉽게 구별할 수 있게 하여, 학습 안정성과 예측 정확도를 향상시킵냐.
FSQ 분석: 본 논문은 좌표가 특정 정수 값으로 제한된 하이퍼큐브(hypercube) 내에 토큰 임베딩이 "균일하게" 위치하는 방식인 **유한 스칼라 양자화(Finite Scalar Quantization, FSQ)**에 집중합니다. 저자들은 두 가지 특정 FSQ 구성을 분석합니다:
- Base2: 좌표가 $\{-1, 1\}$ .
- Base3: 좌표가 $\{-1, 0, 1\}$ .
이론적 증명:
- 정리 4.3: FSQ 코드북(Base2 및 Base3)이 $L_\infty$ 노름이 1로 제한된 모든 코드북 중에서 평균 최근접 이웃 거리 측면에서 **국소적으로 최적(locally optimal)**임을 증명합니다. FSQ 임베딩의 미세한 섭동(perturbation)은 이 거리를 감소시킵니다.
- 최고 정확도 가설: 저자들은 균일한 토큰 사전 확률(prior)을 가진 최적으로 학습된 CDCD 모델의 경우, 잠재 공간이 FSQ 구조를 따를 때 평균 예측 정확도(top-1)가 최대화된다는 가설을 제시합니다. 이는 1차원 잠재 공간에 대해 분석적으로 증명되었습니다.

실험적 검증

수치 실험: 저자들은 FSQ 코드북의 전역적 최적성을 테스트하기 위해 몬테카를로 시뮬레이션을 수행했습니다. 수천 개의 무작위 코드북을 생성한 결과, FSQ 구성이 섭동되거나 무작위적인 임베딩에 비해 일관되게 더 높은 평균 최근접 이웃 거리를 달성함을 확인했습니다.
텍스트 음성 변환(TTS) 적용: 실제 시나리오에서 연구 결과를 검증하기 위해, 저자들은 CosyVoice2 TTS 시스템의 자기회귀적(autoregressive) 대규모 언어 모델(LLM) 백본을 CDCD 모델로 교체했습니다.
- 아키텍처: 새로운 모델인 CDCD-TTS는 F5-TTS에서 파생된 확산 트랜스포머(Diffusion Transformer, DiT) 백본을 사용하며, FSQ 음성 토큰을 예측하기 위한 소프트맥스(softmax) 레이어를 갖추고 있습니다.
- 토크나이제이션: 이 시스템은 8차원 FSQ 임베딩(Base3)을 사용하여 $3^8 = 6,561$ 개의 음성 토큰 어휘를 활용합니다.
- 학습: 65,000시간의 영어 음성 데이터(LibriLight, GigaSpeech, Emilia)로 모델을 학습시켰습니다.
- 베이스라인: 다음 모델들과 비교하였습니다:
  - FSQ-original: 표준 FSQ 임베딩을 사용하는 CDCD.
  - FSQ-perturb: 약간 섭동된 FSQ 임베딩을 사용하는 CDCD.
  - FSQ-permute: 토큰 ID를 치환하여 오토인코더 매핑을 깨뜨린 CDCD.
  - RVQ: Residual Vector Quantization (EnCodec) 토큰을 사용하는 CDCD.
  - LLM 대응 모델: CosyVoice2, F5-TTS, CosyVoice3.

3. 주요 기여

이론적 연결: 본 논문은 순방향 확산 파라미터, 생성된 샘플 간의 유클리드 거리, 그리고 역방향 확산 경로 측도 간의 KL 발산 사이의 공식적인 연결 고리를 확립했습니다.
FSQ 최적성: FSQ 코드북이 (특히 최대 평균 최근접 이웃 거리를 통해) CDCD 모델에 가장 적합한 기하학적 특성을 보유하고 있음을 이론적 및 경험적으로 정식화하고 검증했습니다.
새로운 TTS 모델: 저자들은 FSQ 음성 토큰에 의존하는 최초의 CDCD 기반 텍스트 음성 변환 모델인 CDCD-TTS를 제안합니다. 이 모델은 비자기회귀적(non-autoregressive) 확산이 이산적 음성 토큰을 효과적으로 생성할 수 있음을 입증합니다.

4. 결과

수치적 발견: 토이 데이터(toy data)에 대한 실험을 통해 FSQ 코드북이 무작위 및 섭동된 코드북에 비해 평균 최근접 이웃 거리와 실제 분포 및 생성된 분포 사이의 로그-KL 발산 측면에서 더 우수함을 확인했습니다.
TTS 성능:
- 품질: FSQ-original CDCD-TTS 모델은 단어 오류율(WER), 화자 유사도(SIM), 평균 의견 점수(MOS) 측에서 FSQ-perturb 및 FSQ-permute 변형 모델보다 우수한 성능을 보였습니다. 특히, FSQ-original 모델은 WER(2.00% vs 2.57%)과 MOS(4.119 vs 4.077)에서 LLM 기반의 CosyVoice2보다 뛰어난 성능을 기록했습니다.
- 효율성: CDCD-TTS 백본은 LLM 기반 대응 모델(0.5B 파라미터)에 비해 약 10배 작으며(45M 파라미터), 5~10배 더 빠릅니다.
- 실시간 계수(Real-time Factor): 이 시스템은 25회의 역방향 확산 단계를 통해 단일 GPU에서 실시간보다 3~~5배 빠른 0.2~~0.3의 실시간 계수를 달성합니다.
- 제로샷 능력: 모델은 강력한 제로샷 목소리 복제 및 감정 복제 능력을 유지하며, LLM 기반 베이스라인보다 음성 명료도와 자연스러움 측면에서 우수한 성능을 보입니다.

5. 의의 및 주장

본 논문은 잠재 공간의 기하학적 구조가 CDCD 모델의 성공을 결정짓는 핵심적이며 종종 간과되는 요소라고 주장합니다. FSQ 토크나이제가 확산 경로의 분리성을 최대화하는 잠재 공간 구조를 제공함으로써, FSQ가 단순한 양자화 기법이 아니라 연속적 범주형 데이터를 위한 연속적 확산에 있어 이론적으로 최적의 선택임을 입증함으로써, FSQ의 중요성을 강조합니다.

이 연구의 의의는 다음과 같습니다:

자기회귀 모델의 지배력에 도전: 이산적 데이터 생성을 위한 고품질의 실행 가능한 대안을 제공하여, 추론 속도와 모델 크기 면에서 상당한 이득을 얻을 수 있음을 보여줍니다.
CDCD 학습 안정화: 역사적으로 CDCD 프레임워크와 관련되어 온 학습 불안정성을 완화할 수 있는 원칙적인 잠재 공간 설계 방법을 제시합니다.
실질적 적용: TTS에서의 성공적인 배포는 CDCD 모델이 LLM 기반 시스템과 대등하거나 이를 능가하면서도 훨씬 효율적일 수 있음을 보여주며, 이는 이산적 양식의 생성 모델링 연구에 있어 유망한 방향을 제시합니다.

저자들은 "최고 정확도 가설"에 대해, 현재의 이론적 증명이 동일한 토큰 사전 확률을 가진 경우로 제한되어 있음을 언급하며 겸허한 태도를 유지하였으며, 비균일한 사전 확률을 다루는 것을 향후 연구 과제로 식별하였습니다.