💬 NLP

FreyaTTS Technical Report

Freya-TTS는 연속적인 잠재 공간에서 비자기회귀적 조건부 플로우 매칭 디퓨전 트랜스포머를 활용하여 더 큰 오픈 소스 시스템들에 비해 우수한 효율성과 정확도로 고품질의 실시간 대화형 합성을 구현하는, 콤팩트하고 토크나이저가 필요 없는 터키어 우선 텍스트 음성 변환 모델입니다.

원저자: Ahmet Erdem Pamuk, Ömer Yentür, Ahmet Tunga Bayrak, Yavuz Alp Sencer Öztürk, Mustafa Yavuz

게시일 2026-07-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ahmet Erdem Pamuk, Ömer Yentür, Ahmet Tunga Bayrak, Yavuz Alp Sencer Öztürk, Mustafa Yavuz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 만약 터키어를 말하는 로봇을 만들고 싶다고 상상해 보십시오. 대부분의 사람들은 거대한 소리 사전을 가르치거나, 모든 단어를 아주 작은, 미리 정의된 조각들(마치 레고 블록처럼)로 나누어 왼쪽에서 오른쪽으로 하나씩 쌓아 올리는 방식으로 이 로봇을 만들려고 시입니다. 이것이 현재 많은 "최첨단" 음성 로봇들이 작동하는 방식입니다. 이들은 거대하고, 구축하는 데 시간이 너무 오래 걸리며, 긴 문장에서 한 번이라도 비틀거리면 숫자를 섞거나 순서를 틀리는 등 스스로의 발에 걸려 넘어지곤 합니다.

FreyaTTS 팀은 완전히 다른, 훨씬 더 작고 똑똑한 접근 방식을 시도하기로 했습니다. 그들은 거대한 사전을 만들거나 벽돌을 하나씩 쌓는 방식 대신, 오디오를 듣고 문장 전체를 한꺼번에 추측하는 법을 배우는 1 억 8,320만 파라미터 규모의 "상상 엔진"을 구축했습니다. 이는 마치 악보를 한 음씩 읽는 것이 아니라, 재즈 뮤지션이 악보 없이 즉흥적으로 풀 솔로를 연주하는 것과 같습니다.

그들의 마술 같은 기술이 어떻게 작동하는지 세 가지 간단한 부분으로 나누어 설명하겠습니다.

1. 얼어붙은 청사진 (The "AudioVAE2")

FreyaTTS 팀을 건축가라고 생각해 보십시오. 그들은 스케치를 아름다운 48kHz 사운드 파형으로 변환하는 법을 이미 알고 있는 완벽하게 미리 지어진 집(AudioVAE2)을 발견했습니다. 이 집은 너무나 훌륭해서 팀은 이를 절대로 건드리지 않기로 결정했습니다. 그들은 이를 제자리에 고정(freeze)시켰습니다.

소리 파형을 만드는 법을 가르치는 데 시간을 낭비하지 않았기 때문에, 그들은 100%의 두뇌 에너지를 로봇에게 무엇을 말할지 가르치는 데 사용할 수 있었습니다. 그들은 글자를 소리로 바꾸는 번역기(phonemizer)도 필요 없었고, 단어를 작은 소리 토큰으로 쪼갤 필요도 없었습니다. 그저 로보에게 생생한 터키어 텍스트(ç, ğ, ı, ö, ş, ü와 같은 특수 문자를 포함한 92개 기호)를 입력하고 스스로 발음을 깨우치도록 내버려 두었습니다. 이는 아이에게 음성학 교과서를 주는 대신, 대화를 통해 말을 가르치는 것과 같습니다.

2. "한꺼번에" 하는 마법 (Non-Autoregressive)

대부분의 음성 로봇은 느린 타이피스트와 같습니다. 한 글자를 치고, 그다음 글자를 치고, 그다음 글자를 치는 식입니다. 만약 초기에 실수를 하면 문장 전체가 엉망이 됩니다. 이를 "자기회귀적(autoregressive)" 생성이라고 합니다.

FreyaTTS는 다릅니다. 그것은 전체 캔버스를 보고 한 번에 전체 그림을 그려내는 화가와 같습니다. 이 모델은 **조건부 플로우 매칭 디퓨전 트랜스포머(conditional flow-matching Diffusion Transformer)**를 사용하여 문장 전체의 소리 패턴을 병렬로 예측합니다.

비유: 친구의 목소리를 추측하고 있다고 상 imagine 해보십시오. 한 번에 한 단어씩 추측하는 대신(이 방식은 잘못된 단어를 추측하여 문장을 망칠 수 있습니다), FreyaTTS는 문장 전체의 리듬과 톤을 한꺼번에 추측합니다.
결과: 이를 통해 "왼쪽에서 오른쪽으로 발생하는 오류 누적"을 피할 수 있습니다. 만약 긴 숫자 목록을 말하라고 요청해도, 중간에 혼란에 빠지지 않습니다. 전체 지속 시간과 전체 소리 패턴을 동시에 예측하기 때문입니다.

3. "목소리 잠금" (일관성 유지)

처음 이 로봇을 처음부터 훈련시켰을 때, 로봇은 약간 카멜레온 같았습니다. 당신이 "Hello"라고 말하라고 할 때마다 매번 다른 사람처럼 들렸습니다. 어떤 때는 저음의 남성처럼 들리다가, 다음에는 높은 톤의 아이처럼 들리기도 했습니다. 이는 로봇이 다양한 목소리가 섞인 데이터로부터 학습했기 때문에 고유한 정체성이 없었기 때문입니다.

이를 해결하기 위해 팀은 두 단계의 "목소리 잠금" 과정을 거쳤습니다.

1단계: 로봇에게 특정한 한 사람(전문 성우 한 명)을 흉내 내도록 가르쳤습니다. 이를 통해 로봇의 목소리 피치 변화를 거친 74.9 Hz에서 안정적인 5.0 Hz로 압축했습니다. 이제 로봇은 매번 동일한 사람처럼 들립니다.
2단계: 팀은 로봇이 짧은 구절(예: "Yes" 또는 "No")에 취약하다는 것을 깨달았습니다. 그래서 짧은 한 단어 및 두 단어 문장에 대한 추가 연습을 집중적으로 실시했습니다.

결과: 작지만 강력함

팀은 자신들의 로봇을 다른 유명한 오픈 소스 음성 모델들과 테스트했습니다. 결과는 다음과 같습니다.

크기: FreyaTTS는 XTTS-v2(470M)나 F5-TTS(336M) 같은 거인들에 비해 매우 작은 1억 8,320만(183.2M) 파라미터를 가집니다.
정확도: 495개의 터키어 문장을 대상으로 한 테스트에서, FreyaTTS는 더 큰 모델들보다 적은 실수를 기록했습니다. 이 모델은 **8.0%의 단어 오류율(WER)**과 **3.0%의 문자 오류율(CER)**을 달려냈습니다.
- 참고: 더 큰 모델들은 각각 **11.1%**와 **24.3%**를 기록했습니다.
속도: 다음 단어가 끝나기를 기다릴 필요가 없기 때문에 믿을 수 없을 정도로 빠릅니다. 표준 소비자용 그래픽 카드에서 실시간 계수(real-time factor) 0.11로 실행됩니다. 이는 10초 분량의 오디오를 단 1.1초 만에 생성할 수 있음을 의미합니다.
노트북 성능: 매우 효율적이어서 노트북 CPU(예: Apple M3)에서도 실시간보다 빠르게 실행될 수 있어, 휴대폰이나 소형 기기에 적합합니다.

그들이 명시적으로 밝힌 "아닌 것들"

논문은 FreyaTTS가 무엇이 아닌지를 매우 명확히 밝히고 있습니다.

이 모델은 당신이 제공한 클립을 통해 어떤 목소리든 흉내 낼 수 있는 "제로샷(zero-shot)" 클로닝 모델이 아닙니다. 이것은 단일 목소리(single-voice) 모델입니다. 훈련된 하나의 목소리만을 얻게 됩니다.
이 모델은 50개 이상의 언어를 동시에 말하려고 노력하는 거대한 다국어 기반 모델이 아닙니다. 이것은 터키어에 특화된 터키어 우선(Turkish-first) 모델입니다.
이 모델은 글자를 소리로 변환하는 규칙 기반 시스템인 "포네마이저(phonemizer)"를 사용하지 않습니다. 오디오에서 직접 소리를 학습합니다.
이 모델은 숫자가 쓰여진 형태(예: "1999")를 읽는 데 완벽하지 않습니다. 논문에서는 긴 숫자 배열의 지속 시간 문제로 인해, 모델에 입력하기 전에 숫자를 말하는 형태(예: "천 구백 구십 구")로 확장해 주어야 한다고 언급하고 있습니다.

얼마나 확신하는가?

팀은 단순히 추측한 것이 아니라 모든 것을 측정했기 때문에 이 수치들에 대해 매우 확신하고 있습니다.

그들은 495개의 문장으로 구성된 Freya-TR-Eval이라는 특정 벤치마크를 구축했습니다.
결과가 운이 아니라는 것을 확인하기 위해 "부트스트랩(bootstrap)" 방법을 사용하여 테스트를 10,000번 실행했습니다.
동일한 문장과 동일한 채점 규칙을 사용하여 모델을 비교했습니다(공정한 경쟁을 위해 모두 8kHz로 다운샘플링함).
또한 "목소리 잠금" 안정성을 측정하여, 훈련 단계 이후 피치 변화가 74.9 Hz에서 5.0 Hz로 떨어졌음을 보여주었습니다.

요약하자면, FreyaTTS는 훌륭한 터키어 음성을 만들기 위해 수십억 달러짜리 다국어 괴물이 필요하지 않다는 것을 증명합니다. 노트북에서 실행 가능하고, 일관된 목소리를 내며, 거대 모델들보다 터키어를 더 잘 말하는 작고 전문화된 "한꺼번에" 방식의 엔진을 만들 수 있습니다.

기술 요약: FreyaTTS

문제 정의

텍스트 음성 변환(TTS) 분야는 크게 발전해 왔으나, 여전히 영어와 중국어 같은 고자원 언어에 과도하게 편중되어 있습니다. 터키어와 같은 중자원 언어는 다음과 같은 이중적 격차를 겪고 있습니다:

언어적 소외: 대규모 다국어 모델들은 터키어를 수십 개의 언어 중 하나로 취급하여, 응축적 형태론(agglutinative morphology), 모음 조화(vowel harmony), 숫자 및 약어의 구어체 확장과 같은 터키어 특유의 언어적 복잡성을 제대로 반영하지 못합니다. 기존의 베이스라인 모델들은 이러한 특징들을 처리하는 데 어려움을 겪는 취약하고 수동적인 자음-음소 변환(G2P) 파이프라인에 의존하는 경우가 많습니다.
계산 효율성 저하: 최첨단 오픈 시스템들은 종종 수십억 개의 파라미터를 가진 백본과 방대한 학습 코퍼스(수십만에서 수백만 시간)를 요구하며, 이는 단일 GPU 서빙이나 온디바이스 배포에 부적합합니다.

또한, 지배적인 패러다임들은 다음과 같은 구체적인 한계에 직면해 있습니다:

이산 토큰 시스템(예: VALL-E, CosyVoice)은 미세한 음향적 세부 사항을 손실시키는 양자화에 의존하며, 종종 다단계 파이프라인을 필요로 합니다.
자기회귀 연속 잠재 모델(예: VoxCPM2)은 좌측에서 우측으로 진행되는 오류 누적(left-to-right error accumulation) 문제를 겪으며, 이로 인해 긴 구간에서 숫자나 단어가 뭉개지는 현상이 발생합니다.

방법론

FreyaTTS는 터키어에 특화되어 설계된 컴팩트하고 토크나이저가 필요 없는 비자기회귀(Non-Autoregressive, NAR) 아키텍처를 도입합니다. 이 시스템은 세 가지 핵심 축을 기반으로 구축되었습니다.

1. 동결된 연속 잠재 공간 (Frozen Continuous-Latent Space)

FreyaTTS는 AudioVAE2 코덱(VoxCPM2에서 추출)을 고정된 구성 요소로 활용합니다.

아키텍처: 인코더는 16 kHz 파형을 25 Hz의 64차원 연속 잠재 공간으로 매핑합니다. 디코더는 48 kHz로 오디오를 재구성합니다.
전략: 코덱을 동결함으로써, 모델은 파형 재구성을 학습하는 과정을 피합니다. 대신, 183.2M 파라미터의 전체 용량을 텍스트-잠재 매핑을 학습하는 데 전적으로 할당합니다. 이를 통해 모델은 미세한 음향적 세부 사항을 보존하는 연속 공간 내에서 작동하면서도, 이산 양자화 없이 48 kHz 재구성을 "공짜로" 상속받을 수 있습니다.

2. 토크나이저 프리 비자기회귀 생성 (Tokenizer-Free Non-Autoregressive Generation)

토큰을 순차적으로 생성하는 자기회귀 모델과 달리, FreyaTTS는 **조건부 플로우 매칭 확산 트랜스포머(Conditional Flow-Matching Diffusion Transformer, DiT)**를 채택합니다.

입력: 모델은 92개의 심볼로 구성된 터키어 문자 어휘(ç, ğ, ı, ö, ş, ü와 같은 특정 터키어 문자 포함)를 통해 원시 터키어 텍스트를 수용합니다. 별도의 음소 변환기(phonemizer), G2P 프런트엔드, 또는 이산 음성 토크나이저가 전혀 필요하지 않습니다.
메커니즘: 모델은 숫자의 구어체 표현을 포함한 발음을 오디오로부터 직접 학습합니다. 모델은 발화의 지속 시간을 예측하고, 고정된 ODE 단계(32단계)에 걸쳐 전체 잠재 시퀀스를 병렬로 디노이징합니다.
장점: 이러한 병렬 생성은 자기회귀 시스템에서 치명적인 실패 모드인 숫자 문자열의 좌측-우측 오류 누적을 제거합니다.

3. 2단계 사후 학습 레시피 (Two-Stage Post-Training Recipe)

발화자 불가지론적 사전 학습 프라이어를 신뢰할 수 있는 프로덕션 모델로 변환하기 위해, 저자들은 2단계 미세 조정 과정을 사용합니다.

1단계: 보이스 락 (Voice Lock, SFT v1): 모델을 단일 동의된 화자의 데이터로 미세 조정합니다. 이는 화자의 정체성을 가중치에 "기록"하여, 교차 생성 시의 기본 주파수( $F_0$ ) 표준 편차를 74.9 Hz에서 5.0 Hz로 압축합니다.
2단계: 단어 단위 커버리지 (Short-Utterance Coverage, SFT v2): 모델을 추출된 한 단어 및 두 단어 세그먼트로 추가 미세 조정합니다. 이는 표준 문장 단위 코퍼스에서 과소 대표되는 고립된 토큰, 단독 숫자, 또는 짧은 응답 등에서 발생하는 구조적 결함을 해결합니다.

주요 기여

최초의 오픈 토크나이저 프리 NAR 터키어 TTS: FreyaTTS는 터키어 우선 시스템으로서 처음부터 학습된 183.2M 파라미터 모델입니다. 이는 G2P 규칙 없이 오디오로부터 응축적 형태론과 구어체 표현을 직접 학습하는 최초로 공개된 토크나이저 프리 NAR TTS 모델입니다.
프로덕션 강화 레시피: 본 논문은 생성적 프라이어를 배포 가능한 단일 음성 제품으로 전환하는 특정 사전 학습-SFT 워크플로우(Voice Lock + Short-Utterance Coverage)를 소개하여, 화자 정체성을 안정화하고 고립된 토큰 문제를 해결합니다.
Freya-TR-Eval 벤치마크: 저자들은 시드 빌드 스크립트와 평가 하네스가 포함된 도메인 중립적인 495문장 규모의 터키어 벤치마크를 공개하여, 제3자 오디오를 재배포하지 않고도 재현 가능한 WER/CER 및 MOS 평가를 가능하게 합니다.

실험 결과

Band-matched Whisper-large-v3 프로토콜(공정한 비교를 위해 8 kHz로 다운샘플링됨)을 사용하여 Freya-TR-Eval 벤치마크에서 평가한 결과는 다음과 같습니다:

정확도: FreyaTTS는 **단어 오류율(WER) 8.0%**와 **문자 오류율(CER) 3.0%**를 달성했습니다.
비교: 이는 XTTS-v2(470M 파라미터, WER 11.1%)와 F5-TTS(336M 파라미터, WER 24.3%)를 포함한 훨씬 더 큰 규모의 오픈 소스 시스템들을 유의미하게 능가합니다. 또한, 높은 수준의 정규화된 음소 기반 발음 덕분에 낮은 WER을 보이는 Piper(16M)나 MMS-TTS(36M)와 같은 소규모 VITS 기반 베이스라인보다 자연스러움 측면에서 뛰어난 성능을 보였습니다.
자연스러움: 24명의 원어민 청취자를 대상으로 한 청취 테스트에서, FreyaTTS는 3.68의 평균 의견 점수(MOS)를 기록하며 XTTS-v2(3.82)에 이어 2위를 차지했으며, 동일 클래스의 다른 모든 시스템을 앞질렀습니다.
화자 일관성: Voice-lock 단계는 생성 시의 $F_0$ 표준 편차를 74.9 Hz에서 5.0 Hz로 감소시켜, 성별 전환 현상을 효과적으로 제거하고 참조 프롬프트 없이도 일관된 화자 정체성을 보장했습니다.

효율성 및 배포

실시간 계수 (RTF): 소비자용 GPU(RTX 4090)에서 FreyaTTS는 0.11의 RTF를 달나합니다. H100에서는 평균 RTF가 약 0.14입니다.
엣지 배포: Apple M3 노트북 CPU에서도 실시간보다 빠르게 동작하며, Core ML로 컴파일 시 엔드 투 엔드 RTF는 약 0.12입니다.
처리량: 정적 배칭을 사용할 때, 모델은 초당 65.2초의 오디오를 처리하여, 전용 연속 배칭 서빙 엔진을 사용하는 2B 파라미터 규모의 VoxCPM2보다 훨씬 높은 성능을 보여줍니다.

의의 및 주장

본 논문은 고품질의 신뢰할 수 있는 중자원 언어용 TTS가 반드시 수십억 개의 파라미터를 가진 다국어 기초 모델을 필요로 하지 않는다는 것을 FreyaTTS를 통해 입증합니다. 터키어 우선(Turkish-first) 접근 방식, 동결된 고충실도 코덱 활용, 그리고 비자기회귀 플로우 매칭 목적 함수를 통해, 저자들은 해당 파라미터 클래스에서 최첨단 성능을 달성했습니다.

저자들은 FreyaTTS가 연구용 생성적 프라이어와 실제 배포 가능한 단일 음성 제품 사이의 간극을 성공적으로 메웠다고 주장합니다. 이 모델은 컴팩트한 토크나이저 프리 시스템이 터키어의 언어적 복잡성(응축, 모음 조화)과 대화형 음성의 신뢰성 요구 사항(숫자 정확도, 화자 일관성)을 처리하는 동시에, 엣지 배포가 가능할 만큼 효율적임을 증명합니다. 모델, 코드, 벤치마크의 공개는 향후 터키어 및 저자원 음성 연구를 위한 견고한 토대를 제공하는 것을 목표로 합니다.