💬 NLP

FreyaTTS Technical Report

Freya-TTS is een compact, tokenizer-vrij, Turks-georiënteerd tekst-naar-spraakmodel dat een niet-autoregressieve conditional flow-matching Diffusion Transformer in een continue latente ruimte benut om hoogwaardige, real-time conversationele synthese te bereiken met een superieure efficiëntie en nauwkeurigheid vergeleken met grotere open-source systemen.

Oorspronkelijke auteurs: Ahmet Erdem Pamuk, Ömer Yentür, Ahmet Tunga Bayrak, Yavuz Alp Sencer Öztürk, Mustafa Yavuz

Gepubliceerd 2026-07-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ahmet Erdem Pamuk, Ömer Yentür, Ahmet Tunga Bayrak, Yavuz Alp Sencer Öztürk, Mustafa Yavuz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt bouwen die Turks spreekt. De meeste mensen proberen deze robot te bouwen door het een enorme woordenlijst van klanken aan te leren, waarbij elk woord wordt opgedeeld in piepkleine, vooraf gedefinieerde stukjes (zoals Lego-steentjes), en die steentjes vervolgens één voor één van links naar rechts op elkaar stapelt. Dit is hoe veel huidige "state-of-the-art" spraakrobots werken. Ze zijn enorm, het duurt een eeuwigheid om ze te bouwen, en als ze struikelen over een lange zin, gaan ze vaak over hun eigen voeten en raken ze de draad kwijt, waarbij ze cijfers door elkaar halen of de volgorde fout doen.

Het FreyaTTS-team besloot een totaal andere, veel kleinere en slimmere aanpak te proberen. Ze hebben geen gigantische woordenlijst of een stukje-voor-stukje stapelaar gebouwd. In plaats daarvan bouwden ze een 183,2-miljoen-parameter "imaginatie-motor" die leert Turks te spreken door naar audio te luisteren en de hele zin in één keer te raden, net zoals een jazzmuzikant een volledige solo improviseert in plaats van noot voor noot een partituur te lezen.

Hier is hoe hun tovertruc werkt, opgedeeld in drie eenvoudige delen:

1. Het Bevroren Blauwdruk (De "AudioVAE2")

Denk aan het FreyaTTS-team als architecten die een perfect, vooraf gebouwd huis hebben gevonden (genaamd AudioVAE2) dat al weet hoe het een schets in een prachtige 48 kHz geluidsgolf kan veranderen. Dit huis is zo goed dat het team besloot nooit aan te raken. Ze hebben het op zijn plaats bevroren.

Omdat ze geen tijd hoefden te verspillen aan het leren van de robot hoe hij geluidsgolven moet maken, konden ze 100% van hun hersencapaciteit gebruiken om de robot te leren wat hij moet zeggen. Ze hadden geen vertaler (een fonemizer) nodig om letters in klanken om te zetten, en ze hoefden woorden ook niet in kleine klanktokens op te breken. Ze voerden de robot gewoon ruwe Turkse tekst (92 symbolen, inclusief speciale letters zoals ç, ğ, ı, ö, ş, ü) en lieten hem de uitspraak zelf uitzoeken. Het is alsoals een kind leren spreken door tegen het kind te praten, in plaats van een tekstboek over fonetiek te geven.

2. De "Alles-in-één" Magie (Niet-autoregressief)

De meeste spraakrobots zijn als een trage typist: ze typen één letter, dan de volgende, dan de volgende. Als ze vroeg in de zin een fout maken, raakt de hele zin onverstaanbaar. Dit wordt "autoregressieve" generatie genoemd.

FreyaTTS is anders. Het is als een schilder die het hele canvas ziet en het hele schilderij in één keer schildert. Het gebruikt een conditional flow-matching Diffusion Transformer om het hele geluidspatroon van de zin parallel te voorspellen.

De Analogie: Stel je voor dat je de stem van een vriend probeert te raden. In plaats van één woord tegelijk te raden (wat ertoe kan leiden dat je het verkeerde woord raadt en de zin verpest), raadt FreyaTTS het volledige ritme en toon van de zin in één keer.
Het Resultaat: Het voorkomt "links-naar-rechts foutaccumulatie". Als je het vraagt om een lange lijst met getallen te zeggen, raakt het halverwege niet in de war. Het voorspelt de volledige duur en het volledige geluidspatroon gelijktijdig.

3. De "Stem-Lock" (Voor Consistentie Zorgen)

Toen ze deze robot voor het eerst vanaf nul trainden, was het een beetje een kameleon. Elke keer als je de robot vroeg om "Hallo" te zeggen, klonk het als een ander persoon. De ene keer klonk het als een man met een diepe stem, de andere keer als een hoog pratend kind. Dit kwam omdat de robot leerde van een mix van vele stemmen en geen specifieke identiteit had.

Om dit op te lossen, deden het team een twee-staps "stem-lock":

Fase 1: Ze leerden de robot om één specifiek persoon na te bootsen (één professionele stemacteur). Dit verkleinde de variatie in de toonhoogte van de stem van de robot van een wilde 74,9 Hz (een enorme range) naar een stabiele 5,0 Hz. Nu klinkt het elke keer als dezelfde persoon.
Fase 2: Ze realiseerden zich dat de robot slecht was in korte zinnen (zoals "Ja" of "Nee"). Dus gaven ze het extra oefening, specifiek op korte één- of twee-woordige zinnen.

De Resultaten: Klein maar Krachtig

Het team heeft hun robot getest tegen andere beroemde open-source spraakmodellen. Dit is wat ze ontdekten:

Grootte: FreyaTTS is minuscuul (183,2M parameters) vergeleken met reuzen zoals XTTS-v2 (470M) of F5-TTS (336M).
Nauwkeurigheid: In een test met 495 Turkse zinnen maakte FreyaTTS minder fouten dan de grotere modellen. Het behaalde een Word Error Rate (WER) van 8,0% en een Character Error Rate (CER) van 3,0%.
- Opmerking: De grotere modellen behaalden respectievelijk 11,1% en 24,3%.
Snelheid: Omdat het niet hoeft te wachten tot het ene woord klaar is voordat het aan het volgende begint, is het ongelooflijk snel. Op een standaard consumentengrafische kaart draait het met een real-time factor van 0,11. Dit betekent dat het 10 seconden audio kan genereren in slechts 1,1 seconde.
Laptop Kracht: Het is zo efficiënt dat het sneller dan real-time kan draaien op een laptop CPU (zoals een Apple M3), waardoor het perfect is voor telefoons of kleine apparaten.

Wat Ze Expliciet Zeggen Dat Het NIET Is

Het paper is heel duidelijk over wat FreyaTTS niet is:

Het is geen "zero-shot" kloner die elke stem kan nabootsen die je het via een fragment geeft. Het is een single-voice model. Je krijgt de ene stem waarop het getraind is, en dat is alles.
Het is niet gebouwd op een enorme meertalige basis die probeert 50 talen tegelijk te spreken. Het is een Turks-gericht model, gespecialiseerd voor één taal.
Het gebruikt geen "phonemizer" (een regelgebaseerd systeem om letters in klanken om te zetten). Het leert de klanken direct van de audio.
Het is niet perfect in het lezen van getallen in hun geschreven vorm (zoals "1999"). Het paper merkt op dat je nog steeds getallen moet uitbreiden naar hun gesproken vorm (zoals "één duizend negenhonderd negenen negentig") voordat je ze aan het model voert, omdat de robot soms moeite heeft met de duur van lange reeksen cijfers.

Hoe Zeker Zijn Ze?

Het team is zeer zelfverzekerd over deze cijfers omdat ze niet alleen gegokt hebben; ze hebben alles gemeten.

Ze bouwden een specifieke benchmark genaamd Freya-TR-Eval met 495 zinnen.
Ze voerden de tests 10.000 keer uit met een "bootstrap"-methode om er zeker van te zijn dat de resultaten niet op toeval berustten.
Ze vergeleken hun model met exact dezelfde zinnen met exact dezelfde scoringsregels (door alles te downsamplen naar 8 kHz zodat het speelveld gelijkwaardig was).
Ze maten zelfs de stabiliteit van de "stem-lock", waarbij ze lieten zien dat de variatie in toonhoogte daalde van 74,9 Hz naar 5,0 Hz na hun trainingsstappen.

Kortom, FreyaTTS bewijst dat je geen miljarden kostende, meertalige monster nodig hebt om geweldige Turkse spraak te maken. Je kunt een kleine, gespecialiseerde, "alles-in-één" motor bouwen die op een laptop draait, consistent klinkt en beter Turks spreekt dan de reuzen.

Technische Samenvatting: FreyaTTS

Probleemstelling

Het veld van Tekst-naar-Spraak (TTS) heeft aanzienlijke vooruitgang geboekt, maar blijft zwaar scheefgetrokken naar hoog-resource talen zoals Engels en Chinees. Talen met een gemiddeld volume aan bronmateriaal (mid-resource), specifiek Turks, lijden onder een dubbele kloof:

Linguïstische verwaarlozing: Grote meertalige modellen behandelen Turks als een marginale taal tussen tientallen andere, waardoor ze niet rekening houden met de specifieke linguïstische complexiteit, zoals agglutinerende morfologie, klinkerharmonie en de gesproken vorm van getallen en acroniemen. Bestaande baselines vertrouwen vaak op broze, handmatig gebouwde grapheem-naar-fonem (G2P) pipelines die moeite hebben met deze kenmerken.
Computationele inefficiëntie: State-of-the-art open systemen vereisen vaak backbones met miljarden parameters en enorme trainingscorpora (honderdduizenden tot miljoenen uren), wat ze ongeschikt maakt voor bediening op een enkele GPU of implementatie op apparaten (on-device).

Verder kampen dominante paradigma's met specifieke beperkingen:

Discrete-token systemen (bijv. VALL-E, CosyVoice) vertrouwen op kwantisatie die fijne akoestische details weggooit en vaak meerfasige pipelines vereisen.
Autoregressieve continue latente modellen (bijv. VoxCPM2) lijden onder foutaccumulatie van links naar rechts, wat leidt tot onverstaanbare getallen en woorden over langere tijdshorizonten.

Methodologie

FreyaTTS introduceert een compacte, tokenizer-vrije, niet-autoregressieve (NAR) architectuur die specif으로 is ontworpen voor het Turks. Het systeem is gebouwd op drie kernzuilen:

1. Bevroren Continue Latente Ruimte

FreyaTTS maakt gebruik van de AudioVAE2 codec (van VoxCPM2) als een vast, bevroren component.

Architectuur: De encoder brengt 16 kHz waveforms in kaart naar een 64-dimensionale continue latente ruimte bij 25 Hz. De decoder reconstrueert audio bij 48 kHz.
Strategie: Door de codec bevroren te houden, vermijdt het model het leren van waveform-reconstructie. In plaats daarvan wordt de volledige capaciteit van 183,2M parameters toegewijd aan het leren van de tekst-naar-latente mapping. Dit stelt het model in staat om 48 kHz reconstructie "gratis" te erven, terwijl het opereert in een continue ruimte die fijne akoestische details behoudt zonder discrete kwantisatie.

2. Tokenizer-vrije Niet-Autoregressieve Generatie

In tegenstelling tot autoregressieve modellen die tokens sequentieel genereren, gebruikt FreyaTTS een Conditional Flow-Matching Diffusion Transformer (DiT).

Input: Het model accepteert ruwe Turkse tekst via een vocabulaire van 92 symbolen (inclusief specifieke Turkse tekens zoals ç, ğ, ı, ö, ş, ü). Het vereist geen phonemizer, G2P-frontend of discrete spraak-tokenizer.
Mechanisme: Het model leert uitspraak, inclusief de gesproken vormen van getallen en acroniemen, direct van audio. Het voorspelt de duur van de uiting en denoiset de gehele latente sequentie parallel over een vast aantal ODE-stappen (32 stappen).
Voordeel: Deze parallelle generatie elimineert foutaccumulatie van links naar rechts, een kritieke foutmodus voor cijferreeksen in autoregressieve systemen.

3. Tweefasig Post-Training Recept

Om de taal-agnostische pre-trained prior te transformeren naar een betrouwbaar productiemodel, gebruiken de auteurs een tweefasig fine-tuning proces:

Fase 1: Voice Lock (SFT v1): Het model wordt gefinetuned op een enkele, met toestemming verkregen spreker. Dit "schrijft" de stemidentiteit in de gewichten, waardoor de standaarddeviatie van de fundamentele frequentie ( $F_0$ ) over generaties heen daalt van 74,9 Hz naar 5,0 Hz.
Fase 2: Short-Utterance Coverage (SFT v2): Het model wordt verder gefinetuned op gemineerde één-woord en twee-woord segmenten. Dit adresseert structurele fouten waarbij het model moeite had met geïsoleerde tokens, kale getallen of korte bevestigingen, die ondervertegenwoordigd zijn in standaard zin-niveau corpora.

Belangrijkste Bijdragen

Eerste Open Tokenizer-vrije NAR Turkse TTS: FreyaTTS is een 183,2M-parameter model dat vanaf nul is getraind als een Turks-eerst systeem. Het is de eerste openlijk vrijgegeven tokenizer-vrije NAR TTS-model die agglutinerende morfologie en gesproken vormen direct van audio leert zonder G2P-regels.
Productie-hardening Recept: Het artikel introduceert een specifiek pretrain-naar-SFT workflow (Voice Lock + Short-Utterance Coverage) die de sprekeridentiteit stabiliseert en fouten met geïsoleerde tokens oplost, waardoor een generatieve prior wordt omgezet in een inzetbaar single-voice product.
Freya-TR-Eval Benchmark: De auteurs brengen een domeinneutrale, 495-zinnen Turkse benchmark uit met seeded build-scripts en evaluatieharnesses, wat reproduceerbare WER/CER en MOS-evaluatie mogelijk maakt zonder derde-partij audio te herdistribueren.

Experimentele Resultaten

Geëvalueerd op de Freya-TR-Eval benchmark met een band-matched Whisper-large-v3 protocol (gedownsampled naar 8 kHz voor een eerlijke vergelijking):

Nauwkeurigheid: FreyaTTS bereikt een Word Error Rate (WER) van 8,0% en een Character Error Rate (CER) van 3,0%.
Vergelijking: Het presteert aanzienlijk beter dan grotere open-source systemen, waaronder XTTS-v2 (470M parameters, WER 11,1%) en F5-TTS (336M parameters, WER 24,3%). Het overtreft ook kleinere VITS-gebaseerde baselines zoals Piper (16M) en MMS-TTS (36M) in natuurlijkheid, ondanks dat die modellen een lagere WER hebben door zeer regelmatige, door phonemizers gestuurde uitspraak.
Natuurlijkheid: In een luisterstudie met 24 inheemse Turkse beoordelaars behaalde FreyaTTS een Mean Opinion Score (MOS) van 3,68, waarbij het slechts tweede staat achter XTTS-v2 (3,82) en alle andere systemen in dezelfde klasse overtreft.
Sprekerconsistentie: De voice-lock fase verminderde de $F_0$ standaarddeviatie over generaties heen van 74,9 Hz naar 5,0 Hz, wat gender-switches effectief elimineert en een consistente sprekeridentiteit garandeert zonder referentie-prompts.

Efficiëntie en Implementatie

Real-Time Factor (RTF): Op consumenten-GPU's (RTX 4090) bereikt FreyaTTS een RTF van 0,11. Op een H100 is de gemiddelde RTF ongeveer 0,14.
Edge Deployment: Het model draait sneller dan real-time op een laptop CPU (Apple M3), met een end-to-end RTF van ongeveer 0,12 wanneer het is gecompileerd voor Core ML.
Doorvoersnelheid (Throughput): Met statische batching bereikt het model 65,2 audio-seconden per wandsecond, waarmee het de 2B-parameter VoxCPM2 aanzienlijk verslaat, zelfs wanneer die laatste een speciale continuous-batching serving engine gebruikt.

Betekenis en Claims

Het artikel positioneert FreyaTTS als een demonstratie dat hoogwaardige, betrouwbare TTS voor talen met een gemiddeld volume niet vereist dat er miljarden-parameter meertalige fundamenten nodig zijn. Door te focussen op een Turks-eerst benadering, gebruik te maken van een bevroren high-fidelity codec, en een niet-autoregressieve flow-matching doelstelling, bereiken de auteurs state-of-the-art prestaties voor hun parameterklasse.

De auteurs beweren dat FreyaTTS succesvol de kloof overbrugt tussen onderzoeksgraad generatieve priors en inzetbare single-voice producten. Het model bewijst dat een compact, tokenizer-vrij systeem de linguïstische complexiteiten van het Turks (agglutinatie, klinkerharmonie) en de betrouwbaarheidseisen van conversatiegesprekken (nauwkeurigheid van cijfers, sprekerconsistentie) kan afhandelen, terwijl het efficiënt genoeg blijft voor edge-implementatie. De release van het model, de code en de benchmark heeft als doel een solide fundament te bieden voor toekomstig Turks en onderzoek naar talen met weinig bronmateriaal.