💬 NLP

FreyaTTS Technical Report

Freya-TTS è un modello di sintesi vocale compatto, privo di tokenizer e focalizzato sulla lingua turca, che sfrutta un Diffusion Transformer condizionale non autoregressivo basato su flow-matching in uno spazio latente continuo per ottenere una sintesi conversazionale di alta qualità e in tempo reale, con un'efficienza e un'accuratezza superiori rispetto ai sistemi open-source più grandi.

Autori originali: Ahmet Erdem Pamuk, Ömer Yentür, Ahmet Tunga Bayrak, Yavuz Alp Sencer Öztürk, Mustafa Yavuz

Pubblicato 2026-07-13

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ahmet Erdem Pamuk, Ömer Yentür, Ahmet Tunga Bayrak, Yavuz Alp Sencer Öztürk, Mustafa Yavuz

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler costruire un robot che parli turco. La maggior parte delle persone prova a costruire questo robot insegnandogli un enorme dizionario di suoni, scomponendo ogni parola in minuscoli pezzi predefiniti (come mattoncini Lego) e poi impilando questi mattoncini uno dopo l'altro, da sinistra a destra. È così che funzionano molti degli attuali robot del parlato "state-of-the-art". Sono enormi, richiedono un tempo infinito per essere costruiti e, se inciampano su una frase lunga, spesso inciampano sui propri piedi, mescolando i numeri o sbagliando l'ordine.

Il team di FreyaTTS ha deciso di provare un approccio completamente diverso, molto più piccolo e intelligente. Non hanno costruito un gigantesco dizionario o un impilatore di mattoncini. Invece, hanno costruito un "motore di immaginazione" da 183,2 milioni di parametri che impara a parlare il turco ascoltando l'audio e indovinando l'intera frase in un colpo solo, come un musicista jazz che improvvisa un assolo completo invece di leggere uno spartito nota per nota.

Ecco come funziona il loro trucco di magia, suddiviso in tre parti semplici:

1. Il Progetto Congelato (L' "AudioVAE2")

Pensa al team di FreyaTTS come ad architetti che hanno trovato una casa perfetta, già costruita (chiamata AudioVAE2), che sa già come trasformare uno schizzo in una bellissima onda sonora a 48 kHz. Questa casa è così buona che il team ha deciso di non toccarla mai. L'hanno congelata così com'era.

Poiché non hanno dovuto perdere tempo insegnando al robot come creare onde sonore, hanno potuto usare il 100% della loro capacità cerebrale per insegnare al robot cosa dire. Non avevano bisogno di un traduttore (un fonemizzatore) per trasformare le lettere in suoni, e non avevano bisogno di scomporre le parole in minuscoli token sonori. Hanno semplicemente nutrito il robot con testo turco grezzo (92 simboli, incluse lettere speciali come ç, ğ, ı, ö, ş, ü) e lo hanno lasciato capire la pronuncia da solo. È come insegnare a un bambino a parlare parlandogli, piuttosto che dargli un libro di testo sulla fonetica.

2. La Magia del "Tutto in Una Volta" (Non Autoregressiva)

La maggior parte dei robot del parlato sono come un dattilografo lento: digitano una lettera, poi la successiva, poi la successiva. Se commettono un errore all'inizio, l'intera frase diventa un pasticcio. Questo è chiamato generazione "autoregressiva".

FreyaTTS è diverso. È come un pittore che vede l'intera tela e dipinge l'intero quadro in un colpo solo. Utilizza un transformer di diffusione a flow-matching condizionale per prevedere il pattern sonoro dell'intera frase in parallelo.

L'Analogia: Immagina di cercare di indovinare la voce di un amico. Invece di indovinare una parola alla volta (il che potrebbe portarti a indovinare la parola sbagliata e rovinare la frase), FreyaTTS indovina il ritmo e il tono dell'intera frase contemporaneamente.
Il Risultato: Evita l' "accumulo di errori da sinistra a destra". Se gli chiedi di dire una lunga lista di numeri, non si confonde a metà strada. Prevede l'intera durata e l'intero pattern sonoro simultaneamente.

3. Il "Blocco della Voce" (Per la Coerenza)

Quando hanno addestrato questo robot da zero, era un po' un camaleonte. Ogni volta che chiedevi di dire "Ciao", sembrava una persona diversa. Una volta poteva sembrare un uomo dalla voce profonda, un'altra volta un bambino dal tono acuto. Questo perché il robot stava imparando da una miscela di molte voci e non aveva un'identità specifica.

Per risolvere il problema, il team ha eseguito un "blocco della voce" in due fasi:

Fase 1: Hanno insegnato al robot a imitare una persona specifica (un singolo talento vocale professionista). Questo ha fatto collassare la variazione di pitch del robot da un selvaggio 74,9 Hz (un intervallo enorme) a un costante 5,0 Hz. Ora, suona come la stessa persona ogni volta.
Fase 2: Si sono resi conto che il robot era scarso con le frasi brevi (come "Sì" o "No"). Così, gli hanno dato un allenamento extra specificamente su frasi di una o due parole.

I Risultati: Piccola ma Potente

Il team ha testato il loro robot contro altri famosi modelli di parlato open-source. Ecco cosa hanno scoperto:

Dimensioni: FreyaTTS è minuscola (183,2M di parametri) rispetto ai giganti come XTTS-v2 (470M) o F5-TTS (336M).
Accuratezza: In un test su 495 frasi in turco, FreyaTTS ha commesso meno errori rispetto ai modelli più grandi. Ha ottenuto un Word Error Rate (WER) dell'8,0% e un Character Error Rate (CER) del 3,0%.
- Nota: I modelli più grandi hanno ottenuto rispettivamente l'11,1% e il 24,3%.
Velocità: Poiché non deve aspettare che una parola finisca prima di iniziare la successiva, è incredibilmente veloce. Su una normale scheda grafica per consumatori, gira a un fattore di tempo reale di 0,11. Ciò significa che può generare 10 secondi di audio in soli 1,1 secondi.
Potenza da Laptop: È così efficiente che può girare più velocemente del tempo reale su una CPU di un laptop (come un Apple M3), rendendolo perfetto per telefoni o piccoli dispositivi.

Cosa Dicono Esplicitamente di NON Essere

Il documento è molto chiaro su cosa FreyaTTS non sia:

Non è un clonatore "zero-shot" che può imitare qualsiasi voce gli venga data tramite un clip. È un modello a voce singola. Ottieni l'unica voce su cui è stato addestrato, e basta.
Non è costruito su una massiccia base multilingue che cerca di parlare 50 lingue contemporaneamente. È un modello orientato al turco, specializzato per una sola lingua.
Non utilizza un "fonemizzatore" (un sistema basato su regole per convertire le lettere in suoni). Impara i suoni direttamente dall'audio.
Non è perfetto nel leggere i numeri nella loro forma scritta (come "1999"). Il documento nota che è comunque necessario espandere i numeri nella loro forma parlata (come "mille novecento novantanove") prima di darli in pasto al modello, perché il robot a volte fatica con la durata di lunghe sequenze di cifre.

Quanto sono Sicuri?

Il team è molto fiducioso in questi numeri perché non ha solo tirato a indovinare; ha misurato tutto.

Hanno costruito un benchmark specifico chiamato Freya-TR-Eval con 495 frasi.
Hanno eseguito i test 10.000 volte usando un metodo "bootstrap" per assicurarsi che i risultati non fossero frutto del caso.
Hanno confrontato il loro modello utilizzando esattamente le stesse frasi e le stesse regole di punteggio (riducendo tutto a 8 kHz per rendere il campo di gioco equo).
Hanno persino misurato la stabilità del "blocco della voce", mostrando che la variazione di pitch è scesa da 74,9 Hz a 5,0 Hz dopo i loro passaggi di addestramento.

In breve, FreyaTTS dimostra che non serve un mostro multilingue da un miliardo di dollari per creare un ottimo parlato in turco. Si può costruire un motore piccolo, specializzato, "tutto in una volta", che gira su un laptop, suona coerente e parla il turco meglio dei giganti.

Riepilogo Tecnico: FreyaTTS

Definizione del Problema

Il campo del Text-to-Speech (TTS) ha fatto progressi significativi, eppure rimane fortemente sbilanciato verso le lingue ad alte risorse come l'inglese e il cinese. Le lingue a risorse medie, nello specifico il turco, soffrono di un doppio gap:

Negligenza Linguistica: I grandi modelli multilingue trattano il turco come una lingua marginale tra decine di altre, fallendo nel tenere conto delle sue specifiche complessità linguistiche, come la morfologia agglutinante, l'armonia vocalica e l'espansione nella forma parlata di numeri e acronimi. I baseline esistenti spesso si affidano a pipeline Grapheme-to-Phoneme (G2P) fragili e costruite manualmente che faticano con queste caratteristiche.
Inefficienza Computazionale: I sistemi open-source allo stato dell'arte richiedono spesso backbone con miliardi di parametri e corpora di addestramento massicci (centinaia di migliaia o milioni di ore), rendendoli inadatti al serving su singola GPU o all'implementazione on-device.

Inoltre, i paradigmi dominanti affrontano limitazioni specifiche:

I sistemi a token discreti (es. VALL-E, CosyVoice) si affidano alla quantizzazione che scarta i dettagli acustici fini e spesso richiedono pipeline multistadio.
I modelli autoregressivi a spazio latente continuo (es. VoxCPM2) soffrono di accumulo di errori da sinistra a destra, portando a parole e numeri confusi su lunghi orizzonti temporali.

Metodologia

FreyaTTS introduce un'architettura compatta, senza tokenizer e non autoregressiva (NAR), progettata specificamente per il turco. Il sistema si basa su tre pilastri fondamentali:

1. Spazio Latente Continuo Congelato

FreyaTTS utilizza il codec AudioVAE2 (da VoxCPM2) come componente fisso e congelato.

Architettura: L'encoder mappa le forme d'onda a 16 kHz in uno spazio latente continuo a 64 dimensioni a 25 Hz. Il decoder ricostruisce l'audio a 48 kHz.
Strategia: Mantenendo il codec congelato, il modello evita di apprendere la ricostruzione della forma d'onda. Invece, l'intera capacità di 183,2 milioni di parametri è dedicata all'apprendimento della mappatura testo-latente. Ciò consente al modello di ereditare la ricostruzione a 48 kHz "gratuitamente", operando in uno spazio continuo che preserva i dettagli acustici fini senza quantizzazione discreta.

2. Generazione Non Autoregressiva Senza Tokenizer

A differenza dei modelli autoregressivi che generano token sequenzialmente, FreyaTTS impiega un Conditional Flow-Matching Diffusion Transformer (DiT).

Input: Il modello accetta testo turco grezzo tramite un vocabolario di caratteri di 92 simboli (inclusi caratteri specifici turchi come ç, ğ, ı, ö, ş, ü). Non richiede alcun front-end fonemizzatore, G2P o tokenizer del parlato discreto.
Meccanismo: Il modello apprende la pronuncia, inclusi i modi parlati di numeri e acronimi, direttamente dall'audio. Predice la durata dell'enunciato e de-noisa l'intera sequenza latente in parallelo su un numero fisso di passi ODE (32 passi).
Vantaggio: Questa generazione parallela elimina l'accumulo di errori da sinistra a destra, un modo di fallimento critico per le stringhe di cifre nei sistemi autoregressivi.

3. Ricetta di Post-Training in Due Stadi

Per trasformare il prior pre-addestrato agnostico rispetto al parlatore in un modello di produzione affidabile, gli autori utilizzano un processo di fine-tuning in due stadi:

Stadio 1: Voice Lock (SFT v1): Il modello viene sottoposto a fine-tuning su un singolo parlatore consenziente. Questo "scrive" l'identità della voce nei pesi, facendo collassare la deviazione standard della frequenza fondamentale ( $F_0$ ) inter-generazione da 74,9 Hz a 5,0 Hz.
Stadio 2: Copertura di Brevi Enunciati (SFT v2): Il modello viene ulteriormente perfezionato su segmenti estratti di una o due parole. Questo affronta i fallimenti strutturali in cui il modello faticava con token isolati, numeri nudi o brevi conferme, che sono sottorappresentati nei corpora standard a livello di frase.

Contributi Chiave

Primo TTS Turco NAR Senza Tokenizer Open Source: FreyaTTS è un modello da 183,2 milioni di parametri addestrato da zero come sistema "Turkish-first". È il primo modello TTS NAR senza tokenizer rilasciato apertamente che apprende la morfologia agglutinante e le forme parlate direttamente dall'audio senza regole G2P.
Ricetta di Hardening per la Produzione: Il paper introduce un workflow specifico pretrain-to-SFT (Voice Lock + Short-Utterance Coverage) che stabilizza l'identità del parlatore e risolve i fallimenti dei token isolati, convertendo un prior generativo in un prodotto a voce singola implementabile.
Benchmark Freya-TR-Eval: Gli autori rilasciano un benchmark turco neutrale rispetto al dominio con script di build e harness di valutazione, consentendo valutazioni riproducibili di WER/CER e MOS senza ridistribuire audio di terze parti.

Risultati Sperimentali

Valutato sul benchmark Freya-TR-Eval utilizzando un protocollo band-matched Whisper-large-v3 (sottocampionato a 8 kHz per un confronto equo):

Accuratezza: FreyaTTS raggiunge un Word Error Rate (WER) dell'8,0% e un Character Error Rate (CER) del 3,0%.
Confronto: Supera significativamente sistemi open-source molto più grandi, inclusi XTTS-v2 (470 milioni di parametri, WER 11,1%) e F5-TTS (336 milioni di parametri, WER 24,3%). Supera anche i baseline più piccoli basati su VITS come Piper (16M) e MMS-TTS (36M) in termini di naturalezza, nonostante questi modelli abbiano un WER inferiore grazie a una pronuncia altamente regolare guidata dal fonemizzatore.
Naturalezza: In uno studio di ascolto con 24 valutatori nativi turchi, FreyaTTS ha ottenuto un Mean Opinion Score (MOS) di 3,68, posizionandosi secondo solo a XTTS-v2 (3,82) e superando tutti gli altri sistemi della stessa classe.
Consistenza del Parlatore: Lo stadio di voice-lock ha ridotto la deviazione standard di $F_0$ tra le generazioni da 74,9 Hz a 5,0 Hz, eliminando efficacementamente i cambi di genere e garantendo un'identità del parlatore costante senza prompt di riferimento.

Efficienza e Implementazione

Real-Time Factor (RTF): Su GPU consumer (RTX 4090), FreyaTTS raggiunge un RTF di 0,11. Su una H100, l'RTF medio è di circa 0,14.
Edge Deployment: Il modello gira più velocemente del tempo reale su una CPU per laptop (Apple M3), con un RTF end-to-end di circa 0,12 quando compilato per Core ML.
Throughput: Con il batching statico, il modello raggiunge 65,2 secondi audio per secondo di tempo reale, superando significativamente il VoxCPM2 da 2B di parametri anche quando quest'ultimo utilizza un motore di serving a batching continuo dedicato.

Significato e Claim

Il paper posiziona FreyaTTS come una dimostrazione del fatto che un TTS di alta qualità e affidabile per le lingue a risorse medie non richiede fondamenta multilingue da miliardi di parametri. Concentrandosi su un approccio Turkish-first, utilizzando un codec ad alta fedeltà congelato e impiegando un obiettivo di flow-matching non autoregressivo, gli autori ottengono prestazioni allo stato dell'arte per la loro classe di parametri.

Gli autori affermano che FreyaTTS colma con successo il divario tra i prior generativi di grado di ricerca e i prodotti a voce singola implementabili. Il modello dimostra che un sistema compatto e senza tokenizer può gestire le complessità linguistiche del turco (agglutinazione, armonia vocalica) e i requisiti di affidabilità del parlato conversazionale (accuratezza dei numeri, consistenza del parlatore) rimanendo al contempo abbastanza efficiente per l'implementazione edge. Il rilascio del modello, del codice e del benchmark mira a fornire una solida base per la futura ricerca sul parlato turco e a basse risorse.