💬 NLP

FreyaTTS Technical Report

Freya-TTS es un modelo de texto a voz compacto, sin tokenizador y centrado en el turco que aprovecha un Transformer de Difusión de ajuste de flujo condicional no autorregresivo en un espacio latente continuo para lograr una síntesis conversacional de alta calidad en tiempo real con una eficiencia y precisión superiores en comparación con sistemas de código abierto más grandes.

Autores originales: Ahmet Erdem Pamuk, Ömer Yentür, Ahmet Tunga Bayrak, Yavuz Alp Sencer Öztürk, Mustafa Yavuz

Publicado 2026-07-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ahmet Erdem Pamuk, Ömer Yentür, Ahmet Tunga Bayrak, Yavuz Alp Sencer Öztürk, Mustafa Yavuz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres construir un robot que hable turco. La mayoría de la gente intenta construir este robot enseñándole un diccionario masivo de sonidos, descomponiendo cada palabra en piezas diminutas y predefinidas (como piezas de Lego) y luego apilando esas piezas una por una, de izquierda a derecha. Así es como funcionan muchos de los actuales robots de voz de "estado del arte". Son enormes, tardan una eternidad en construirse y, si tropiezan con una frase larga, a menudo se quedan cojos, mezclando números o alterando el orden.

El equipo de FreyaTTS decidió probar un enfoque completamente diferente, mucho más pequeño e inteligente. No construyeron un diccionario gigante ni un apilador de piezas por pieza. En su lugar, construyeron un "motor de imaginación" de 183.2 millones de parámetros que aprende a hablar turco escuchando audio y adivinando la frase completa de una sola vez, como un músico de jazz improvisando un solo completo en lugar de leer una partitura nota por nota.

Así es como funciona su truco de magia, desglosado en tres partes simples:

1. El Plano Congelado (El "AudioVAE2")

Piensa en el equipo de FreyaTTS como arquitectos que encontraron una casa perfecta, ya construida (llamada AudioVAE2), que ya sabe cómo convertir un boceto en una hermosa onda sonora de 48 kHz. Esta casa es tan buena que el equipo decidió no tocarla nunca. La dejaron congelada en su lugar.

Como no tuvieron que perder tiempo enseñando al robot cómo generar ondas sonoras, pudieron usar el 100% de su capacidad cerebral para enseñar al robot qué decir. No necesitaron un traductor (un fonemizador) para convertir letras en sonidos, ni necesitaron descomponer las palabras en pequeños tokens de sonido. Simplemente alimentaron al robot con texto puro en turco (92 símbolos, incluyendo letras especiales como ç, ğ, ı, ö, ş, ü) y dejaron que descubriera la pronunciación por su cuenta. Es como enseñar a un niño a hablar hablándole, en lugar de darle un libro de texto sobre fonética.

2. La Magia de "Todo a la Vez" (No Autoregresiva)

La mayoría de los robots de voz son como un mecanógrafo lento: escriben una letra, luego la siguiente, luego la siguiente. Si cometen un error al principio, toda la frase se vuelve ininteligible. Esto se llama generación "autoregresiva".

FreyaTTS es diferente. Es como un pintor que ve todo el lienzo y pinta la imagen completa de un solo golpe. Utiliza un Transformer de Difusión de ajuste de flujo condicional para predecir el patrón de sonido de toda la frase en paralelo.

La Analogía: Imagina que estás adivinando la voz de un amigo. En lugar de adivinar una palabra a la vez (lo que podría llevarte a adivinar la palabra incorrecta y arruinar la frase), FreyaTTS adivina el ritmo y el tono de la frase completa de una sola vez.
El Resultado: Evita la "acumulación de errores de izquierda a derecha". Si le pides que diga una lista larga de números, no se confunde a mitad de camino. Predice la duración completa y el patrón de sonido simultáneamente.

3. El "Bloqueo de Voz" (Para lograr consistencia)

Cuando entrenaron este robot desde cero, era un poco camaleónico. Cada vez que le pedías que dijera "Hola", sonaba como una persona diferente. Una vez podía sonar como un hombre de voz profunda, la siguiente como un niño de tono agudo. Esto se debía a que el robot estaba aprendiendo de una mezcla de muchas voces y no tenía una identidad específica.

Para solucionar esto, el equipo realizó un "bloqueo de voz" de dos pasos:

Etapa 1: Enseñaron al robot a imitar a una persona específica (un talento de voz profesional único). Esto colapsó la variación del tono de voz del robot de un rango salvaje de 74.9 Hz a un constante 5.0 Hz. Ahora, suena como la misma persona cada vez.
Etapa 2: Se dieron cuenta de que el robot era malo con frases cortas (como "Sí" o "No"). Así que le dieron práctica adicional específicamente en frases de una o dos palabras.

Los Resultados: Pequeño pero Poderoso

El equipo probó su robot contra otros modelos de voz de código abierto famosos. Esto es lo que encontraron:

Tamaño: FreyaTTS es diminuto (183.2M de parámetros) comparado con gigantes como XTTS-v2 (470M) o F5-TTS (336M).
Precisión: En una prueba de 495 frases en turco, FreyaTTS cometió menos errores que los modelos más grandes. Logró una Tasa de Error de Palabra (WER) del 8.0% y una Tasa de Error de Carácter (CER) del 3.0%.
- Nota: Los modelos más grandes obtuvieron 11.1% y 24.3% respectivamente.
Velocidad: Debido a que no tiene que esperar a que una palabra termine antes de comenzar la siguiente, es increíblemente rápido. En una tarjeta gráfica de consumo estándar, funciona con un factor de tiempo real de 0.11. Esto significa que puede generar 10 segundos de audio en solo 1.1 segundos.
Potencia de Laptop: Es tan eficiente que puede funcionar más rápido que el tiempo real en una CPU de laptop (como un Apple M3), lo que lo hace perfecto para teléfonos o dispositivos pequeños.

Lo que explícitamente dicen que NO es

El artículo es muy claro sobre lo que FreyaTTS no es:

No es un clonizador "zero-shot" que puede imitar cualquier voz que le des mediante un clip. Es un modelo de voz única. Obtienes la única voz para la que fue entrenado, y eso es todo.
No está construido sobre una base multilingüe masiva que intenta hablar 50 idiomas a la vez. Es un modelo especializado en turco, enfocado en un solo idioma.
No utiliza un "fonemizador" (un sistema basado en reglas para convertir letras en sonidos). Aprende los sonidos directamente del audio.
No es perfecto leyendo números en su forma escrita (como "1999"). El artículo señala que todavía es necesario expandir los números a su forma hablada (como "mil novecientos noventa y nueve") antes de pasarlos al modelo, porque el robot a veces tiene dificultades con la duración de las cadenas largas de dígitos.

¿Qué tan seguros están?

El equipo está muy seguro de estas cifras porque no solo adivinaron; lo midieron todo.

Construyeron un benchmark específico llamado Freya-TR-Eval con 495 frases.
Realizaron las pruebas 10,000 veces utilizando un método de "bootstrap" para asegurar que los resultados no fueran cuestión de suerte.
Compararon su modelo contra las mismas frases exactas usando las mismas reglas de puntuación (reduciendo todo a 8 kHz para que el campo de juego fuera equitativo).
Incluso midieron la estabilidad del "bloqueo de voz", mostrando que la variación del tono cayó de 74.9 Hz a 5.0 Hz después de sus pasos de entrenamiento.

En resumen, FreyaTTS demuestra que no necesitas un monstruo multibilingüe de mil millones de dólares para crear un gran habla en turco. Puedes construir un motor pequeño, especializado y de "todo a la vez" que se ejecute en una laptop, suene consistente y hable turco mejor que los gigantes.

Resumen Técnico: FreyaTTS

Declaración del Problema

El campo de la Conversión de Texto a Voz (TTS) ha avanzado significativamente, pero sigue estando fuertemente sesgado hacia idiomas de altos recursos como el inglés y el chino. Los idiomas de recursos medios, específicamente el turco, sufren un doble vacío:

Negligencia Lingüística: Los grandes modelos multilingües tratan al turco como un idioma marginal entre docenas, sin tener en cuenta sus complejidades lingüísticas específicas, como la morfología aglutinante, la armonía vocálica y la expansión de la forma hablada de números y acrónimos. Las líneas base existentes suelen depender de pipelines de grafema a fonema (G2P) frágiles y construidos manualmente que luchan con estas características.
Ineficiencia Computacional: Los sistemas de vanguardia abiertos a menudo requieren backbones de miles de millones de parámetros y corpus de entrenamiento masivos (cientos de miles a millones de horas), lo que los hace inadecuados para el servicio en una sola GPU o para el despliegue en dispositivos.

Además, los paradigmas dominantes enfrentan limitaciones específicas:

Sistemas de tokens discretos (p. ej., VALL-E, CosyVoice) dependen de la cuantización que descarta el detalle acústico fino y a menudo requieren pipelines de múltiples etapas.
Modelos de latente continuo autorregresivos (p. ej., VoxCPM2) sufren de acumulación de errores de izquierda a derecha, lo que provoca palabras y números distorsionados en horizontes largos.

Metodología

FreyaTTS introduce una arquitectura compacta, sin tokenizador y no autorregresiva (NAR) diseñada específicamente para el turco. El sistema se basa en tres pilos fundamentales:

1. Espacio Latente Continuo Congelado

FreyaTTS utiliza el codec AudioVAE2 (de VoxCPM2) como un componente fijo y congelado.

Arquitectura: El codificador mapea formas de onda de 16 kHz a un espacio latente continuo de 64 dimensiones a 25 Hz. El decodificador reconstruye el audio a 48 kHz.
Estrategia: Al mantener el codec congelado, el modelo evita aprender la reconstrucción de la forma de onda. En su lugar, toda la capacidad de 183.2 millones de parámetros se dedica a aprender el mapeo de texto a latente. Esto permite que el modelo herede la reconstrucción de 48 kHz "gratis" mientras opera en un espacio continuo que preserva los detalles acústicos finos sin cuantización discreta.

2. Generación No Autoregresiva Sin Tokenizador

A diferencia de los modelos autorregresivos que generan tokens secuencialmente, FreyaTTS emplea un Transformer de Difusión de Coincidencia de Flujo Condicional (DiT).

Entrada: El modelo acepta texto en turco bruto a través de un vocabulario de caracteres de 92 símbolos (incluyendo caracteres turcos específicos como ç, ğ, ı, ö, ş, ü). No requiere un fonemizador, un frontend G2P o un tokenizador de voz discreto.
Mecanismo: El modelo aprende la pronunciación, incluyendo las formas habladas de números y acrónimos, directamente del audio. Predice la duración de la locución y denota toda la secuencia latente en paralelo sobre un número fijo de pasos de ODE (32 pasos).
Ventaja: Esta generación paralela elimina la acumulación de errores de izquierda a derecha, un modo de falla crítico para cadenas de dígitos en sistemas autorregresivos.

3. Receta de Post-Entrenamiento de Dos Etapas

Para transformar el prior pre-entrenado agnóstico al hablante en un modelo de producción confiable, los autores emplean un proceso de ajuste fino de dos etapas:

Etapa 1: Bloqueo de Voz (SFT v1): El modelo se ajusta finamente en un único hablante consentido. Esto "escribe" la identidad de la voz en los pesos, colapsando la desviación estándar de la frecuencia fundamental ( $F_0$ ) de la generación cruzada de 74.9 Hz a 5.0 Hz.
Etapa 2: Cobertura de Utterances Cortas (SFT v2): El modelo se ajusta aún más en segmentos de una o dos palabras extraídos. Esto aborda fallas estructurales donde el modelo tenía dificultades con tokens aislados, números puros o agradecimientos cortos, que están subrepresentados en los corpus estándar de nivel de oración.

Contribuciones Clave

Primer TTS en Turco NAR Sin Tokenizador y Abierto: FreyaTTS es un modelo de 183.2 millones de parámetros entrenado desde cero como un sistema centrado en el turco. Es el primer modelo de TTS NAR sin tokenizador liberado abiertamente que aprende la morfología aglutinante y las formas habladas directamente del audio sin reglas G2P.
Receta de Endurecimiento para Producción: El artículo introduce un flujo de trabajo específico de preentrenamiento-a-SFT (Bloqueo de Voz + Cobertura de Utterances Cortas) que estabiliza la identidad del hablante y resuelve las fallas de tokens aislados, convirtiendo un prior generativo en un producto de voz única desplegable.
Benchmark Freya-TR-Eval: Los autores lanzan un benchmark de turco de dominio neutral con 495 oraciones, scripts de construcción sembrados y herramientas de evaluación, permitiendo evaluaciones reproducibles de WER/CER y MOS sin redistribuir audio de terceros.

Resultados Experimentales

Evaluado en el benchmark Freya-TR-Eval utilizando un protocolo de Whisper-large-v3 con coincidencia de banda (reducido a 8 kHz para una comparación justa):

Precisión: FreyaTTS logra una Tasa de Error de Palabra (WER) de 8.0% y una Tasa de Error de Carácter (CER) de 3.0%.
Comparación: Supera significativamente a sistemas de código abierto mucho más grandes, incluyendo XTTS-v2 (470M de parámetros, WER 11.1%) y F5-TTS (336M de parámetros, WER 24.3%). También supera a las líneas base más pequeñas basadas en VITS como Piper (16M) y MMS-TTS (36M) en naturalidad, a pesar de que esos modelos tienen un WER más bajo debido a una pronunciación altamente regular impulsada por fonemizadores.
Naturalidad: En un estudio de escucha con 24 evaluadores nativos de turco, FreyaTTS alcanzó una Puntuación Media de Opinión (MOS) de 3.68, situándose solo por detrás de XTTS-v2 (3.82) y superando a todos los demás sistemas de su clase.
Consistencia del Hablante: La etapa de bloqueo de voz redujo la desviación estándar de $F_0$ a través de las generaciones de 74.9 Hz a 5.0 Hz, eliminando efectivamente los cambios de género y asegurando una identidad de hablante consistente sin necesidad de prompts de referencia.

Eficiencia y Despliegue

Factor de Tiempo Real (RTF): En GPUs de consumo (RTX 4090), FreyaTTS logra un RTF de 0.11. En una H100, el RTF medio es aproximadamente 0.14.
Despliegue en el Borde (Edge): El modelo se ejecuta más rápido que el tiempo real en una CPU de laptop (Apple M3), con un RTF de extremo a extremo de aproximadamente 0.12 cuando se compila para Core ML.
Rendimiento (Throughput): Con batching estático, el modelo logra 65.2 segundos de audio por segundo de pared, superando significativamente al VoxCPM2 de 2B de parámetros incluso cuando este último utiliza un motor de servicio de continuous-batching dedicado.

Significado y Reivindicaciones

El artículo posiciona a FreyaTTS como una demostración de que un TTS de alta calidad y confiable para idiomas de recursos medios no requiere bases multilingües de miles de millones de parámetros. Al enfocarse en un enfoque primero para el turco, utilizando un codec de alta fidelidad congelado y empleando un objetivo de coincidencia de flujo no autorregresivo, los autores logran un rendimiento de vanguardia para su clase de parámetros.

Los autores afirman que FreyaTTS cierra con éxito la brecha entre los priors generativos de grado de investigación y los productos de voz única desplegables. El modelo demuestra que un sistema compacto y sin tokenizador puede manejar las complejidades lingüísticas del turco (aglutinación, armonía vocálica) y los requisitos de confiabilidad del habla conversacional (precisión de dígitos, consistencia del hablante) manteniéndose eficiente para el despliegue en el borde. El lanzamiento del modelo, el código y el benchmark tiene como objetivo proporcionar una base sólida para la futura investigación de voz en turco y otros idiomas de bajos recursos.