💬 NLP

FreyaTTS Technical Report

O Freya-TTS é um modelo de texto para fala compacto, livre de tokenizadores e prioritariamente em turco, que utiliza um Transformer de Difusão de correspondência de fluxo condicional não autorregressivo em um espaço latente contínuo para alcançar uma síntese conversacional de alta qualidade e em tempo real com eficiência e precisão superiores em comparação com sistemas de código aberto maiores.

Autores originais: Ahmet Erdem Pamuk, Ömer Yentür, Ahmet Tunga Bayrak, Yavuz Alp Sencer Öztürk, Mustafa Yavuz

Publicado 2026-07-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ahmet Erdem Pamuk, Ömer Yentür, Ahmet Tunga Bayrak, Yavuz Alp Sencer Öztürk, Mustafa Yavuz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer construir um robô que fale turco. A maioria das pessoas tenta construir esse robô ensinando-lhe um dicionário massivo de sons, decompondo cada palavra em pequenas peças pré-definidas (como blocos de Lego) e depois empilhando esses blocos um a um, da esquerda para a direita. É assim que muitos robôs de fala "estado da arte" atuais funcionam. Eles são enormes, levam uma eternidade para serem construídos e, se tropeçarem em uma frase longa, muitas vezes tropeçam nos próprios pés, confundindo números ou errando a ordem.

A equipe do FreyaTTS decidiu tentar uma abordagem completamente diferente, muito menor e mais inteligente. Eles não construíram um dicionário gigante ou um empilhador de blocos um por um. Em vez disso, construíram um "motor de imaginação" de 183,2 milhões de parâmetros que aprende a falar turco ouvindo áudio e adivinhando a frase inteira de uma vez, como um músico de jazz improvisando um solo completo em vez de ler uma partitura nota por nota.

Aqui está como o truque de mágica deles funciona, dividido em três partes simples:

1. O Projeto Congelado (O "AudioVAE2")

Pense na equipe do FreyaTTS como arquitetos que encontraram uma casa perfeita, pré-construída (chamada AudioVAE2), que já sabe transformar um esboço em uma bela onda sonora de 48 kHz. Esta casa é tão boa que a equipe decidiu nunca tocá-la. Eles a congelaram no lugar.

Como não precisaram perder tempo ensinando ao robô como fazer ondas sonoras, puderam usar 100% de sua capacidade cerebral para ensinar ao robô o que dizer. Eles não precisaram de um tradutor (um fonetizador) para transformar letras em sons, e não precisaram decompor palavras em pequenos tokens de som. Eles apenas alimentaram o robô com texto bruto em turco (92 símbolos, incluindo letras especiais como ç, ğ, ı, ö, ş, ü) e deixaram que ele descobrisse a pronúncia por conta própria. É como ensinar uma criança a falar conversando com ela, em vez de dar um livro didático de fonética.

2. A Magia de "Tudo de uma Vez" (Não Autoregressiva)

A maioria dos robôs de fala é como um digitador lento: ele digita uma letra, depois a próxima, depois a próxima. Se cometer um erro no início, a frase inteira fica distorcida. Isso é chamado de geração "autoregressiva".

O FreyaTTS é diferente. É como um pintor que vê toda a tela e pinta o quadro inteiro de uma só vez. Ele utiliza um Transformer de Difusão de correspondência de fluxo condicional para prever o padrão sonoro de toda a frase em paralelo.

A Analogia: Imagine que você está tentando adivinhar a voz de um amigo. Em vez de adivinhar uma palavra de cada vez (o que poderia levar você a adivinhar a palavra errada e arruinar a frase), o FreyaTTS adivinha o ritmo e o tom de toda a frase de uma só vez.
O Resultado: Ele evita a "acumulação de erros da esquerda para a direita". Se você pedir para ele dizer uma lista longa de números, ele não ficará confuso no meio do caminho. Ele prevê toda a duração e todo o padrão sonoro simultaneamente.

3. O "Bloqueio de Voz" (Para manter a consistência)

Quando treinaram este robô do zero, ele era um pouco camaleônico. Cada vez que você pedia para dizer "Olá", parecia uma pessoa diferente. Uma vez podia soar como um homem de voz grave, na próxima como uma criança de voz aguda. Isso acontecia porque o robô estava aprendendo com uma mistura de muitas vozes e não tinha uma identidade específica.

Para corrigir isso, a equipe realizou um "bloqueio de voz" em duas etapas:

Estágio 1: Eles ensinaram o robô a imitar uma pessoa específica (um único talento de voz profissional). Isso colapsou a variação de tom do robô de um intervalo selvagem de 74,9 Hz para um constante 5,0 Hz. Agora, soa como a mesma pessoa todas as vezes.
Estágio 2: Eles perceberam que o robô era ruim com frases curtas (como "Sim" ou "Não"). Então, deram a ele prática extra especificamente em frases de uma ou duas palavras.

Os Resultados: Pequeno, mas Poderoso

A equipe testou seu robô contra outros modelos de fala de código aberto famosos. Aqui está o que descobriram:

Tamanho: O FreyaTTS é minúsculo (183,2M de parâmetros) comparado a gigantes como o XTTS-v2 (470M) ou o F5-TTS (336M).
Precisão: Em um teste de 495 frases em turco, o FreyaTTS cometeu menos erros do que os modelos maiores. Ele alcançou uma Taxa de Erro de Palavra (WER) de 8,0% e uma Taxa de Erro de Caractere (CER) de 3,0%.
- Nota: Os modelos maiores obtiveram 11,1% e 24,3%, respectivamente.
Velocidade: Como não precisa esperar uma palavra terminar antes de começar a próxima, ele é incrivelmente rápido. Em uma placa gráfica de consumo padrão, ele roda com um fator de tempo real de 0,11. Isso significa que pode gerar 10 segundos de áudio em apenas 1,1 segundo.
Potência de Laptop: É tão eficiente que pode rodar mais rápido que o tempo real em uma CPU de laptop (como um Apple M3), tornando-o perfeito para telefones ou dispositivos pequenos.

O Que Eles Dizem Explicitamente Que NÃO É

O artigo é muito claro sobre o que o FreyaTTS não é:

Não é um clonador "zero-shot" que pode imitar qualquer voz que você lhe dê através de um clipe. É um modelo de voz única. Você recebe a voz única para a qual ele foi treinado, e pronto.
Não é construído sobre uma base multilíngue massiva que tenta falar 50 idiomas ao mesmo tempo. É um modelo focado no turco, especializado para um único idioma.
Não utiliza um "fonetizador" (um sistema baseado em regras para converter letras em sons). Ele aprende os sons diretamente do áudio.
Não é perfeito ao ler números em sua forma escrita (como "1999"). O artigo observa que você ainda precisa expandir os números para sua forma falada (como "mil novecentos e noventa e nove") antes de alimentá-los ao modelo, porque o robô às vezes tem dificuldade com a duração de sequências longas de dígitos.

O Quão Certo Eles Estão?

A equipe está muito confiante nesses números porque eles não apenas adivinharam; eles mediram tudo.

Eles construíram um benchmark específico chamado Freya-TR-Eval com 495 frases.
Eles realizaram os testes 10.000 vezes usando um método de "bootstrap" para garantir que os resultados não fossem apenas sorte.
Eles compararam seu modelo contra as mesmas frases usando exatamente as mesmas regras de pontuação (reduzindo tudo para 8 kHz para que o campo de jogo fosse nivelado).
Eles até mediram a estabilidade do "bloqueio de voz", mostrando que a variação de tom caiu de 74,9 Hz para 5,0 Hz após as etapas de treinamento.

Em resumo, o FreyaTTS prova que você não precisa de um monstro bilionário e multilíngue para criar uma fala excelente em turco. Você pode construir um motor pequeno, especializado, que funciona em um laptop, soa consistente e fala turco melhor do que os gigantes.

Resumo Técnico: FreyaTTS

Declaração do Problema

O campo da Conversão de Texto em Fala (TTS) avançou significativamente, mas permanece fortemente inclinado para línguas de alto recurso, como o inglês e o chinês. Línguas de recurso médio, especificamente o turco, sofrem de uma dupla lacuna:

Negligência Linguística: Modelos multilíngues de grande escala tratam o turco como uma língua marginal entre dezenas de outras, falhando em considerar suas complexidades linguísticas específicas, como a morfologia aglutinante, a harmonia vocálica e a expansão da forma falada de números e acrônimos. Os baselines existentes dependem frequentemente de pipelines de grafema-para-fonema (G2P) frágeis e construídos manualmente que lutam com essas características.
Ineficiência Computacional: Sistemas abertos de última geração frequentemente exigem backbones de bilhões de parâmetros e corpora de treinamento massivos (centenas de milhares a milhões de horas), tornando-os inadequados para o serviço em GPU única ou implantação em dispositivos.

Além disso, os paradigmas dominantes enfrentam limitações específicas:

Sistemas de tokens discretos (ex: VALL-E, CosyVoice) dependem de quantização que descarta detalhes acústicos finos e frequentemente requerem pipelines de múltiplos estágios.
Modelos de latente contínuo autorregressivos (ex: VoxCPM2) sofrem de acúmulo de erro da esquerda para a direita, levando a números e palavras embaralhadas em horizontes longos.

Metodologia

O FreyaTTS introduz uma arquitetura compacta, livre de tokenizer e não-autorregressiva (NAR), projetada especificamente para o turco. O sistema é construído sobre três pilares principais:

1. Espaço Latente Contínuo Congelado

O FreyaTTS utiliza o codec AudioVAE2 (do VoxCPM2) como um componente fixo e congelado.

Arquitetura: O codificador mapeia formas de onda de 16 kHz para um espaço latente contínuo de 64 dimensões a 25 Hz. O decodificador reconstrói o áudio a 48 kHz.
Estratégia: Ao manter o codec congelado, o modelo evita aprender a reconstrução da forma de onda. Em vez disso, toda a capacidade de 183,2M de parâmetros é dedicada a aprender o mapeamento texto-para-latente. Isso permite que o modelo herde a reconstrução de 48 kHz "gratuitamente", enquanto opera em um espaço contínuo que preserva detalhes acústicos finos sem quantização discreta.

2. Geração Não-Autorregressiva Livre de Tokenizer

Ao contrário dos modelos autorregressivos que geram tokens sequencialmente, o FreyaTTS emprega um Transformer de Difusão de Correspondência de Fluxo Condicional (Conditional Flow-Matching Diffusion Transformer - DiT).

Entrada: O modelo aceita texto bruto em turco via um vocabulário de caracteres de 92 símbolos (incluindo caracteres turcos específicos como ç, ğ, ı, ö, ş, ü). Ele não requer um fonemizador, frontend G2P ou tokenizer de fala discreto.
Mecanismo: O modelo aprende a pronúncia, incluindo as formas faladas de números e acrônimos, diretamente do áudio. Ele prevê a duração da emissão e remove o ruído de toda a sequência latente em paralelo ao longo de um número fixo de passos de ODE (32 passos).
Vantagem: Essa geração paralela elimina o acúmulo de erro da esquerda para a direita, um modo de falha crítico para sequências de dígitos em sistemas autorregressivos.

3. Receita de Pós-Treinamento de Dois Estágios

Para transformar o prior pré-treinado agnóstico ao locutor em um modelo de produção confiável, os autores empregam um processo de ajuste fino de dois estágios:

Estágio 1: Bloqueio de Voz (SFT v1): O modelo é ajustado em um único locutor consentido. Isso "escreve" a identidade da voz nos pesos, colapsando o desvio padrão da frequência fundamental ( $F_0$ ) da geração cruzada de 74,9 Hz para 5,0 Hz.
Estágio 2: Cobertura de Curtas Emissões (SFT v2): O modelo é adicionalmente ajustado em segmentos minerados de uma ou duas palavras. Isso aborda falhas estruturais onde o modelo tinha dificuldade com tokens isolados, números puros ou breves reconhecimentos, que são sub-representados em corpora padrão de nível de frase.

Principais Contribuições

Primeiro TTS Turco NAR Livre de Tokenizer de Código Aberto: O FreyaTTS é um modelo de 183,2M de parâmetros treinado do zero como um sistema focado no turco. É o primeiro modelo de TTS NAR livre de tokenizer lançado abertamente que aprende morfologia aglutinante e formas faladas diretamente do áudio sem regras de G2P.
Receita de Endurecimento para Produção: O artigo introduz um fluxo de pré-treino-para-SFT (Bloqueio de Voz + Cobertura de Curtas Emissões) que estabiliza a identidade do locutor e resolve falhas de tokens isolados, convertendo um prior generativo em um produto de voz única implantável.
Benchmark Freya-TR-Eval: Os autores lançam um benchmark de domínio neutro de 495 frases em turco com scripts de construção semeados e mecanismos de avaliação, permitindo a avaliação reprodutível de WER/CER e MOS sem redistribuir áudios de terceiros.

Resultados Experimentais

Avaliado no benchmark Freya-TR-Eval usando um protocolo Whisper-large-v3 com correspondência de banda (reduzido para 8 kHz para comparação justa):

Precisão: O FreyaTTS alcança uma Taxa de Erro de Palavra (WER) de 8,0% e uma Taxa de Erro de Caractere (CER) de 3,0%.
Comparação: Supera significativamente sistemas de código aberto maiores, incluindo o XTTS-v2 (470M de parâmetros, WER 11,1%) e o F5-TTS (336M de parâmetros, WER 24,3%). Também supera baselines menores baseados em VITS, como Piper (16M) e MMS-TTS (36M), em naturalidade, apesar de esses modelos possuírem WER mais baixo devido à pronúncia altamente regular e dirigida por fonemizador.
Naturalidade: Em um estudo de escuta com 24 avaliadores nativos de turco, o FreyaTTS alcançou uma Média de Opinião (MOS) de 3,68, ficando em segundo lugar apenas para o XTTS-v2 (3,82) e superando todos os outros sistemas da mesma classe.
Consistência do Locutor: O estágio de bloqueio de voz reduziu o desvio padrão de $F_0$ entre as gerações de 74,9 Hz para 5,0 Hz, eliminando efetivamente trocas de gênero e garantindo uma identidade de locutor consistente sem prompts de referência.

Eficiência e Implantação

Fator de Tempo Real (RTF): Em GPUs de consumo (RTX 4090), o FreyaTTS alcança um RTF de 0,11. Em uma H100, o RTF médio é de aproximadamente 0,14.
Implantação na Borda (Edge): O modelo roda mais rápido que o tempo real em um laptop CPU (Apple M3), com um RTF de ponta a ponta de aproximadamente 0,12 quando compilado para Core ML.
Vazão (Throughput): Com loteamento estático, o modelo alcança 65,2 segundos de áudio por segundo de parede, superando significativamente o VoxCPM2 de 2B de parâmetros, mesmo quando este último utiliza um motor de serviço de loteamento contínuo dedicado.

Significância e Alegações

O artigo posiciona o FreyaTTS como uma demonstração de que um TTS de alta qualidade e confiável para línguas de recurso médio não requer fundações multilíngues de bilhões de parâmetros. Ao focar em uma abordagem "primeiro o turco", utilizando um codec de alta fidelidade congelado e empregando um objetivo de correspondência de fluxo não-autorregressivo, os autores alcançam desempenho de última geração para sua classe de parâmetros.

Os autores afirmam que o FreyaTTS consegue preencher a lacuna entre priors generativos de nível de pesquisa e produtos de voz única implantáveis. O modelo prova que um sistema compacto e livre de tokenizer pode lidar com as complexidades linguísticas do turco (aglutinação, harmonia vocálica) e os requisitos de confiabilidade da fala conversacional (precisão de dígitos, consistência de locutor), permanecendo eficiente o suficiente para implantação em dispositivos de borda. O lançamento do modelo, código e benchmark visa fornecer uma base sólida para futuras pesquisas de fala em turco e em línguas de baixo recurso.