JaiTTS: A Thai Voice Cloning Model

1. Declaração do Problema

O artigo aborda três lacunas críticas na tecnologia atual de Texto para Fala (TTS), especificamente em relação à língua tailandesa:

• Viés Centrado no Inglês: A maioria dos modelos TTS de última geração, tanto de código aberto quanto comerciais, é altamente otimizada para o inglês. Embora existam modelos multilíngues (por exemplo, Qwen3-TTS), eles frequentemente sofrem com erros de pronúncia e prosódia em tailandês devido à escassez de dados tailandeses em seus corpora de treinamento.
• Limitações dos Modelos Tailandeses Existentes: Sistemas dedicados ao tailandês (por exemplo, ThonburianTTS) são frequentemente limitados em capacidades de clonagem de voz zero-shot e lutam com a geração de fala de longa duração porque são treinados em conjuntos de dados dominados por enunciados curtos.
• Requisitos Complexos de Pré-processamento: Pipelines TTS tradicionais em tailandês dependem fortemente de normalização de texto complexa para lidar com números e alternância de código frequente entre tailandês e inglês (comum no uso do mundo real). Isso adiciona complexidade à implantação e pontos potenciais de falha.
• Limitações de Codecs: Modelos autorregressivos recentes que usam codecs de áudio discretos (como X-codec2) carecem de capacidade verificada de reconstruir contrastes fonéticos específicos do tailandês, como tons lexicais e grupos de consoantes, uma vez que seus dados de treinamento supostamente excluem o tailandês.

2. Metodologia

Os autores apresentam o JaiTTS-v1.0, um modelo de clonagem de voz de última geração adaptado do VoxCPM. O sistema é projetado para ser livre de tokenizadores, contornando completamente codecs de áudio externos.

Visão Geral da Arquitetura

O modelo opera por meio de um pipeline hierárquico de quatro componentes principais (ilustrado na Figura 1 do artigo):

1. Modelo de Linguagem Semântica de Texto (TSLM): Um Transformer apenas decodificador (inicializado a partir do MiniCPM-4) que condiciona texto tokenizado e contexto acústico histórico. Ele gera uma representação semântico-prosódica contínua, capturando conjuntamente conteúdo e estilo de entrega.
2. Quantização Escalar Finita (FSQ): Esta camada comprime a saída contínua do TSLM em um "esqueleto semi-discreto". Atua como um regularizador, estabilizando o sinal de planejamento enquanto mantém a diferenciabilidade por meio de um estimador direto.
3. Modelo de Linguagem Acústica Residual (RALM): Um Transformer apenas decodificador que refina o esqueleto semi-discreto. Especializa-se em expressividade acústica e características do falante, adicionando detalhes que o gargalo discreto não pode representar.
4. Transformador de Difusão Local (LocDiT): Um Transformer bidirecional que decodifica os patches latentes de fala contínuos finais. Usa remoção de ruído por correspondência de fluxo, condicionado ao sinal combinado do esqueleto FSQ e resíduos RALM, bem como ao patch de áudio anterior para garantir continuidade entre patches.
5. Preditor de Parada: Um cabeçalho leve que prevê o fim da sequência para encerrar a geração.

Estratégia de Treinamento

• Dados: Treinado em um corpus centrado no tailandês de ~10.000 horas, combinando fala conversacional/formal geral com conteúdo específico de domínio (Finanças, Saúde, Educação, Direito).
• Processamento Direto: O modelo é treinado para processar texto bruto diretamente, lidando com alternância de código tailandês-inglês e numerais sem normalização de texto explícita.
• Objetivo: O sistema é otimizado de ponta a ponta usando uma função de perda combinada de Correspondência de Fluxo (para o processo de difusão) e Entropia Cruzada Binária (para o preditor de parada).

3. Principais Contribuições

• Primeiro Clonador de Voz Tailandês de Alto Desempenho: O JaiTTS-v1.0 é o primeiro modelo a alcançar desempenho de última geração (SOTA) em clonagem de voz em tailandês, superando a verdade fundamental humana em tarefas de curta duração e igualando-a em tarefas de longa duração.
• Arquitetura Livre de Tokenizadores: Ao adaptar o VoxCPM, o modelo evita as limitações de reconstrução fonética de codecs de áudio discretos, permitindo uma modelagem mais precisa de tons e grupos do tailandês.
• Robustez a Entradas do Mundo Real: O modelo elimina a necessidade de pipelines complexos de normalização de texto, sintetizando fala diretamente a partir de texto bruto contendo idiomas mistos e números.
• Novo Benchmark: Os autores introduzem um novo framework de avaliação dividindo tarefas em Curta Duração (1–15s) e Longa Duração (16–30s) para refletir melhor casos de uso do mundo real e testar a estabilidade ao longo do tempo.

4. Resultados Experimentais

Métricas Objetivas

• Tarefas de Curta Duração: O JaiTTS-v1.0 alcançou uma Taxa de Erro de Caracteres (CER) de 1,94%, superando a verdade fundamental humana (1,98%) e superando todas as linhas de base (Qwen3-TTS-1.7B: 2,56%; ThonburianTTS: 6,26%).
• Tarefas de Longa Duração: O modelo manteve um CER de 2,55%, igualando de perto o desempenho humano (2,47%). Em contraste, o Qwen3-TTS-1.7B degradou para 3,64%, e o ThonburianTTS falhou em gerar saída sensata.
• Semelhança do Falante (SIM): Alcançou uma SIM competitiva de 0,62 para tarefas curtas e 0,76 para tarefas longas.

Eficiência

• Fator de Tempo Real (RTF): O JaiTTS-v1.0 alcançou um RTF de 0,1136, o que significa que gera fala quase 9 vezes mais rápido que o tempo real. Isso é aproximadamente 13 vezes mais rápido que os modelos autorregressivos Qwen3-TTS (RTF > 1,5) e ligeiramente mais rápido que o não autorregressivo ThonburianTTS (0,1150).

Avaliação de Julgamento Humano

• Comparação: Testado contra os principais produtos comerciais ElevenLabs (eleven_v3) e MiniMax (speech-2.8-hd).
• Resultado: Em 400 comparações pareadas, o JaiTTS-v1.0 venceu 283 vezes, empatou 59 vezes e perdeu apenas 58 vezes.
• Preferência: Juízes humanos preferiram o JaiTTS-v1.0 aproximadamente 70% das vezes, citando superioridade em naturalidade, inteligibilidade (especialmente com alternância de código/números) e semelhança do falante.

5. Significado

O JaiTTS-v1.0 representa um grande avanço no TTS para línguas de recursos limitados. Demonstra que arquiteturas autorregressivas livres de tokenizadores podem superar tanto modelos multilíngues tradicionais quanto modelos dedicados a línguas pequenas quando treinados em dados de alta qualidade e diversificados por domínio.

Sua capacidade de lidar com texto bruto com alternância de código e números sem normalização simplifica significativamente os pipelines de implantação. Além disso, seu desempenho superior na geração de longa duração aborda um ponto crítico de falha em modelos existentes, tornando-o viável para aplicações como audiolivros, criação de conteúdo de formato longo e sistemas de diálogo complexos. O modelo estabelece um novo benchmark para síntese de fala em tailandês, provando que dados de treinamento especializados e de alta qualidade podem superar as limitações de modelos multilíngues generalistas.