Resumo Técnico: PilotTTS

Declaração do Problema

A trajetória atual dos sistemas de Texto para Voz (TTS) mais avançados depende fortemente de conjuntos de dados proprietários massivos (milhões de horas) e de arquiteturas cada vez mais complexas que envolvem tokenizadores de múltiplos livros de códigos, pipelines de múltiplos estágios e submodelos especializados. Essa tendência cria barreiras significativas para equipes de pesquisa com recursos limitados e para implantações comerciais, pois a aquisição e o processamento de tais dados exigem infraestrutura substancial, enquanto a complexidade arquitetural inflaciona o esforço de engenharia e os custos de implantação. Além disso, recursos avançados de controlabilidade (emoção, paralinguagem, dialetos) são frequentemente desenvolvidos como sistemas separados, fragmentando a expertise. O artigo postula que há necessidade de uma alternativa menos complexa e reprodutível que alcance desempenho competitivo por meio de engenharia de dados rigorosa e componentes de código aberto bem integrados, em vez de novidade arquitetural ou escala extrema de dados.

Metodologia

O PilotTTS é um sistema TTS autoregressivo e leve, projetado para alcançar alto desempenho com aproximadamente 200.000 horas de dados de treinamento, processados inteiramente com ferramentas de código aberto. O sistema compreende quatro componentes principais:

1. Pipeline de Processamento de Dados

Um pipeline reprodutível de três estágios, construído a partir de módulos publicamente disponíveis, transforma áudio bruto da internet em um conjunto de dados limpo e anotado:

• Avaliação e Aprimoramento de Qualidade: O áudio é padronizado, segmentado por meio de Detecção de Atividade de Fala (SAD) e Detecção de Mudança de Falante (SCD), e avaliado quanto à qualidade usando DNSMOS, classificação de fala/não-fala e estimativa de SNR. Segmentos de baixa qualidade passam por remoção de ruído e aprimoramento.
• Anotação de Rótulos: O áudio é transcrito usando múltiplos sistemas ASR (Paraformer, FireRedASR, Whisper) para consistência entre sistemas. São aplicadas detecção de fala sobreposta, alinhamento forçado e anotação de prosódia (via Qwen3-Force-Alignment). A identificação de falantes é realizada usando o 3D-Speaker-Toolkit, e a análise de rolloff espectral filtra gravações de baixa largura de banda.
• Filtragem de Qualidade: As amostras são filtradas com base em truncamento, detecção de fala sintética e uma agregação abrangente de qualidade acústica, validade da fala e metadados. Isso resulta em aproximadamente 200 mil horas de dados de alta qualidade em chinês e inglês.

2. Arquitetura do Modelo

• Tokenizador de Fala: Utiliza a Quantização Escalar Finita (FSQ) de livro de códigos único do CosyVoice 3, operando a 25 Hz com um tamanho de livro de códigos de 6.561. É pré-treinado em objetivos de múltiplas tarefas (ASR, LID, SER, AED, SA) para codificar atributos linguísticos e paralinguísticos.
• Módulo Autoregressivo de Texto para Semântica: Construído sobre o modelo de linguagem Qwen3 (0,6 bilhão de parâmetros). Emprega um mecanismo de condicionamento desacoplado:
  • Um encoder CAMPPlus congelado extrai um embedding estático de identidade do falante.
  • Um Adaptador de Conteúdo Semântico baseado em Q-Former extrai dicas dinâmicas de estilo de fala e prosódia do áudio de referência (usando embeddings w2v-BERT).
  • Treinamento pareado entre amostras é usado para forçar o condicionador a codificar a identidade do falante independentemente do conteúdo, facilitando a clonagem zero-shot e a controlabilidade.
• Decodificador de Fala: Um decodificador de Correspondência de Fluxo Condicional (CFM) com um backbone Transformer de Difusão (DiT) (300 milhões de parâmetros) sintetiza espectrogramas mel a partir de tokens semânticos, embeddings de falante e espectrogramas mel de referência.
• Vocodedor: Um HiFi-GAN converte os espectrogramas mel gerados em formas de onda.

3. Estratégias de Controlabilidade

• Controle de Emoção: Alcançado por meio de pós-treinamento em aproximadamente 2.200 horas de dados rotulados por emoção, suportando 11 categorias (7 principais, 4 estendidas).
• Síntese Paralinguística: Suporta risadas, respiração, choro e tosse por meio de ajuste fino supervisionado em aproximadamente 200 horas de dados. Inclui um modo único de "risada envolta" (LAUGH_SPAN).
• Síntese de Dialetos: Aborda a escassez de dados construindo pares paralelos "dialeto–Mandarim" e empregando amostragem de prompts mistos durante o ajuste fino em aproximadamente 16.000 horas de dados dialetais.

Contribuições Principais

1. Pipeline de Dados Reprodutível: Um pipeline de múltiplos estágios montado inteiramente com ferramentas de código aberto que permite às equipes construir conjuntos de dados de treinamento de alta qualidade a partir de áudio bruto da internet com custo reduzido.
2. Arquitetura Compacta com Condicionamento Desacoplado: Um mecanismo de condicionamento baseado em Q-Former, acoplado a treinamento entre amostras, que efetivamente desacopla a identidade do falante do estilo de fala, alcançando alta similaridade de falante e precisão de conteúdo com dados limitados.
3. Controlabilidade Multidimensional: Um framework unificado que suporta clonagem de voz zero-shot, síntese de emoção (11 categorias), síntese paralinguística (4 categorias + risada envolta) e síntese de dialetos chineses (14 dialetos) por meio de pós-treinamento direcionado.

Resultados Experimentais

Avaliado no benchmark Seed-TTS Eval e em tarefas específicas de controlabilidade:

• Geração Zero-Shot: O PilotTTS alcançou a maior similaridade de falante tanto nos conjuntos de teste em chinês (0,862) quanto em inglês (0,815), superando sistemas treinados em conjuntos de dados significativamente maiores. Alcançou a menor Taxa de Erro de Palavras (WER) em inglês (1,50%) e uma Taxa de Erro de Caracteres (CER) de 0,87% em chinês, ficando em segundo lugar apenas atrás do MiniMax-Speech (0,83%) neste último.
• Controle de Emoção: Alcançou uma taxa de sucesso média de 88,1% em emoções principais, superando o CosyVoice 3 (83,8%). Mantive a maior similaridade de falante sob condições de controle de emoção (0,7329) com a menor queda em comparação à síntese neutra.
• Paralinguagem: Alcançou uma taxa de sucesso geral de 85,1% em categorias comuns, superando o CosyVoice 3 (80,4%) e o Fish-Speech S2 (64,3%). Demonstrou sucesso único em "risada envolta" (94,6%) e choro (61,9%).
• Síntese de Dialetos: Alcançou 91,8% de precisão em cenários do mesmo dialeto, 86,46% em transferência de Mandarim para dialeto e 85,38% em cenários entre dialetos.

Significado e Alegações

O artigo afirma que o PilotTTS demonstra que desempenho competitivo e de última geração em TTS não exige estritamente milhões de horas de dados proprietários ou arquiteturas complexas de múltiplos estágios. Ao priorizar a engenharia de dados e a integração de componentes de código aberto estabelecidos, os autores mostram que um sistema treinado em apenas 200 mil horas pode superar modelos maiores e mais complexos em fidelidade de falante e precisão de conteúdo.

O significado reside na redução da barreira de entrada para a comunidade de pesquisa e entidades comerciais. A liberação da receita completa do pipeline de dados, pesos pré-treinados e código permite que equipes com recursos limitados construam sistemas competitivos ou refinem abordagens existentes sem os custos proibitivos associados às tendências atuais de SOTA. Os autores posicionam o PilotTTS como uma solução prática e implantável que equilibra expressividade com viabilidade de engenharia.