Resumo Técnico: Treinamento de Ponta a Ponta para Sistemas de TTS Baseados em Tokens Discretos de LLM

Declaração do Problema

Os sistemas atuais de ponta (SOTA) de conversão de texto em fala (TTS) dependem tipicamente de um pipeline cascata que compreende um tokenizador de fala, um Modelo de Linguagem Grande (LLM) autorregressivo e um modelo de fluxo de correspondência (FM) baseado em difusão. Esses componentes são tradicionalmente projetados e treinados de forma independente, o que leva a três limitações primárias:

1. Objetivos Desalinhados: Os tokenizadores são pré-treinados usando objetivos substitutos (ex: precisão de ASR, qualidade de representação SSL ou fidelidade de autoencoding) que podem não estar alinhados com as necessidades a jusante da predição de tokens autorregressiva ou da reconstrução por FM. Isso frequentemente resulta em um comportamento end-to-end subótimo, onde o aumento da expressividade dos tokens (ex: codebooks maiores) beneficia a reconstrução, mas aumenta a dificuldade de aprendizado para o LLM.
2. Representações de Tokens Opacas: Devido à natureza de caixa-preta das redes neurais, a informação codificada nos tokens discretos é difícil de desentranhar. Os tokens frequentemente contêm fatores de variação emaranhados, redundantes e incontroláveis (ex: atributos de locutor misturados com conteúdo semântico), introduzindo ambiguidade na predição e reduzindo o controle da síntese.
3. Descompasso entre Treino e Teste (Train-Test Mismatch): O modelo FM é tipicamente treinado em tokens de verdade fundamental (ground-truth) em vez dos tokens preditos pelo LLM. Consequentemente, erros e mudanças distributivas nas saídas do LLM propagam-se para o FM, degradando a qualidade da síntese no momento da inferência. Além disso, LLMs treinados apenas para maximizar a verossimilhança dos tokens tendem a convergir para gerações "seguras" e "médias", falhando em capturar a diversidade de prosódia e estilo necessária para um TTS expressivo.

Embora estudos recentes tenham tentado uma otimização conjunta parcial (ex: acoplando tokenizadores com modelos de difusão ou LLMs com modelos de recompensa), as abordagens existentes frequentemente falham em otimizar o sistema de forma holística, deixando inconsistências de interface e descompassos entre treino e teste nos componentes treinados independentemente.

Metodologia

O artigo propõe um framework de otimização totalmente de Ponta a Ponta (E2E) que unifica o treinamento do tokenizador de fala, o LLM, o modelo FM e um modelo de Recompensa (RM) auxiliar. O framework utiliza duas funções de perda distintas e um pipeline de treinamento de três estágios.

Componentes Principais

• Tokenizador de Fala: Utiliza Quantização Escalar Finita (FSQ) para converter sinais de fala em sequências de tokens discretos ($c_{1:T}$) e representações quantizadas ($q_{1:T}$).
• Modelo de Recompensa (RM): Um modelo de reconhecimento multitarefa que realiza Reconhecimento Automático de Fala (ASR), Reconhecimento de Emoção de Locutor (SER) e Identificação de Locutor (SPK) nas representações de tokens.
• Modelo de Fluxo de Correspondência (FM): Um Transformer de Difusão (DiT) que reconstrói a fala a partir das representações de tokens.
• Large Language Model (LLM): Um modelo autorregressivo que prediz o próximo token de fala condicionado ao texto de entrada e aos tokens anteriores.

Funções de Perda

1. Perda de Primeira Ordem ($L_1$):

   • Objetivo: Otimiza conjuntamente o tokenizador usando tokens de verdade fundamental.
   • Componentes:
     • $L_{LLM}$: Perda de predição do próximo token.
     • $L_{RM}$: Soma das perdas de ASR (CTC), SER (Cross-Entropy) e SPK (Similaridade de Cosseno).
     • $L_{FM}$: Perda de reconstrução de fluxo de correspondência.
   • Mecanismo: Gradientes dessas tarefas retropropagam-se diretamente para o tokenizador, moldando o espaço de tokens discretos para ser acusticamente e semanticamente saliente para o pipeline específico de TTS.

2. Perda de Segunda Ordem ($L_2$):

   • Objetivo: Otimiza o LLM sob sua própria distribuição de geração para mitigar o descompasso entre treino e teste.
   • Mecanismo: O LLM gera sequências de tokens (usando Gumbel-Softmax para diferenciabilidade) que são alimentadas no FM e no RM. O sistema é então otimizado com base na qualidade de reconstrução ($L_{LFM}$) e consistência de reconhecimento ($L_{LRM}$) desses tokens preditos.
   • Efeito: Atua como um alinhamento estilo reforço, encorajando o LLM a gerar tokens que não sejam apenas precisos, mas também robustos aos requisitos de reconstrução e reconhecimento a jusante.

Pipeline de Treinamento

O treinamento é conduzido em três estágios para garantir estabilidade:

1. Estágio 1: Todos os parâmetros são treináveis usando $L_1$. O objetivo é treinar o tokenizador com supervisão de jusante do RM, FM e LLM.
2. Estágio 2: O tokenizador é congelado. O RM, FM e LLM são treinados independentemente (potencialmente com diferentes conjuntos de dados, como adicionar dados ruidosos para o RM).
3. Estágio 3: O RM é congelado. O LLM e o FM são treinados conjuntamente usando $L_2$ (perda de segunda ordem) para alinhar a distribuição de geração do LLM com as capacidades de reconstrução do FM.

Principais Contribuições

• Framework E2E Holístico: O artigo introduz um framework de treinamento unificado que otimiza o tokenizador, o LLM, o FM e o RM simultaneamente, indo além das limitações de pipelines cascata treinados independentemente.
• Otimização de Dois Estágios: A distinção entre Perda de Primeira Ordem (supervisão de verdade fundamental para moldagem do tokenizador) e Perda de Segunda Ordem (supervisão consciente da geração para alinhamento do LLM) aborda tanto o aprendizado de representação quanto o descompasso de tempo de inferência.
• Análise Teórica: Os autores formulam o treinamento do tokenizador de fala como um problema de codificação de fonte, demonstrando que os objetivos E2E propostos maximizam a entropia dos tokens ($H(X_n)$) e a dependência temporal ($I(X_{n+1}; X_n)$), levando a uma utilização de codebook mais eficiente e melhor retenção de informação preditiva.
• Pipeline de Treinamento Simplificado: O método alcança resultados SOTA com um processo de treinamento significativamente mais simples comparado aos sistemas cascata complexos existentes.

Resultados Experimentais

O sistema foi avaliado no benchmark Seed-TTS-Eval usando um LLM de 0.6B de parâmetros e um modelo FM de 0.5B de parâmetros.

• Desempenho de Zero-Shot TTS:
  • Alcançou uma Taxa de Erro de Palavra (WER) de 0,78% (Chinês) e 1,56% (Inglês).
  • Estes resultados representam um novo SOTA para sistemas com tamanhos de parâmetros comparáveis, superando baselines cascata e outros modelos recentes (ex: Seed-TTS, CosyVoice3, Qwen3-TTS) tanto em consistência de conteúdo (WER/CER) quanto em similaridade de locutor (SS).
• Reconstrução e Reconhecimento:
  • O modelo FM mostrou melhorias substanciais em WER e Similaridade de Locutor (SS) entre os estágios de treinamento, particularmente quando o treinamento conjunto com o tokenizador foi introduzido.
  • O RM demonstrou desempenho robusto de ASR e SER, superando o S3-tokenizer e o Qwen-TTS-tokenizer em tarefas de ASR em chinês.
• Estudos de Ablação:
  • Remover o treinamento E2E (pré-treinar o tokenizador independentemente) resultou em desempenho inferior, confirmando o papel crítico da otimização conjunta.
  • A análise estatística das distribuições de tokens mostrou que o treinamento E2E leva a uma maior entropia de informação e utilização de codebook mais uniforme em comparação com modelos treinados sem $L_{LLM}$ ou $L_{FM}$.

Significância

O artigo afirma que a otimização End-to-End holística é crítica para melhorar sistemas de TTS baseados em tokens discretos. Ao alinhar o aprendizado de representação do tokenizador diretamente com os requisitos do LLM e do FM, o sistema supera as limitações de desalinhamento e descompassos entre treino e teste inerentes às abordagens em cascata. Os resultados validam que um pipeline de treinamento muito mais simples, que unifica a otimização de todos os componentes, pode gerar desempenho comparável ou superior aos sistemas SOTA atuais, reduzindo significativamente a complexidade da infraestrutura de treinamento.