Kinetic-Optimal Scheduling with Moment Correction for Metric-Induced Discrete Flow Matching in Zero-Shot Text-to-Speech

Resumo Técnico: Agendamento Ótimo Cinético com Correção de Momentos para Correspondência de Fluxo Discreto Induzido por Métrica em TTS Zero-Shot

Enunciado do Problema
A Correspondência de Fluxo Discreto Induzido por Métrica (MI-DFM) oferece uma abordagem principial para modelagem generativa discreta, aproveitando a geometria dos espaços de latentes de tokens, definindo distribuições intermediárias como distribuições de Gibbs sobre distâncias entre latentes de tokens. No entanto, a implementação prática da MI-DFM é atualmente impedida por duas limitações primárias:

1. Agendamento Heurístico: Os agendadores de tempo existentes para MI-DFM são tipicamente heurísticos, exigindo extensa busca de hiperparâmetros para determinar a taxa na qual a distribuição de Gibbs se concentra em direção ao token alvo. Essa busca impacta significativamente a qualidade da amostragem.
2. Erro de Rastreamento de Trajetória em Passos Finitos: A inferência da MI-DFM depende de um solucionador de Cadeia de Markov em Tempo Contínuo (CTMC) derivado de dinâmicas infinitesimais. Na prática, a inferência é realizada com um número finito de passos. O solucionador de primeira ordem padrão usado neste contexto incorre em erros significativos de rastreamento de trajetória, desviando-se do caminho de probabilidade pretendido.

Metodologia
Os autores propõem um quadro unificado, denominado GibbsTTS, que aborda ambas as limitações através de duas contribuições algorítmicas centrais:

1. Agendamento de Tempo Ótimo Cinético:

   • Os autores derivam um agendador ótimo cinético para caminhos de probabilidade discretos parametrizados por escalares prescritos. Diferentemente de trabalhos anteriores que focam em velocidades ótimas cinéticas, este trabalho otimiza o reparametrização temporal $\kappa_t$ para minimizar a energia do caminho Fisher–Rao.
   • Eles provam que o agendador ótimo cinético percorre o caminho de probabilidade a uma velocidade Fisher–Rao constante.
   • Para MI-DFM, onde a informação de Fisher depende da distribuição completa de distâncias entre tokens, os autores constroem este agendador numericamente. Eles computam matrizes de distância a partir de incorporações de tokens e as utilizam para derivar um agendamento numérico sem treinamento, que evita famílias heurísticas e busca de hiperparâmetros a jusante.

2. Correção de Momentos em Passos Finitos:

   • Para mitigar erros de rastreamento de trajetória na amostragem CTMC em passos finitos, os autores introduzem um mecanismo de correção de momentos.
   • Esta correção preserva a distribuição de destino do salto do CTMC (a direção do salto), mas ajusta a probabilidade do salto.
   • O ajuste garante que um momento escalar escolhido (especificamente, uma estatística tangente local Fisher–Rao para MI-DFM) no próximo passo de tempo corresponda melhor a um momento de referência. Isso permite que o amostrador siga o caminho de referência com maior precisão, sem exigir um integrador de ordem superior ou um kernel de transição exato em passos finitos.

Arquitetura do Modelo e Implementação
O método proposto é instanciado como um sistema de Texto para Fala (TTS) zero-shot utilizando um backbone DiT (Transformador de Difusão).

• Entrada: O modelo processa texto (via incorporações de fonemas) e prompts de fala. Utiliza uma abordagem baseada em codec onde tokens acústicos são gerados diretamente a partir de dicionários de código RVQ (Quantização Vetorial Residual).
• Treinamento: O modelo emprega treinamento e inferência de código completo, prevendo todos os dicionários RVQ conjuntamente. Uma estratégia de ponderação de perda por dicionário é introduzida para estabilizar o treinamento, pois tratar todos os dicionários igualmente pode levar a explosão de gradientes nas etapas iniciais.
• Inferência: O sistema utiliza o agendador numérico ótimo cinético derivado e o solucionador CTMC com correção de momentos.

Resultados Experimentais
Os autores validam o GibbsTTS em TTS zero-shot baseado em codec usando conjuntos de dados em inglês e chinês (Emilia para treinamento; LibriTTS, Seed-TTS e CosyVoice 3 para avaliação).

• Comparações Controladas: Sob uma arquitetura unificada e conjunto de dados em grande escala, o GibbsTTS supera as linhas de base generativas discretas mascaradas (incluindo variantes padrão de Correspondência de Fluxo Discreto e Difusão Discreta) em métricas objetivas (UTMOS para naturalidade, WER/CER para inteligibilidade e similaridade de falante).
• Estudos de Ablação:
  • O agendador numérico ótimo cinético melhora consistentemente o desempenho sobre agendadores heurísticos ajustados por busca em grade, eliminando a necessidade de ajuste manual do agendador.
  • A correção de momentos em passos finitos fornece ganhos consistentes em todos os conjuntos de teste e escolhas de agendador, confirmando seu papel na redução do erro de discretização.
• Comparação com o Estado da Arte (SOTA): Ao comparar com sistemas recentes de TTS zero-shot de última geração (incluindo modelos autoregressivos e não autoregressivos como MaskGCT, F5-TTS e CosyVoice 3):
  • O GibbsTTS alcança a maior similaridade de falante em três de quatro conjuntos de teste e ocupa o segundo lugar no quarto.
  • Embora alguns modelos autoregressivos maiores alcancem maior naturalidade (UTMOS) ou taxas de erro menores, o GibbsTTS demonstra que a MI-DFM é particularmente eficaz na preservação da identidade do falante na geração baseada em codec.
  • O GibbsTTS supera o MaskGCT (um modelo de codec generativo mascarado líder) em todas as métricas objetivas reportadas, apesar de usar um tamanho de modelo menor e uma representação de token mais simples (geração direta de codec sem uma etapa intermediária de token semântico).

Significado e Alegações
O artigo alega que a MI-DFM, quando equipada com o agendador ótimo cinético e a correção de momentos propostos, fornece um campo de teste credível e eficaz para avaliar algoritmos generativos discretos em TTS. Os autores enfatizam que seu trabalho é o primeiro estudo de MI-DFM especificamente para TTS.

As principais contribuições destacadas pelos autores incluem:

1. Formular o agendamento de tempo ótimo cinético para caminhos parametrizados por escalares, complementando o trabalho existente sobre velocidades.
2. Introduzir uma correção de momentos leve em passos finitos que reduz o erro de rastreamento de trajetória enquanto mantém a distribuição de destino do salto do CTMC.
3. Fornecer uma avaliação justa e controlada da MI-DFM contra linhas de base discretas mascaradas, demonstrando que o caminho induzido por métrica é eficaz para TTS zero-shot baseado em codec.
4. Demonstrar que a MI-DFM pode alcançar forte similaridade de falante, sugerindo seu potencial para preservar a identidade do falante em tarefas de fala generativa.

Os autores permanecem modestos quanto a implicações mais amplas, notando que, embora os algoritmos sejam gerais, eles são atualmente avaliados apenas em TTS zero-shot. Eles reconhecem limitações, como a dependência de incorporações de dicionário normalizadas por $\ell_2$ (equivalente a distância cosseno) e a necessidade de futura exploração de outros caminhos de probabilidade e momentos de referência.