Resumo Técnico: WordVoice

1. Definição do Problema

Sistemas recentes de Text-to-Speech (TTS) baseados em Large Language Models (LLMs) alcançaram uma naturalidade notável, mas dependem predominantemente de paradigmas de geração implícitos e ponta a ponta (end-to-end). Esta arquitetura resulta em um controle de grão grosso, criando um gargalo crítico para aplicações que exigem intervenções precisas e determinísticas ao nível da palavra, como narração de audiolivros e dublagem de vídeos. Os modelos atuais lutam para manipular explicitamente atributos acústicos específicos (ex: duração, energia, tom, pitch) para palavras individuais sem comprometer a estabilidade global. Além disso, essa limitação é exacerbada pela escassez de conjuntos de dados anotados em larga escala e de grão fino, bem como pela dificuldade arquitetônica de integrar sinais de controle multidimensionais na geração autorregressiva discreta.

2. Metodologia

Os autores propõem o WordVoice, um framework unificado que transforma a geração implícita em um paradigma explícito e altamente controlável através de uma arquitetura de dois estágios e um novo conjunto de dados massivo.

2.1. Base de Dados: WordVoice-5A

Para enfrentar a escassez de dados, os autores construíram o WordVoice-5A, um conjunto de dados bilíngue (chinês e inglês) compreendendo aproximadamente 4.700 horas de fala.

• Pipeline de Anotação: Um pipeline rigoroso, guiado linguisticamente, foi desenvolvido envolvendo:
  • Otimização de Timestamp: Alinhamento por modelo duplo (MFA e Qwen3FA) com otimização baseada em loudness e verificações de consistência para garantir fronteiras de palavras de alta precisão.
  • Atributos Temporais: Extração de duração e discretização de fronteiras em cinco níveis (desde a fonação contínua até pausas ao nível de período).
  • Atributos Acústicos/Prosódicos: Extração de energia (média de 50% dos frames superiores), pitch (média de 80% central de F0) e tom. O tom é modelado via regressão morfológica guiada por especialistas, mapeando contornos de F0 contínuos em sete categorias prosódicas universais (plano, ascensão, ascensão forte, queda, queda forte, pico, vale).

2.2. Estrutura Arquitetônica

O WordVoice opera sobre um backbone derivado do CosyVoice3, refinando a geração ao nível da sentença em um processo de "planejamento acústico" ao nível da palavra.

Estágio 1: WordVoice-LLM (Planejamento Macro-Prosódico)

Os autores introduzem um mecanismo de token delimitador (⟨b⟩) dentro do LLM autorregressivo para reestruturar o processo de geração causal.

• Planejamento Acústico: Ao prever o token delimitador para uma palavra, o estado oculto do modelo é roteado para um Decodificador de Palavras leve para prever cinco atributos acústicos: duração, fronteira, energia, pitch e tom.
• Controle Explícito: Esses atributos são incorporados em um token de estilo e concatenados com o embedding semântico para formar uma condição unificada. Isso permite dois modos de inferência:
  • Modo Livre (Free Mode): O modelo planeja a prosódia autonomamente.
  • Modo de Controle (Control Mode): Usuários podem ignorar o decodificador e especificar manualmente valores de atributos para palavras específicas, alcançando controle determinístico zero-shot sem alterar os pesos do LLM.

Estágio 2: WordVoice-FM (Modulação Micro-Acústica)

Para preencher a lacuna de resolução entre tokens discretos e formas de onda contínuas, um módulo de modulação acústica de grão fino é integrado ao estágio de Flow Matching (FM).

• Upsampling: Tokens de estilo ao nível da palavra são upsampled para o nível do frame com base em durações e pausas previstas.
• Modulação: Esses tokens de estilo ao nível do frame são injetados no backbone de FM via um módulo dedicado que gera parâmetros de escala ($\gamma_t$) e deslocamento ($\beta_t$). Isso guia explicitamente a síntese da forma de onda para aderir ao planejamento de energia, pitch e fronteiras temporais, compensando detalhes acústicos perdidos durante a quantização.

3. Principais Contribuições

1. Base de Dados: A criação e abertura do WordVoice-5A, um dataset bilíngue de 4,7k horas com rigorosas anotações de cinco dimensões ao nível da palavra e um pipeline guiado linguisticamente.
2. Inovação Arquitetônica: A proposta do framework WordVoice, que combina um processo de "planejamento acústico" explícito via tokens delimitadores no LLM com um módulo de modulação de estilo de grão fino no estágio de Flow Matching.
3. Controle ao Nível da Palavra: A demonstração de um controle desacoplado altamente preciso em múltiplas dimensões acústicas (duração, fronteira, energia, pitch, tom) ao nível da palavra, mantendo uma estabilidade de síntese zero-shot competitiva.

4. Resultados Experimentais

Experimentos foram conduzidos nos conjuntos de teste WordVoice-5A (chinês e inglês) utilizando o CosyVoice3 como baseline.

• Avaliação Subjetiva: O WordVoice-Control alcançou as pontuações mais altas em Naturalidade (N-MOS) e Controle de Estilo de Palavra (Ctrl-MOS), com melhorias estatisticamente significativas ($p < 0.01$) em controlabilidade em relação ao baseline. Embora a Similaridade de Locutor (Spk-MOS) tenha apresentado um leve trade-off devido a variações localizadas, a expressividade geral foi significativamente aprimorada.
• Avaliação Objetiva:
  • Precisão de Controle: No modo de Controle, o WordVoice reduziu drasticamente o Erro Médio Absoluto (MAE) para atributos contínuos (Duração, Energia, Pitch) e a Taxa de Erro (ER) para atributos discretos (Fronteira, Tom) em comparação aos baselines.
  • Alinhamento Temporal: O WordVoice superou o MagicTTS (um baseline forte para controle temporal) tanto em métricas de duração quanto de fronteira, demonstrando superior estabilidade ao manipular múltiplos atributos simultaneamente.
  • Desacoplamento: Estudos de ablação confirmaram que o mecanismo de controle é amplamente desacoplado; restringir um único atributo reduziu significativamente seu erro específico com impacto mínimo nos outros, exceto pelo tom, que mostrou um leve emaranhamento devido à sua natureza dinâmica.
• Estudos de Ablação: A remoção do módulo WordVoice-FM resultou em degradação significativa na precisão de energia e pitch, confirmando sua necessidade para compensar perdas de quantização. Por outro lado, atributos temporais foram modelados primordialmente no estágio do LLM.

5. Significância e Alegações

O artigo afirma que o WordVoice aborda uma limitação fundamental nos atuais TTS baseados em LLM: a incapacidade de realizar controle acústico de alta precisão e grão fino ao nível da palavra. Ao transformar a geração implícita em um processo explícito e interpretável, o framework permite:

• Intervenções Determinísticas: Criadores podem manipular meticulosamente a duração, a ênfase e a entonação de palavras específicas para transmitir emoções sutis ou alcançar alinhamento cross-modal estrito (ex: sincronia labial).
• Controle Multidimensional Unificado: Diferente de abordagens anteriores que eram frequentemente unidimensionais (ex: apenas duração ou apenas emoção), o WordVoice controla simultaneamente cinco dimensões acústicas.
• Potencial Futuro: Os autores sugerem que este mecanismo de planejamento explícito pode servir como uma "cadeia de pensamento acústica" (acoustic chain-of-thought) para sistemas de diálogo falado altamente expressivos e fornecer geração interpretável para TTS baseado em instruções.

O trabalho posiciona-se não meramente como uma melhoria incremental de naturalidade, mas como uma mudança estrutural em direção a uma síntese de voz explícita, controlável e desacoplada.