Resumo Técnico: UniVoice

Declaração do Problema

A síntese de voz de texto (TTS) e a síntese de voz de canto (SVS) compartilham o objetivo de gerar áudio vocal humano a partir de entradas simbólicas, mas impõem requisitos fundamentalmente conflitantes ao processo de geração. O TTS depende de uma prosódia flexível, impulsionada pela linguagem e inferida pelo contexto linguístico, enquanto o SVS exige controle melódico explícito (ex: notas MIDI) e um alinhamento rítmico preciso.

Treinar um único modelo unificado em dados mistos é desafiador porque a semântica de condicionamento é incompatível: as condições de melodia devem atuar como restrições fortes para o canto, mas não devem restringir a prosódia natural e dependente do contexto da fala. O treinamento conjunto ingênuo força o modelo a atribuir significados conflitantes às condições relacionadas à melodia, levando à interferência de gradiente e à degradação da qualidade de geração para ambas as modalidades.

Metodologia

O UniVoice é um framework unificado para geração de fala e canto baseado em Conditional Flow Matching (CFM) com um backbone de Diffusion Transformer (DiT). A inovação central reside no condicionamento fatorizado e em um token de melodia nula aprendido.

1. Arquitetura

O modelo utiliza um backbone DiT compartilhado (adaptado do Wan-DiT) com 24 camadas, 16 cabeças de atenção e aproximadamente 0,3 bilhão de parâmetros. Ele opera em características latentes extraídas por um Song Bloom VAE a 25 Hz.

• Backbone Compartilhado: Tanto a fala quanto o canto são tratados como modos condicionais do mesmo fluxo contínuo.
• Modulação Adaptativa: Um Token de Tarefa leve (indicando "fala" ou "canto") é injetado via Adaptive Layer Normalization (AdaLN) para modular o backbone compartilhado sem introduzir cabeças específicas de tarefa separadas.

2. Condicionamento Fatorizado

Para resolver o conflito de representação, o UniVoice decompõe o sinal de condicionamento $c$ em quatro eixos ortogonais:

• Conteúdo ($c_{cnt}$): Sequências de fonemas codificadas por um codificador baseado em ConvNeXt.
• Melodia ($c_{mel}$):
  • Para Canto: Codificada como sequências de notas MIDI usando um codificador Conformer.
  • Para Fala: Substituída por um token de melodia nula aprendido ($e_\emptyset$). Este token sinaliza ao modelo para inferir a prosódia a partir do contexto linguístico e acústico, em vez de restrições melódicas explícitas.
• Timbre ($c_{tmb}$): Derivado de um prompt de áudio de referência de 3 a 10 segundos, codificado via o mesmo VAE usado para o áudio alvo. Isso permite o clone de voz zero-shot em ambas as modalidades.
• Token de Tarefa ($c_{tsk}$): Embedding discreto para distinguir os modos de geração.

3. Justificativa Teórica

O artigo postula que o token nulo aprendido atua como uma aproximação amortizada eficiente da marginalização de melodia. Na geração de fala, o campo vetorial ideal deve marginalizar sobre todas as realizações melódicas possíveis. O token nulo permite que o modelo aprenda a representação ideal "ausente de melodia" sem interferência de gradientes específicos do canto, realizando efetivamente um guia de classificador livre (classifier-free guidance) seletivo por eixo.

4. Treinamento e Inferência

• Dados: Treinado em um conjunto de dados misto de 30.000 horas de fala (do dataset Emilia) e 35.000 horas de canto (gravações de estúdio e de ambiente).
• Treinamento: Utiliza um tamanho de lote de 3.000 frames em 8 GPUs A800 durante 100 épocas. As condições (texto, melodia, prompt de áudio) são descartadas aleatoriamente com 10% de probabilidade para permitir o guia de classificador livre.
• Inferência: Gera áudio usando um solver de ODE de Euler com 32 passos. Escalas de guia específicas por eixo são aplicadas (ex: $w_{txt}=5$ para texto, $w_{mel}=1$ para melodia).

Principais Contribuições

1. Arquitetura Unificada: Um único modelo de flow-matching com um backbone DiT compartilhado que gera tanto fala quanto canto sem cabeças específicas de tarefa.
2. Condicionamento Fatorizado: Um esquema que separa conteúdo, melodia e timbre para eliminar conflitos de gradiente entre a modelagem de prosódia da fala e o controle de melodia do canto.
3. Token de Melodia Nula Aprendido: Um mecanismo para geração de fala que substitui entradas de melodia explícitas por um token aprendido, teoricamente fundamentado como uma marginalização sobre a variável de melodia.
4. Benchmark UNISINGING-EVAL: Um novo benchmark de avaliação cobrindo 12 estilos musicais, projetado para testar a geração de voz unificada através de diversos estilos, timestamps de nível de frase e consistência cross-modal.

Resultados Experimentais

Avaliado em uma tarefa de geração cross-sentence com clipes de 10 segundos:

• Geração de Fala: O UniVoice alcança uma Taxa de Erro de Fonema (PER) de 5,26%, comparável a sistemas de TTS dedicados como F5-TTS (5,21%) e CosyVoice3 (5,30%), apesar de usar significativamente menos dados de fala e uma arquitetura unificada. Ele atinge a maior pontuação de naturalidade de fala (S-MOS 3.76) entre modelos unificados.
• Geração de Canto: O UniVoice alcança um PER de 16,22% e uma Similaridade de Locutor (SIM) de 35,70%. Isso supera substancialmente o baseline unificado Vevo1.5 (PER 45,07%) e o modelo de canto dedicado Soul-X-Singer (PER 26,22%).
• Eficiência: Com apenas 0,3B de parâmetros e 65k horas de treinamento, o UniVoice supera modelos unificados maiores (Vevo1.5, 1B parâmetros) e modelos de canto dedicados, demonstrando a eficiência do condicionamento fatorizado.

Estudos de Ablação confirmam que:

• Remover o condicionamento fatorizado causa degradação severa (Fala PER sobe para 12,31%; Canto PER para 23,45%).
• O token de melodia nulo aprendido é superior a um vetor zero fixo.
• Tokens de tarefa são essenciais para a adaptação de modalidade.
• O condicionamento de melodia explícito é crítico para o canto, mas prejudicial se forçado na fala.

Significância e Limitações

Significância:
O UniVoice demonstra que um único modelo pode efetivamente preencher a lacuna entre fala e canto ao desacoplar seus requisitos de condicionamento conflitantes. Ele estabelece um novo padrão para a geração de voz unificada, oferecendo qualidade competitiva a sistemas dedicados, ao mesmo tempo em que permite uma identidade de locutor consistente entre estilos de fala e canto. A introdução do UNISINGING-EVAL aborda a falta de benchmarks abrangentes para este campo emergente.

Limitações:

• Similaridade de Locutor: Permanece uma lacuna na Similaridade de Locutor (SIM) em comparação com sistemas apenas de fala, indicando um compromisso entre o compartilhamento cross-modal e a fidelidade do clone de voz.
• Escopo de Linguagem: A avaliação é atualmente limitada ao inglês e chinês.
• Latência: O processo de amostragem de ODE de 32 passos introduz maior latência em comparação com métodos de geração de poucos passos.
• Cobertura de Estilo: Estilos vocais mistos como rap ou canto falado não são explicitamente modelados.
• Riscos Éticos: A capacidade de clonagem de voz zero-shot através de modalidades levanta preocupações sobre deepfakes e direitos autorais, necessitando de medidas de implantação responsável, como marcas d'água e registro baseado em consentimento.