Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation

O artigo apresenta o Vevo2, um framework unificado e controlável para geração de voz falada e cantada que supera desafios como a escassez de dados anotados e permite controle flexível de prosódia, estilo e timbre por meio de dois tokenizadores de áudio inovadores e estratégias de aprendizado conjuntas.

O essencial

Imagine que você tem um maestro genial chamado Vevo2. O trabalho dele é criar vozes humanas, seja para alguém falando normalmente (como um locutor de rádio) ou cantando uma música complexa (como um cantor de ópera ou pop).

Antes do Vevo2, os cientistas tinham dois problemas gigantescos:

1. A falta de partituras: Para ensinar uma IA a cantar, era necessário ter "partituras" manuais (anotações de música) que diziam exatamente qual nota cantar. Isso era raro e caro.
2. A confusão de estilos: Era difícil fazer a IA entender que "falar" e "cantar" são como irmãos que falam a mesma língua, mas com sotaques diferentes.

O Vevo2 resolveu isso criando um sistema unificado. Aqui está como ele funciona, usando analogias simples:

1. O Tradutor Universal (Os "Tokenizadores")

Imagine que a voz é uma língua complexa. O Vevo2 tem dois tradutores especiais que transformam o som em "palavras" digitais (tokens) que o computador entende:

• O Tradutor de Ritmo e Melodia (Prosody Tokenizer):

  • O problema: Antes, para entender a melodia de uma música, o computador precisava de uma partitura escrita por um humano.
  • A solução do Vevo2: Ele usa um "radar de cores sonoras" (chamado chromagram). Pense nisso como um tradutor que olha para a música e diz: "Isso é uma nota Dó, isso é um ritmo rápido", sem precisar de partitura.
  • O truque: Ele é tão bom que consegue entender a melodia de uma voz humana, de um assobio, ou até de um instrumento (como um violino). Ele ignora quem está tocando e foca apenas na melodia. Isso permite que você assobie uma melodia e o Vevo2 a cante com a voz de um cantor famoso.

• O Tradutor de Conteúdo e Estilo (Content-Style Tokenizer):

  • Este tradutor separa o que é dito (o texto) de como é dito (o estilo, a emoção, o sotaque) e de quem está falando (a identidade da voz).
  • É como se ele dissesse: "Ok, a frase é 'Olá mundo', o estilo é 'feliz e cantado', e a voz deve ser a do João". Ele separa tudo isso para que o computador possa misturar e combinar livremente.

2. A Escola de Aprendizado (Treinamento Conjunto)

O Vevo2 não aprende a falar e a cantar em turmas separadas. Ele coloca os dois juntos na mesma sala de aula.

• A lógica: Ao aprender a cantar, a IA fica melhor em entender a emoção e a entonação da fala. Ao aprender a falar, a IA ganha acesso a uma quantidade gigantesca de dados que a ajuda a cantar com mais qualidade. É como um ator que, ao estudar ópera, melhora sua atuação no cinema, e vice-versa.

O sistema usa duas estratégias para ensinar isso:

• Aprendizado Explícito: O professor diz: "Aqui está a nota musical, agora cante".
• Aprendizado Implícito: O professor diz apenas o texto e espera que a IA descubra a melodia sozinha (como quando você ouve uma música e tenta cantar no chuveiro).
  O Vevo2 mistura os dois métodos para se tornar um mestre em ambos.

3. O Refinamento Final (Pós-treinamento)

Depois de aprender o básico, o Vevo2 passa por um "treinamento de elite".

• Imagine que você ensinou um aluno a tocar piano. Ele sabe as notas, mas às vezes erra o ritmo ou não entende a letra.
• O Vevo2 usa um sistema de recompensas (como um jogo de pontos) para corrigir dois erros principais:
  1. Inteligibilidade: "Você está falando claramente? Entendi a letra?"
  2. Semelhança da Melodia: "Você está seguindo a melodia corretamente?"
     Se o sistema errar, ele recebe uma "punição" e aprende a não repetir. Se acertar, ganha um "prêmio". Isso faz com que ele fique extremamente preciso.

O Que o Vevo2 Pode Fazer? (Mágica no Dia a Dia)

Graças a essa tecnologia, o Vevo2 pode fazer coisas que pareciam impossíveis antes:

• Do Assobio para o Canto: Você pode assobiar uma melodia no seu telefone, escolher uma letra e uma voz de cantor, e o Vevo2 transforma seu assobio em uma música profissional.
• Do Instrumento para o Canto: Você pode tocar uma melodia no piano, e o Vevo2 a cantará com a voz de um artista.
• Edição de Letras: Você pode mudar a letra de uma música que já existe, mas manter a mesma melodia e o mesmo estilo de canto original. É como editar um texto no Word, mas para música.
• Troca de Estilo: Você pode pegar uma fala séria e transformá-la em um canto emocionado, ou mudar o sotaque de alguém sem mudar o que ele está dizendo.

Resumo

O Vevo2 é como um "maestro digital" que unificou a fala e o canto. Ele não precisa de partituras manuais, entende a melodia de qualquer som (voz, assobio, instrumentos) e consegue controlar cada detalhe: o que é dito, como é dito, quem está falando e qual é a melodia. É um grande passo para criar vozes artificiais que soam humanas, expressivas e versáteis.

Resumo técnico

Resumo Técnico: Vevo2

1. O Problema

A geração de voz humana controlável, especialmente em domínios expressivos como o canto, enfrenta desafios significativos. Embora haja avanços notáveis na síntese de fala (TTS) zero-shot devido a grandes corpora de dados, a geração de voz de canto (SVS) permanece difícil devido à:

• Escassez de dados anotados: Conjuntos de dados de canto frequentemente dependem de anotações manuais complexas (partituras musicais precisas com alinhamento letra-nota), o que limita a escalabilidade.
• Falta de unificação: Modelos existentes geralmente tratam fala e canto como domínios separados ou usam identificadores de tarefa simples, falhando em aprender benefícios mútuos entre os dois.
• Controle limitado: É difícil manipular independentemente conteúdo (texto/letra), prosódia (melodia/entonação), estilo (emoção, sotaque, técnica vocal) e timbre (identidade do falante) dentro de um único framework unificado.

2. Metodologia

O Vevo2 é um framework unificado de duas etapas que integra geração de fala e canto através de uma arquitetura baseada em tokens discretos e aprendizado por reforço.

A. Tokenizadores de Áudio Unificados
O sistema introduz dois tokenizadores inovadores para converter áudio em representações discretas:

1. Tokenizador de Prosódia Unificado (Music-Notation-Free):
   • Baseado em um VQ-VAE que opera a 6,25 Hz.
   • Treinado para reconstruir chromagrams (representação espectral de energia por oitava) em vez de frequências fundamentais (F0) brutas.
   • Vantagens: Remove a dependência de oitavas (facilitando a unificação entre fala e canto), não requer partituras musicais (escalável para dados brutos) e é robusto a ruídos. Pode capturar melodia de sons não humanos (instrumentos), permitindo tarefas como "assobio para canto".
2. Tokenizador de Conteúdo-Estilo Unificado:
   • Opera a 12,5 Hz e utiliza uma arquitetura similar ao tokenizador de prosódia.
   • Treinado para reconstruir simultaneamente chromagrams e features ocultas do Whisper (modelo de reconhecimento de fala).
   • Função: Codifica conteúdo linguístico, prosódia e estilo, enquanto realiza o desentrelaçamento (disentanglement) do timbre, permitindo a troca de voz sem alterar o conteúdo ou a melodia.

B. Treinamento Conjunto Fala-Canto (Speech-Singing Joint Training)
Para unificar a geração, o modelo de Auto-Regressão (AR) utiliza duas estratégias de aprendizado de prosódia durante o treinamento:

• Aprendizado de Prosódia Explícito (EPL): O modelo recebe tokens de prosódia como entrada junto com o texto.
• Aprendizado de Prosódia Implícito (IPL): O modelo infere a prosódia apenas a partir do texto (padrão comum em TTS).
• Estratégia: Ambos os métodos são aplicados aleatoriamente a todos os dados (fala e canto), forçando o modelo a aprender uma representação unificada que preenche a lacuna entre as características da fala e do canto.

C. Alinhamento Multi-Objetivo (Post-Training)
Após o pré-treinamento, o modelo passa por uma fase de ajuste fino (post-training) para melhorar a estabilidade e o controle:

• Recompensa de Inteligibilidade: Usa um modelo de recompensa treinado em pares de preferência (via algoritmo Bradley-Terry) para garantir que o texto gerado seja compreensível.
• Recompensa de Similaridade de Prosódia: Avalia quão bem o modelo segue a melodia/prosódia de entrada (incluindo dados de instrumentos MIDI renderizados).
• Otimização: Utiliza o algoritmo GRPO (Group Relative Policy Optimization) para otimizar simultaneamente ambas as recompensas, evitando que o modelo sacrifique um objetivo pelo outro.

D. Pipeline de Inferência
O sistema opera em duas etapas:

1. Modelagem AR: Gera tokens de conteúdo-estilo a partir de texto, fonte de prosódia e referência de estilo.
2. Modelagem Acústica (Flow-Matching): Converte os tokens em espectrogramas Mel, condicionados por uma referência de timbre.
3. Vocoder: Converte espectrogramas em waveform (usando Vocos).

3. Contribuições Principais

• Unificação de Domínios: Demonstra que o treinamento conjunto de fala e canto traz benefícios mútuos, melhorando a qualidade e a expressividade em ambos os domínios.
• Tokenizadores Sem Partitura: Elimina a necessidade de anotações musicais manuais para canto, permitindo o uso de dados brutos e a geração de canto a partir de instrumentos ou assobios.
• Controle Granular: Permite a manipulação independente de texto, prosódia, estilo e timbre em tarefas de síntese, conversão e edição.
• Novas Capacidades: Habilita tarefas inéditas como "Humming-to-Singing" (assobio para canto) e "Instrument-to-Singing" (instrumento para canto).

4. Resultados Experimentais

Os experimentos foram conduzidos em tarefas de TTS zero-shot, SVS, conversão de voz (VC/SVC) e edição de áudio.

• Desempenho Unificado: O Vevo2 pré-treinado com dados de fala e canto superou modelos treinados apenas em um domínio, mostrando ganhos em inteligibilidade (WER), similaridade de falante (SIM) e naturalidade (N-CMOS).
• Superioridade em Canto: No domínio de canto, o Vevo2 superou significativamente modelos state-of-the-art (como TCSinger e StyleSinger) em métricas subjetivas de naturalidade e similaridade.
• Controle de Prosódia e Duração: O modelo demonstrou capacidade robusta de seguir melodia (Melody-MOS > 2.0) e controlar a duração da fala através da escalabilidade linear dos tokens de prosódia.
• Eficácia do Post-Training: A fase de alinhamento multi-objetivo melhorou drasticamente a estabilidade, especialmente em tarefas desafiadoras como conversão de instrumentos para canto, onde modelos sem esse ajuste falhavam em seguir a melodia.

5. Significado e Impacto

O Vevo2 representa um avanço significativo na geração de áudio generativo ao:

1. Quebrar a barreira de dados: Ao remover a dependência de partituras musicais anotadas, torna a geração de canto escalável para grandes volumes de dados da internet.
2. Unificar a inteligência de voz: Prova que a modelagem unificada de fala e canto é superior ao tratamento isolado, criando um sistema mais robusto e generalizável.
3. Habilitar novas aplicações criativas: A capacidade de transformar instrumentos ou assobios em canto com controle preciso de estilo e timbre abre novas fronteiras para ferramentas de criação musical e assistentes de voz expressivos.

O código e os checkpoints do modelo serão disponibilizados publicamente no repositório Amphion.