From A to B to A: Palindromic Zero-Shot Voice Conversion with Non-Parallel Data

Resumo Técnico: De A para B para A: Conversão de Voz Zero-Shot Palindrômica com Dados Não Paralelos

Definição do Problema
A conversão de voz (VC) visa transformar a fala de um locutor de origem para corresponder à identidade de um locutor alvo, preservando o conteúdo linguístico. As abordagens tradicionais baseadas em dados dependem de corpora paralelos (ุตterances alinhadas de diferentes locutores), que são caros e impraticáveis de coletar em escala. Embora métodos não paralelos tenham sido desenvolvidos, eles frequentemente enfrentam dificuldades no cenário "qualquer-para-qualquer" (any-to-any) zero-shot (onde tanto o locutor de origem quanto o alvo são inéditos durante o treinamento). As soluções existentes normalmente tentam o desmembramento (disentanglement) de conteúdo e informação de locutor usando supervisão linguística (ex: fonemas) ou aprendizado auto-supervisionado (SSL). No entanto, esses métodos enfrentam desafios: abordagens linguísticas são dependentes de idioma e requerem sistemas ASR/TTS, enquanto métodos de SSL baseados em desmembramento frequentemente sofrem com uma separação imperfeita, levando ao vazamento de informações do locutor ou à degradação da preservação do conteúdo. Além disso, a simples recuperação por K-Vizinhos Mais Próximos (KNN) em características SSL, embora eficaz, degrada-se em cenários one-shot devido à esparsidade dos vizinhos e aos dados limitados do alvo.

Metodologia
Os autores propõem um framework que permite o aprendizado supervisionado para VC zero-shot usando apenas dados não paralelos. A inovação central é uma estratégia de treinamento palindrômica que constrói pares de treinamento sintéticos sem exigir uterances de origem-alvo alinhadas.

1. Geração de Dados Sintéticos (A Fase "A para B"):

   • O sistema utiliza um modelo de aprendizado auto-supervisionado (SSL) pré-treinado, WavLM, para extrair características em nível de frame.
   • Para um dado segmento de fala real de alvo ($a_1$) e uma galeria de referência de locutor ($b_{ref}$), o sistema realiza uma recuperação KNN offline. Ele combina as características do alvo com o locutor de referência para gerar um conjunto de características de origem sintética ($\hat{B}_1$).
   • Isso cria um triplete de treinamento: uma origem sintética ($\hat{B}_1$), um alvo real ($a_1$) e um segmento de referência real adicional do locutor alvo ($a_2$).

2. Arquitetura do Modelo:

   • Encoder: Encoder WavLM pré-treinado.
   • Conversor: Um conversor latente baseado em Transformer treinado para mapear as características de origem sintética ($\hat{B}_1$) para as características acústicas do locutor alvo, produzindo características latentes ($\tilde{A}_1$).
   • Vocoder: Um vocoder HiFi-GAN treinado para reconstruir formas de onda a partir das características latentes.

3. Procedimento de Treinamento (Três Estágios):

   • Estágio 1 (Pré-treinamento do Vocoder): Um vocoder é treinado para reconstruir áudio a partir de características brutas do WavLM usando perdas de reconstrução (Multi-Resolution STFT) e treinamento adversarial (Multi-Period e Multi-Scale Discriminators).
   • Estágio 2 (Treinamento do Transformer): O Transformer é treinado para converter características sintéticas em características de alvo. A função de perda inclui:
     • Perda L1: Entre as características de alvo previstas e as reais (ground-truth).
     • Perda de Locutor (Speaker Loss): Uma perda de nível de forma de onda computada usando um modelo de verificação de locutor pré-treinado. Ela calcula a similaridade de cosseno e a distância L1 entre a forma de onda de referência ($a_2$) e a forma de onda convertida ($\tilde{a}_1$) para impor consistência de identidade.
   • Estágio 3 (Pós-treinamento do Vocoder): Uma nova instância de vocoder é treinada nas características convertidas produzidas pelo Transformer para se adaptar à distribuição específica de características, reduzendo artefatos e melhorando a naturalidade.

4. Inferência:

   • No tempo de inferência, o sistema opera diretamente sobre a fala real (não sintética). O modelo generaliza a partir do paradigma de treinamento sintético para realizar a conversão de voz real usando apenas uma curta fala de referência do locutor alvo.

Principais Contribuições

• Framework Zero-Shot Não Paralelo: Uma abordagem inovadora que aproveita a geração controlada de dados sintéticos (via recuperação KNN em características SSL) para permitir a conversão de locutor supervisionada sem dados de fala alinhados.
• Perda de Verificação de Locutor: A introdução de uma perda de nível de forma de onda derivada de um modelo de verificação de locutor, que otimiza diretamente a similaridade de locutor e garante a preservação consistente da identidade.
• Generalização Multilíngue: O sistema demonstra um forte desempenho translinguístico sem qualquer ajuste fino (fine-tuning) em dados não ingleses, apesar de ter sido treinado exclusivamente em dados de inglês.
• Desempenho: O método alcança uma similaridade de locutor e uma Taxa de Erro de Igualdade (EER) superiores em comparação com sistemas de estado da arte recentes (incluindo KNN-VC, Seed-VC e Vevo), mantendo uma Taxa de Erro de Palavra (WER), Taxa de Erro de Caractere (CER) e qualidade subjetiva (MOS/SMOS) comparáveis.

Resultos
Experimentos foram conduzidos nos datasets LibriSpeech (Inglês) e Multilingual LibriSpeech.

• Similaridade de Locutor: O método proposto supera os baselines em todas as durações de prompt (3s a 60s). Notavelmente, em configurações de poucos recursos (prompt de 3s), ele supera significativamente o KNN-VC, que sofre com a degradação da inteligibilidade e qualidade devido à esparsidade dos vizinhos.
• Inteligibilidade e Qualidade: O método mantém WER e CER comparáveis aos sistemas de estado da arte, indicando que os ganhos em similaridade de locutor não comprometem a preservação do conteúdo. Avaliações subjetivas (MOS e SMOS) mostram que o método alcança alta naturalidade e similaridade de locutor, particularmente em cenários de prompt curto.
• Desempenho Translinguístico: Quando testado em Holandês, Francês, Alemão, Italiano, Polonês, Português e Espanhol, o modelo alcançou melhorias consistentes em WER e manteve similaridade de locutor e pontuações DNS-MOS comparáveis aos concorrentes, apesar de nenhum ajuste fino não-inglês.
• Estudo de Ablação: A remoção do estágio de pós-treinamento do vocoder resultou em artefatos auditivos perceptíveis e menores pontuações DNS-MOS, confirmando a necessidade de adaptar o vocoder à distribuição de saída do Transformer.

Significância
O artigo afirma que a supervisão sintética controlada, combinada com objetivos explícitos de nível de locutor, oferece uma alternativa eficaz ao desmembramento tradicional baseado em conteúdo. Ao evitar a necessidade de corpora paralelos ou alinhamento linguístico explícito, o framework fornece um caminho escalável e eficiente em termos de dados para uma conversão de voz zero-shot de alta qualidade e "qualquer-para-qualquer". Os resultados sugerem que a estratégia "palindrômica" proposta preenche efetivamente a lacuna entre os dados de treinamento sintéticos e a inferência no mundo real, alcançando um desempenho robusto mesmo com dados de referência limitados e através de idiomas não vistos.