Resumo Técnico: VibE-SVC2 – Controle de Expressão de Vibrato para Conversão de Voz Cantada com Melhoria de Controle Independente

1. Declaração do Problema

A Conversão de Voz Cantada (SVC) visa preservar o conteúdo linguístico e a melodia enquanto converte o timbre, a prosódia e a emoção do falante. Um desafio crítico para alcançar uma cantoria natural e expressiva é o desmembramento dos estilos de canto, especificamente o controle independente dos estilos relacionados ao pitch (ex: vibrato) e dos estilos relacionados ao timbre (ex: vocal fry, soproso, belt).

Métodos existentes enfrentam diversas limitações:

• Emaranhamento Pitch-Energia: O vibrato é caracterizado acusticamente não apenas pela flutuação de pitch, mas também por oscilações periódicas de volume sincronizadas. Modelos anteriores frequentemente falham em separar esses elementos, causando o vazamento de informações de estilo residual para o contorno de energia, degradando a qualidade da conversão.
• Controle Limitado: Trabalhos anteriores (ex: VibE-SVC) permitiam o controle sobre a extensão do vibrato, mas careciam de controle independente sobre a taxa (rate) do vibrato. Além disso, dependiam de IDs de estilo predefinidos, limitando as capacidades zero-shot.
• Artefatos Subharmônicos: Pipelines convencionais de SVC têm dificuldade com estilos de fonação como o vocal fry, que exibem características subharmônicas. A extração de Frequência Fundamental ($F_0$) padrão frequentemente falha aqui, levando a saltos de pitch e conversão de timbre instável.
• Atributos Acoplados: Atributos dinâmicos na produção vocal humana são intrinsecamente acoplados. Manipular um atributo (ex: estilo de pitch) frequentemente distorce outros (ex: timbre ou energia), tornando o controle fino e independente difícil.

2. Metodologia

Os autores propõem o VibE-SVC2, um framework unificado projetado para isolar estruturalmente a dinâmica de pitch dos atributos de energia e timbre. A arquitetura baseia-se na Transformada Wavelet Discreta (DWT) para decompor o contorno de $F_0$ e introduz vários módulos inovadores:

A. Conversor de Estilo de Energia

Para resolver o emaranhamento pitch-energia, os autores introduzem um Conversor de Estilo de Energia.

• Mecanismo: Semelhante ao conversor de estilo de pitch, ele recebe o contorno de energia de baixa frequência e um ID de estilo alvo como entrada. Ele prevê o correspondente contorno de energia de alta frequência (que contém a modulação periódica do vibrato).
• Integração: A energia de alta frequência prevista é adicionada ao contorno de baixa frequência antes de ser processada pelo modelo SVC pré-treinado. Isso garante que as características de vibrato no domínio da energia sejam explicitamente controladas e desmembradas do contorno de pitch.

B. Conversor de Estilo de Pitch Zero-Shot (ZSC)

Para permitir a transferência de estilos de pitch de áudios de referência não vistos sem rótulos explícitos:

• Mecanismo: O modelo condiciona-se ao contorno de $F_0$ de alta frequência de uma amostra de áudio de referência em vez de um ID de estilo.
• Arquitetura: Um codificador de estilo de alta frequência gera um embedding de estilo ($z_{style}$) a partir do contorno de referência. Este embedding é injetado em cada camada do conversor de estilo de pitch usando Normalização de Camada Adaptativa de Estilo (SALN).
• Treinamento: O sistema é treinado para reconstruir os contornos de alta frequência do áudio de origem usando o embedding de estilo da referência.

C. Controle Independente de Taxa e Extensão de Vibrato

O framework permite o controle fino tanto da taxa quanto da extensão do vibrato durante a inferência:

• Controle de Extensão: Alcançado escalonando o contorno de $F_0$ de alta frequência por um fator $\alpha$.
• Controle de Taxa: Alcançado através do escalonamento temporal do contorno de $F_0$ de baixa frequência.
  • Para aumentar a taxa: O contorno de baixa frequência é upsampled (esticado no tempo), processado pelo codificador de estilo e, em seguida, downsampled (comprimido) de volta ao comprimento original.
  • Para diminuir a taxa: A ordem de upsampling e downsampling é invertida.
• Fórmula: O contorno final é reconstruído como $\hat{x}^\beta[n] = x_{low}[n] + \alpha \cdot \hat{x}^\beta_{high}[n]$, permitindo a manipulação independente de $\alpha$ (extensão) e $\beta$ (taxa).

D. Conversão de Estilo de Timbre e Correção Subharmônica (SHC)

Para lidar com diversos estilos de fonação, incluindo vocal fry:

• Modularidade: Uma Tabela de Consulta (LUT) de estilo captura características globais de timbre e fonação, atuando como um gargalo de informação para evitar o vazamento de estilo de pitch para a representação de timbre.
• Algoritmo SHC: Abordando a falha na extração de $F_0$ no vocal fry (devido a subharmônicos), os autores propõem um algoritmo de Correção Subharmônica:
  1. Transforma o contorno de $F_0$ para a escala logarítmica e calcula a primeira diferença ($\Delta F_0$).
  2. Detecta frames onde a diferença absoluta excede um limiar (indicando saltos/quedas de pitch típicos de subharmônicos).
  3. Filtra esses artefatos definindo a diferença como zero para frames não sonorosos (unvoiced).
  4. Reconstrói o contorno de forma autorregressiva.
  5. Alinhamento de Modo: Escala o contorno corrigido com base no modo da diferença entre o contorno original e o corrigido (em vez da média) para evitar viés em direção à faixa subharmônica.

3. Principais Contribuições

O artigo reivindica as seguintes contribuições sobre seu predecessor (VibE-SVC) e baselines existentes:

1. Conversor de Estilo de Energia: Um módulo inovador que resolve o emaranhamento pitch-energia, eliminando efetivamente o vazamento de estilo residual no contorno de energia.
2. Escalonamento de Taxa Independente: Um método que permite o controle independente da taxa e extensão do vibrato durante a inferência sem exigir treinamento em parâmetros de taxa específicos.
3. Conversor de Estilo de Pitch Zero-Shot (ZSC): Um mecanismo para transferir estilos de pitch (incluindo vibrato e glissando) diretamente de áudios de referência não vistos.
4. Correção Subharmônica (SHC): Um algoritmo que mitiga artefatos de salto de pitch na conversão de vocal fry, refinando o contorno de $F_0$, permitindo uma transferência de estilo de timbre robusta.
5. Framework Unificado: Um sistema que fornece controle fino e independente sobre estilos de pitch e timbre, superando métodos existentes em precisão de estilo enquanto mantém naturalidade e similaridade de falante competitivas.

4. Resultados Experimentais

Os autores avaliaram o VibE-SVC2 utilizando os datasets VocalSet e GTSinger, comparando-o com baselines como SoVITS-SVC, Serenade, Vevo1.5/2, NeuCoSVC2 e Seed-SVC.

• Conversão de Estilo de Pitch: O VibE-SVC2 alcançou a maior Precisão de Estilo na conversão entre estilos de vibrato e straight, superando significativamente os baselines que tinham dificuldade em desmembrar a informação de estilo. Manteve naturalidade (nMOS) e similaridade de falante (SECS) comparáveis.
• Desempenho Zero-Shot: Em tarefas zero-shot, o VibE-SVC2-ZSC alcançou a melhor precisão de estilo média, particularmente na conversão de estilo glissando não visto, embora tenha mostrado uma similaridade de falante ligeiramente inferior comparado a modelos que utilizam áudio de referência para timbre (ex: NeuCoSVC2).
• Controlabilidade: Experimentos demonstraram que a taxa e a extensão do vibrato podem ser escalonadas independentemente. A precisão do estilo melhorou até um escalonamento de extensão ideal ($\alpha \approx 3.0$) e de taxa ($\beta < 2.0$), pontos além dos quais a naturalidade degrada.
• Conversão de Estilo de Timbre: A inclusão do SHC melhorou significativamente a precisão de estilo para conversão de vocal fry em comparação aos baselines. O modelo converteu com sucesso entre estilos straight, belt, breathy e vocal fry com alta precisão.
• Trocas (Trade-offs): O estudo reconhece uma troca: aumentar a intensidade do estilo (ex: extensão extrema de vibrato ou imposição de vocal fry) pode reduzir a similaridade do falante (SECS), conforme as características acústicas se deslocam para fora da distribuição do falante alvo. Além disso, o desmembramento estrutural para controle de estilo reduziu levemente a naturalidade em comparação com baselines totalmente emaranhados.

5. Significância e Alegações

O artigo posiciona o VibE-SVC2 como um avanço significativo na Conversão de Estilo de Canto (SSC). Sua principal significância reside em:

• Resolver o Emaranhamento: Aborda a questão de longo prazo do acoplamento pitch-energia no vibrato, um problema não resolvido em modelos de estado da arte anteriores.
• Controle Granular: Vai além da substituição global de timbre para oferecer controle independente e fino sobre estilos dinâmicos localizados (taxa/extensão de vibrato) e estilos de fonação (vocal fry).
• Robustez: O algoritmo SHC fornece uma solução para converter estilos de fonação difíceis que tipicamente causam artefatos em pipelines de SVC convencionais.
• Capacidade Zero-Shot: O módulo ZSC estende a aplicabilidade do framework para áudios de referência não vistos, um passo crucial para a transferência de estilo de canto prática e flexível.

Os autores concluem que, embora existam trocas entre a intensidade do estilo e a preservação da identidade do falante, o VibE-SVC2 equilibra com sucesso esses fatores para fornecer um framework de conversão de voz cantada mais expressivo e controlável. O trabalho futuro planeja integrar o modelo com SVS/geração de música, explorar prompts de linguagem natural para controle de estilo e refinar o algoritmo SHC para lidar com segmentos não sonorosos de forma mais robusta.