Prosody-Guided Harmonic Attention for Phase-Coherent Neural Vocoding in the Complex Spectrum

Resumo Técnico: Atenção Harmônica Guiada por Prosódia para Vocoder Neural com Coerência de Fase

Declaração do Problema
Apesar do sucesso dos vocoders neurais na síntese de fala, os modelos de estado da arte atuais enfrentam duas limitações persistentes: modelagem de prosódia limitada e reconstrução de fase imprecisa. Abordagens convencionais, como HiFi-GAN e WaveGlow, dependem de espectrogramas mel como características de condicionamento. Embora eficientes, os espectrogramas mel são perdedores de informação e não invertíveis, descartando informações harmônicas e de fase detalhadas. Isso leva a artefatos de tom (pitch), harmônicos borrados e descontinuidades temporais, particularmente em enunciados expressivos ou prosodicamente ricos. Além disso, embora alguns modelos recentes (ex: Vocos, BigVGAN) tenham migrado para a predição no domínio espectral ou condicionamento consciente de tom, eles frequentemente falham em alavancar explicitamente mecanismos conscientes de prosódia, como a atenção harmônica, ou em modelar conjuntamente magnitude e fase em um framework unificado e coerente de fase.

Metodologia
Os autores propõem uma arquitetura de vocoder neural projetada para capturar tanto a prosódia quanto a informação de fase para a geração de formas de onda de alta fidelidade. O sistema opera diretamente no domínio espectral complexo, em vez do domínio do espectrograma mel. A arquitetura consiste em três componentes primários:

1. Atenção Harmônica Guiada por Prosódia:
   O modelo extrai a frequência fundamental (F0) da forma de onda de referência usando o algoritmo Harvest. Este contorno de F0 é incorporado e injetado na via codificador-decodificador através de um mecanismo de atenção harmônica. Diferente de modelos que tratam o tom como uma simples característica auxiliar, este módulo computa pesos de atenção baseados na interação entre as características espectrais codificadas ($H$) e os embeddings de F0 ($F$). Este mecanismo alinha explicitamente a representação codificada com a estrutura harmônica indicada pelo F0, enfatizando regiões sonorizadas e estruturas harmônicas, enquanto deixa os quadros não sonorizados inalterados.

2. Predição Direta de Espectro Complexo:
   O decodificador opera diretamente no domínio da Transformada de Fourier de Curto Prazo (STFT) complexa. Em vez de predizer apenas características de magnitude e reconstruir a fase heuristicamente, o modelo prediz simultaneamente as componentes real e imaginária do espectro. O output é dividido em partes real ($\hat{R}$) e imaginária ($\hat{I}$), formando um espectro complexo $\hat{S} = \hat{R} + j\hat{I}$. Este espectro é convertido em uma forma de onda via ISTFT (Transformada Inversa de Fourier de Curto Prazo), garantindo a coerência de fase por construção e eliminando a necessidade de estimativa de fase post-hoc.

3. Otimização Perceptual de Múltiplos Objetivos:
   O treinamento utiliza uma função de perda de múltiplos objetivos combinando três termos:

• Perda de STFT de Múltiplas Resoluções (MR-STFT): Fornece supervisão espectral estável através de múltiplas janelas de análise para capturar a estrutura harmônica e os envelopes espectrais.
• Perda Adversária: Uma configuração leve utilizando discriminadores de múltiplos períodos e múltiplas resoluções operando em formas de onda reconstruídas a partir do espectro complexo predito para aumentar o realismo perceptual.
• Perda Consciente de Fase: Um termo inovador computado entre os espectros complexos preditos e de referência. Ao normalizar para magnitude unitária, esta perda foca exclusivamente no alinhamento de fase, impondo coerência de fase independentemente da escala de amplitude.

Principais Contribuições
O artigo identifica três inovações:

1. Atenção Harmônica Guiada por Prosódia: Um mecanismo que utiliza o F0 para condicionar a modelagem espectral, melhorando a fidelidade prosódica na etapa de codificação ao enfatizar regiões sonorizadas.
2. Predição Direta de Espectro Complexo: Um framework unificado que prediz tanto magnitude quanto fase (componentes reais e imaginárias), permitindo a reconstrução de forma de onda coerente de fase via ISTFT sem desacoplamento.
3. Treinamento Perceptual de Múltiplos Objetivos: Uma estratégia de otimização integrando perdas adversárias, espectrais e de fase para melhor alinhar o modelo com a qualidade perceptual e a coerência de fase.

Resultados Experimentais
Experimentos foram conduzidos nos corpora LJSpeech e VCTK, comparando o sistema proposto contra HiFi-GAN, AutoVocoder, Vocos e um âncora Griffin-Lim. Os resultados demonstram ganhos consistentes em métricas objetivas e subjetivas:

• Precisão de Tom (Pitch): O Erro Quadrático Médio (RMSE) de F0 foi reduzido em 22% em relação ao HiFi-GAN e 18% em relação ao AutoVocoder.
• Confiabilidade Prosódica: A taxa de erro de Sonoro/Não-Sonoro (V/UV) foi reduzida em 18% em relação ao HiFi-GAN.
• Qualidade Perceptual: O Mean Opinion Score (MOS) melhorou para 4.45, superando HiFi-GAN (4.2), AutoVocoder (4.3) e Vocos (4.1). Em testes de preferência, os ouvintes favoreceram o sistema proposto em 88% dos casos.
• Fidelidade Espectral: A análise do resíduo de energia mel mostrou que o modelo proposto manteve resíduos menores e acompanhou os harmônicos de referência mais de perto do que os baselines, indicando redução de borramento temporal (temporal smearing).

Significância e Alegações
Os autores alegam que este trabalho estabelece uma arquitetura de vocoder unificada que aborda lacunas de longa data na modelagem de prosódia e fase. Ao combinar atenção guiada por prosódia com predição direta de espectro complexo, o sistema produz fala sintética mais natural, precisa em tom e robusta. O artigo postula que modelar explicitamente a prosódia e a coerência de fase simultaneamente é crítico para aplicações avançadas, como clonagem de voz, síntese de fala emocional e decodificação de fala via interface cérebro-máquina, onde a reprodução fiel da prosódia é essencial. O trabalho estabelece uma base para a vocoding neural expressiva ao demonstrar que a modelagem conjunta de magnitude-fase, guiada por pistas prosódicas, supera as abordagens tradicionais baseadas em espectrogramas mel.