Prosody-Guided Harmonic Attention for Phase-Coherent Neural Vocoding in the Complex Spectrum

Resumen Técnico: Atención Armónica Guiada por la Prosodia para un Vocoder Neuronal con Coherencia de Fase

Planteamiento del Problema
A pesar del éxito de los vocoders neuronales en la síntesis de voz, los modelos de vanguardia actuales enfrentan dos limitaciones persistentes: un modelado de la prosodia limitado y una reconstrucción de fase inexacta. Los enfoques convencionales, como HiFi-GAN y WaveGlow, dependen de espectrogramas mel como características de condicionamiento. Aunque son eficientes, los espectrogramas mel son con pérdida de información y no invertibles, descartando información armónica y de fase detallada. Esto provoca artefactos de tono, armónicos difusos y discontinuidades temporales, particularmente en elocuciones expresivas o ricas en prosodia. Además, aunque algunos modelos recientes (por ejemplo, Vocos, BigVGAN) se han desplazado hacia la predicción en el dominio espectral o el condicionamiento sensible al tono, a menudo no logran aprovechar explícitamente mecanismos conscientes de la prosodia, como la atención armónica, o modelar conjuntamente la magnitud y la fase en un marco unificado y coherente de fase.

Metodología
Los autores proponen una arquitectura de vocoder neuronal diseñada para capturar tanto la prosodia como la información de fase para la generación de formas de onda de alta fidelidad. El sistema opera directamente en el dominio espectral complejo en lugar del dominio del espectrograma mel. La arquitectura consta de tres componentes principales:

1. Atención Armónica Guiada por la Prosodia:
   El modelo extrae la frecuencia fundamental (F0) de la forma de onda de referencia utilizando el algoritmo Harvest. Este contorno de F0 es incrustado e inyectado en la vía de codificador-decodificador mediante un mecanismo de atención armónica. A diferencia de los modelos que tratan el tono como una simple característica auxiliar, este módulo calcula los pesos de atención basados en la interacción entre las características espectrales codificadas ($H$) y las incrustaciones de F0 ($F$). Este mecanismo alinea explícitamente la representación codificada con la estructura armónica indicada por la F0, enfatizando las regiones sonorizadas y las estructuras armónicas mientras deja sin efecto los cuadros sordos.

2. Predicción Directa del Espectro Complejo:
   El decodificador opera directamente en el dominio de la Transformada de Fourier de Tiempo Corto (STFT) compleja. En lugar de predecir únicamente características de magnitud y reconstruir la fase de forma heurística, el modelo predice simultáneamente las componentes reales e imaginarias del espectro. El resultado se divide en partes real ($\hat{R}$) e imaginaria ($\hat{I}$), formando un espectro complejo $\hat{S} = \hat{R} + j\hat{I}$. Este espectro se convierte en una forma de onda mediante la STFT Inversa (ISTFT), asegurando la coherencia de fase por construcción y eliminando la necesidad de una estimación de fase post-hoc.

3. Optimización Perceptual de Objetivos Múltiples:
   El entrenamiento utiliza una función de pérdida de objetivos múltiples que combina tres términos:

• Pérdida de STFT de Multi-resolución (MR-STFT): Proporciona una supervisión espectral estable a través de múltiples ventanas de análisis para capturar la estructura armónica y las envolventes espectrales.
• Pérdida Adversaria: Una configuración ligera que utiliza discriminadores de período múltiple y resolución múltiple que operan sobre las formas de onda reconstruidas a partir del espectro complejo predicho para mejorar el realismo perceptual.
• Pérdida Sensible a la Fase: Un término novedoso computado entre los espectros predichos y de referencia. Al normalizar a magnitud unitaria, esta pérdida se enfoca exclusivamente en el alineamiento de fase, imponiendo la coherencia de fase independientemente del escalado de amplitud.

Contribuciones Clave
El artículo identifica tres innovaciones principales:

1. Atención Armónica Guiada por la Prosodia: Un mecanismo que aprovecha la F0 para condicionar el modelado espectral, mejorando la fidelidad prosódica en la etapa de codificación al enfatizar las regiones sonorizadas.
2. Predicción Directa del Espectro Complejo: Un marco unificado que predice tanto la magnitud como la fase (componentes real e imaginaria), permitiendo la reconstrucción de la forma de onda coherente en fase mediante la STFT inversa sin desacoplamiento.
3. Entrenamiento Perceptual de Objetivos Múltiples: Una estrategia de optimización que integra pérdidas adversarias, espectrales y sensibles a la fase para alinearse mejor con la calidad perceptual y la coherencia de fase.

Resultados Experimentales
Los experimentos se realizaron en los corpus LJSpeech y VCTK, comparando el sistema propuesto contra HiFi-GAN, AutoVocoder, Vocos y un ancla de Griffin-Lim. Los resultados demuestran ganancias consistentes en métricas objetivas y subjetivas:

• Precisión de Tono: El error cuadrático medio (RMSE) de la F0 se redujo en un 22% en comparación con HiFi-GAN y en un 18% en comparación con AutoVocoder.
• Fiabilidad Prosódica: La tasa de error de Sonoro/Sordo (V/UV) disminuyó en un 18% respecto a HiFi-GAN.
• Calidad Perceptual: La Puntuación de Opinión Media (MOS) mejoró hasta alcanzar 4.45, superando a HiFi-GAN (4.2), AutoVocoder (4.3) y Vocos (4.1). En las pruebas de preferencia, los oyentes favorecieron al sistema propuesto en el 88% de los casos.
• Fidelidad Espectral: El análisis de la energía mel residual mostró que el modelo propuesto mantuvo residuales más bajos y siguió más de cerca los armónicos de referencia que las líneas base, lo que indica una reducción del emborronamiento temporal.

Significancia y Reivindicaciones
Los autores afirman que este trabajo establece una arquitectura de vocoder unificada que aborda brechas de larga data en el modelado de la prosodia y la fase. Al combinar la atención guiada por la prosodia con la predicción directa del espectro complejo, el sistema produce una voz más natural, precisa en su tono y robusta. El artículo postula que el modelado explícito de la prosodia y la coherencia de fase simultáneamente es crítico para aplicaciones avanzadas como la clonación de voz, la síntesis de voz emocional y la decodificación de cerebro a habla, donde la reproducción fiel de la prosodia es esencial. El trabajo sienta las bases para la vocodificación neural expresiva al demostrar que el modelado conjunto de magnitud-fase, guiado por claves prosódicas, supera a los enfoques tradicionales basados en espectrogramas mel.