Prosody-Guided Harmonic Attention for Phase-Coherent Neural Vocoding in the Complex Spectrum

Technische Samenvatting: Prosody-Guided Harmonic Attention voor een Fase-Coherente Neurale Vocoder

Probleemstelling
Ondanks het succes van neurale vocoders in spraaksynthese, kampen huidige state-of-the-art modellen met twee hardnekkige beperkingen: beperkte prosodie-modellering en onnauwkeurige fase-reconstructie. Conventionele benaderingen, zoals HiFi-GAN en WaveGlow, vertrouwen op mel-spectrogrammen als conditionele kenmerken. Hoewel efficiënt, zijn mel-spectrogrammen verlieslatend en niet-inverteerbaar, waardoor fijnmazige harmonische en fase-informatie verloren gaat. Dit leidt tot pitch-artefacten, vervaagde harmonieken en temporele discontinuïteiten, met name bij expressieve of prosodisch rijke uitingen. Bovendien, hoewel sommige recente modellen (bijv. Vocos, BigVGAN) zijn overgestapt naar spectrale domeinvoorspelling of pitch-bewuste conditionering, falen zij vaak in het expliciet benutten van prosodie-bewuste mechanismen zoals harmonic attention of het gezamenlijk modelleren van amplitude en fase in een verenigd, fase-coherent kader.

Methodologie
De auteurs stellen een neurale vocoder-architectuur voor die ontworpen is om zowel prosodie- als fase-informatie te vangen voor hoogwaardige golfvormgeneratie. Het systeem opereert direct in het complexe spectrale domein in plaats van in het mel-spectrogram-domein. De architectuur bestaat uit drie primaire componenten:

1. Prosody-Guided Harmonic Attention:
   Het model extraheert de fundamentele frequentie (F0) uit de referentiegolfvorm met behulp van het Harvest-algoritme. Deze F0-contour wordt ingebed en geïnjecteerd in het encoder-decoderpad via een harmonic attention-mechanisme. In tegenstelling tot modellen die pitch behandelen als een eenvoudige hulpkenmerk, berekent deze module attention-gewichten op basis van de interactie tussen gecodeerde spectrale kenmerken ($H$) en F0-embeddings ($F$). Dit mechanisme stemt de gecodeerde representatie expliciet af op de harmonische structuur die door de F0 wordt aangegeven, waarbij stemhebbende regio's en harmonische structuren worden benadrukt, terwijl onstemhebbende frames ongemoeid blijven.

2. Directe Complexe Spectrumvoorspelling:
   De decoder opereert direct in het complexe Short-Time Fourier Transform (STFT) domein. In plaats van enkel amplitude-kenmerken te voorspellen en de fase heuristisch te reconstrueren, voorspelt het model gelijktijdig de reële en imaginaire componenten van het spectrum. De output wordt gesplitst in reële ($\hat{R}$) en imaginaire ($\hat{I}$) delen, wat een complex spectrum $\hat{S} = \hat{R} + j\hat{I}$ vormt. Dit spectrum wordt via de Inverse STFT (ISTFT) omgezet in een golfvorm, wat de fase-coherentie bij constructie waarborgt en de noodzaak voor post-hoc fase-schatting elimineert.

3. Multi-Objective Perceptuele Optimalisatie:
   De training maakt gebruik van een multi-objective verliesfunctie die drie termen combineert:

• Multi-resolution ST-ST Loss: Biedt stabiele spectrale supervisie over meerdere analysevensters om de harmonische structuur en spectrale enveloppen te vangen.
• Adversarial Loss: Een lichtgewicht opstelling met multi-period en multi-resolution discriminatoren die opereren op golfvormen gereconstrueerd uit het voorspelde complexe spectrum om de perceptuele realiteit te verbeteren.
• Phase-Aware Loss: Een nieuwe term die wordt berekend tussen de voorspelde en referentie complexe spectra. Door te normaliseren naar een eenheidsamplitude, richt deze loss zich uitsluitend op fase-afstemming, waardoor fase-coherentie wordt afgedwongen onafhankelijk van amplitude-schaling.

Belangrijkste Bijdragen
Het artikel identificeert drie belangrijke innovaties:

1. Prosody-Guided Harmonic Attention: Een mechanisme dat F0 gebruikt om spectrale modellering te conditioneren, wat de prosodische getrouwheid in de coderingsfase verbetert door stemhebbende regio's te benadrukken.
2. Directe Complexe Spectrumvoorspelling: Een verenigd kader dat zowel amplitude als fase (reële en imaginaire componenten) voorspelt, wat een fase-coherente golfvormreconstructie via inverse STFT mogelijk maakt zonder ontkoppeling.
3. Multi-Objective Perceptuele Training: Een optimalisatiestrategie die adversariële, spectrale en fase-bewuste losses integreert om beter aan te sluiten bij de perceptuele kwaliteit en fase-coherentie.

Experimentele Resultaten
Experimenten werden uitgevoerd op de LJSpeech en VCTK corpora, waarbij het voorgestelde systeem werd vergeleken met HiFi-GAN, AutoVocoder, Vocos en een Griffin-Lim anker. De resultaten tonen consistente winst aan over zowel objectieve als subjectieve metrieken:

• Pitch Nauwkeurigheid: De F0 Root Mean Squared Error (RMSE) werd met 22% verminderd ten opzichte van HiFi-GAN en met 18% ten opzichte van AutoVocoder.
• Prosodische Betrouwbaarheid: De Voiced/Unvoiced (V/UV) foutmarge werd met 18% verlaagd ten opzichte van HiFi-GAN.
• Perceptuele Kwaliteit: De Mean Opinion Score (MOS) verbeterde naar 4,45, waarmee het HiFi-GAN (4,2), AutoVocoder (4,3) en Vocos (4,1) overtreft. In voorkeurstesten gaven luisteraars in 88% van de gevallen de voorkeur aan het voorgestelde systeem.
• Spectrale Getrouwheid: Analyse van de residuele mel-energie toonde aan dat het voorgestelde model lagere residuen behield en de referentie-harmonieken nauwer volgde dan de baselines, wat wijst op verminderde temporele uitsmering.

Betekenis en Claims
De auteurs beweren dat dit werk een verenigde vocoder-architectuur vestigt die langdurige hiaten in prosodie- en fase-modellering aanpakt. Door prosodie-gestuurde attention te combineren met directe complexe spectrumvoorspelling, levert het systeem meer natuurlijke, pitch-nauwkeurige en robuuste synthetische spraak. Het artikel stelt dat het gelijktijdig modelleren van prosodie en fase-coherentie cruciaal is voor geavanceerde toepassingen zoals stemklonering, emotionele spraaksynthese en hersen-naar-spraak decodering, waarbij getrouwe prosodie-reproductie essentieel is. Het werk legt een fundament voor expressieve neurale vocoding door aan te tonen dat gezamenlijke amplitude-fase modellering, gestuurd door prosodische cues, traditionele mel-spectrogram-gebaseerde benaderingen overtreft.