Prosody-Guided Harmonic Attention for Phase-Coherent Neural Vocoding in the Complex Spectrum

Sintesi Tecnica: Prosody-Guided Harmonic Attention per un Vocoder Neurale a Coerenza di Fase

Problematica
Nonostante il successo dei vocoder neurali nella sintesi del parlato, gli attuali modelli allo stato dell'arte affrontano due limitazioni persistenti: una modellazione della prosodia limitata e una ricostruzione della fase imprecisa. Gli approcci convenzionali, come HiFi-GAN e WaveGlow, si affidano ai mel-spettrogrammi come caratteristiche di condizionamento. Sebbene efficienti, i mel-spettrogrammi sono perditivi e non invertibili, scartando informazioni armoniche e di fase fini. Ciò porta ad artefatti di pitch, armoniche sfocate e discontinuità temporali, particolarmente in enunciati espressivi o ricchi di prosodia. Inoltre, sebbene alcuni modelli recenti (ad es. Vocos, BigVGAN) si siano spostati verso la predizione nel dominio spettrale o il condizionamento consapevole del pitch, essi spesso non riescono a sfruttare esplicitamente meccanismi consapevoli della prosodia come l'attenzione armonica o a modellare congiuntamente magnitudo e fase in un framework unificato e coerente con la fase.

Metodologia
Gli autori propongono un'architettura di vocoder neurale progettata per catturare sia la prosodia che l'informazione di fase per la generazione di forme d'onda ad alta fedeltà. Il sistema opera direttamente nel dominio spettrale complesso piuttosto che nel dominio dei mel-spettrogrammi. L'architettura è composta da tre componenti primarie:

1. Prosody-Guided Harmonic Attention (Attenzione Armonica Guidata dalla Prosodia):
   Il modello estrae la frequenza fondamentale (F0) dalla forma d'onda di riferimento utilizzando l'algoritmo Harvest. Questa contorno di F0 viene incorporato e iniettato nella via encoder-decoder tramite un meccanismo di attenzione armonica. A differenza dei modelli che trattano il pitch come una semplice caratteristica ausiliaria, questo modulo calcola i pesi di attenzione basandosi sull'interazione tra le caratteristiche spettrali codificate ($H$) e gli embedding di F0 ($F$). Questo meccanismo allinea esplicitamente la rappresentazione codificata con la struttura armonica indicata dalla F0, enfatizzando le regioni eccitate e le strutture armoniche, lasciando invece invariati i frame non eccitati.

2. Direct Complex-Spectrum Prediction (Predizione Diretta dello Spettro Complesso):
   Il decoder opera direttamente nel dominio della Short-Time Fourier Transform (STFT) complessa. Invece di predire solo caratteristiche di magnitudo e ricostruire la fase in modo euristico, il modello predice simultaneamente le componenti reali e immaginarie dello spettro. L'output è suddiviso nelle parti reale ($\hat{R}$) e immaginaria ($\hat{I}$), formando uno spettro complesso $\hat{S} = \hat{R} + j\hat{I}$. Questo spettro viene convertito in una forma d'onda tramite la STFT inversa (ISTFT), garantendo la coerenza di fase per costruzione ed eliminando la necessità di una stima della fase post-hoc.

3. Multi-Objective Perceptual Optimization (Ottimizzazione Percettiva Multi-Obiettivo):
   L'addestramento utilizza una funzione di perdita multi-obiettivo che combina tre termini:

• Multi-resolution STFT (MR-STFT) Loss: Fornisce una supervisione spettrale stabile attraverso molteplici finestre di analisi per catturare la struttura armonica e gli inviluppi spettrali.
• Adversarial Loss: Un setup leggero che utilizza discriminatori multi-periodici e multi-risoluzione operanti sulle forme d'onda ricostruite dallo spettro complesso predetto per migliorare il realismo percettivo.
• Phase-Aware Loss (Perdita Consapevole della Fase): Un termine innovativo calcolato tra gli spettri complessi predetti e di riferimento. Normalizzando alla magnitudo unitaria, questa perdita si concentra esclusivamente sull'allineamento della fase, imponendo la coerenza di fase indipendentemente dalla scala di ampiezza.

Contributi Chiave
Il documento identifica tre innovazioni principali:

1. Prosody-Guided Harmonic Attention: Un meccanismo che sfrutta la F0 per condizionare la modellazione spettrale, migliorando la fedeltà prosodica nella fase di codifica enfatizzando le regioni eccitate.
2. Direct Complex-Spectrum Prediction: Un framework unificato che predice sia la magnitudo che la fase (componenti reali e immaginarie), consentendo una ricostruzione della forma d'onda coerente con la fase tramite ISTFT senza disaccoppiamento.
3. Multi-Objective Perceptual Training: Una strategia di ottimizzazione che integra perdite avversarie, spettrali e di consapevolezza della fase per allinearsi meglio alla qualità percettiva e alla coerenza di fase.

Risultati Sperimentali
Gli esperimenti sono stati condotti sui corpora LJSpeech e VCTK, confrontando il sistema proposto con HiFi-GAN, AutoVocoder, Vocos e un anchor Griffin-Lim. I risultati dimostrano guadagni costanti in termini di metriche oggettive e soggettive:

• Accuratezza del Pitch: L'errore quadratico medio (RMSE) della F0 è stato ridotto del 22% rispetto a HiFi-GAN e del 18% rispetto ad AutoVocoder.
• Affidabilità Prosodica: Il tasso di errore Voiced/Unvoiced (V/UV) è stato abbassato del 18% rispetto a HiFi-GAN.
• Qualità Percettiva: Il Mean Opinion Score (MOS) è migliorato raggiungendo 4.45, superando HiFi-GAN (4.2), AutoVocoder (4.3) e Vocos (4.1). Nei test di preferenza, gli ascoltatori hanno favorito il sistema proposto nell'88% dei casi.
• Fedeltà Spettrale: L'analisi dell'energia mel residua ha mostrato che il modello proposto mantiene residui inferiori e segue più da vicino le armoniche di riferimento rispetto ai baseline, indicando una riduzione dello smearing temporale.

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro stabilisce un'architettura di vocoder unificata che affronta le lacune di lunga data nella modellazione della prosodia e della fase. Combinando l'attenzione guidata dalla prosodia con la predizione diretta dello spettro complesso, il sistema produce un parlato più naturale, accurato nel pitch e robusto. Il documento sostiene che la modellazione simultanea e esplicita di prosodia e coerenza di fase sia critica per applicazioni avanzate come il voice cloning, la sintesi del parlato emotivo e la decodifica dal cervello al parlato, dove la fedele riproduzione della prosodia è essenziale. Il lavoro pone le basi per una vocoding neurale espressiva, dimostrando che la modellazione congiunta di magnitudo-fase, guidata da indizi prosodici, supera gli approcci tradizionali basati sui mel-spettrogrammi.