Riepilogo Tecnico: VibE-SVC2 – Controllo dell'Espressione del Vibrato per la Conversione della Voce Cantata con Miglioramento del Controllo Indipendente

1. Problematica

La conversione della voce cantata (Singing Voice Conversion - SVC) mira a preservare il contenuto linguistico e la melodia convertendo al contempo il timbro, la prosodia e l'emozione del parlatore. Una sfida critica per ottenere una cantata naturale ed espressiva è lo disaccoppiamento degli stili di canto, specificamente il controllo indipendente degli stili legati al pitch (es. vibrato) e degli stili legati al timbro (es. vocal fry, voce aspirata, belt).

I metodi esistenti affrontano diverse limitazioni:

• Entanglement Pitch-Energia: Il vibrato è acusticamente caratterizzato non solo dalla fluttuazione del pitch, ma anche da oscillazioni periodiche sincronizzate della sonorità. I modelli precedenti spesso falliscono nel separare questi elementi, causando la fuga di informazioni di stile residue nel contorno dell'energia, degradando la qualità della conversione.
• Controllo Limitato: I lavori precedenti (es. VibE-SVC) permettevano il controllo sull'estensione del vibrato, ma mancavano del controllo indipendente sulla frequenza (rate) del vibrato. Inoltre, si affidavano a ID di stile predefiniti, limitando le capacità zero-shot.
• Artefatti Subarmonici: Le pipeline SVC convenzionali faticano con gli stili di fonazione come il vocal fry, che esibiscono caratteristiche subarmoniche. L'estrazione della frequenza fondamentale ($F_0$) standard spesso fallisce in questi casi, portando a salti di pitch e instabilità nella conversione del timbro.
• Attributi Accoppiati: Gli attributi dinamici nella produzione vocale umana sono intrinsecamente accoppiati. Manipolare un attributo (es. stile del pitch) spesso distorce altri (es. timbro o energia), rendendo difficile il controllo fine e indipendente.

2. Metodologia

Gli autori propongono VibE-SVC2, un framework unificato progettato per isolare strutturalmente la dinamica del pitch dagli attributi di energia e timbro. L'architettura si basa sulla Trasformata Wavelet Discreta (DWT) per decomporre il contorno di $F_0$ e introduce diversi moduli innovativi:

A. Energy Style Converter

Per risolvere l'entanglement pitch-energia, gli autori introducono un Energy Style Converter.

• Meccanismo: Simile al convertitore dello stile del pitch, riceve in input il contorno dell'energia a bassa frequenza e un ID di stile target. Esso predice il corrispondente contorno dell'energia ad alta frequenza (che contiene la modulazione periodica del vibrato).
• Integrazione: L'energia ad alta frequenza predetta viene aggiunta al contorno a bassa frequenza prima di essere elaborata dal modello SVC pre-addestrato. Ciò assicura che le caratteristiche del vibrato nel dominio dell'energia siano esplicitamente controllate e disaccoppiate dal contorno del pitch.

B. Zero-Shot Pitch Style Converter (ZSC)

Per consentire il trasferimento di stili di pitch da audio di riferimento non visti senza etichette esplicite:

• Meccanismo: Il modello si condiziona sul contorno di $F_0$ ad alta frequenza di un campione audio di riferimento anziché su un ID di stile.
• Architettura: Un encoder di stile ad alta frequenza genera un embedding di stile ($z_{style}$) dal contorno di riferimento. Questo embedding viene iniettato in ogni livello del convertitore dello stile del pitch utilizzando la Style Adaptive Layer Normalization (SALN).
• Addestramento: Il sistema è addestrato per ricostruire i contorni ad alta frequenza dell'audio sorgente utilizzando l'embedding di stile del riferimento.

C. Controllo Indipendente di Rate ed Estensione del Vibrato

Il framework consente un controllo fine sia sulla frequenza (rate) che sull'estensione del vibrato durante l'inferenza:

• Controllo dell'Estensione: Ottenuto scalando il contorno di $F_0$ ad alta frequenza con un fattore $\alpha$.
• Controllo della Frequenza (Rate): Ottenuto tramite la scalatura temporale del contorno di $F_0$ a bassa frequenza.
  • Per aumentare la frequenza: il contorno a bassa frequenza viene upsamplato (allungato nel tempo), elaborato dallo encoder di stile e poi downsamplato (compresso) nuovamente alla lunghezza originale.
  • Per diminuire la frequenza: l'ordine di upsampling e downsampling viene invertito.
• Formula: Il contorno finale è ricostruito come $\hat{x}^\beta[n] = x_{low}[n] + \alpha \cdot \hat{x}^\beta_{high}[n]$, permettendo la manipolazione indipendente di $\alpha$ (estensione) e $\beta$ (frequenza).

D. Conversione dello Stile del Timbro e Correzione Subarmonica (SHC)

Per gestire diverse stili di fonazione, incluso il vocal fry:

• Modularità: Una Tabella di Ricerca (LUT) dello stile cattura le caratteristiche globali di timbro e fonazione, agendo come un collo di bottiglia informativo per prevenire la fuga dello stile del pitch nella rappresentazione del timbro.
• Algoritmo SHC: Per affrontare il fallimento dell'estrazione di $F_0$ nel vocal fry (dovuto alle subarmoniche), gli autori propongono un algoritmo di Correzione Subarmonica:
  1. Trasforma il contorno di $F_0$ in scala logaritmica e calcola la differenza del primo ordine ($\Delta F_0$).
  2. Rileva i frame in cui la differenza assoluta supera una soglia (indicando salti di pitch/cadute tipiche delle subarmoniche).
  3. Filtra questi artefatti impostando la differenza a zero per i frame non sonoramente prodotti (unvoiced).
  4. Ricostruisce il contorno in modo autoregressivo.
  5. Allineamento della Moda: Scala il contorno corretto basandosi sulla moda della differenza tra il contorno originale e quello corretto (anziché sulla media) per evitare bias verso l'intervallo subarmonico.

3. Contributi Chiave

Il paper rivendica i seguenti contributi rispetto al suo predecessore (VibE-SVC) e ai baseline esistenti:

1. Energy Style Converter: Un modulo innovativo che risolve l'entanglement pitch-energia, eliminando efficacementamente la fuga residua di stile nel contorno dell'energia.
2. Scalatura Indipendente della Frequenza: Un metodo che consente il controllo indipendente della frequenza e dell'estensione del vibrato durante l'inferenza senza richiedere l'addestramento su parametri di frequenza specifici.
3. Zero-Shot Pitch Style Converter (ZSC): Un meccanismo per trasferire stili di pitch (inclusi vibrato e glissando) direttamente da audio di riferimento non visti.
4. Correzione Subarmonica (SHC): Un algoritmo che mitiga gli artefatti di salto del pitch nella conversione del vocal fry raffinando il contorno di $F_0$, permettendo un robusto trasferimento dello stile del timbro.
5. Framework Unificato: Un sistema che fornisce un controllo fine e indipendente sia sugli stili di pitch che di timbro, superando i metodi esistenti in accuratezza dello stile pur mantenendo una naturalezza competitiva e la somiglianza del parlatore.

4. Risultati Sperimentali

Gli autori hanno valutato VibE-SVC2 utilizzando i dataset VocalSet e GTSinger, confrontandolo con baseline come SoVITS-SVC, Serenade, Vevo1.5/2, NeuCoSVC2 e Seed-SVC.

• Conversione dello Stile del Pitch: VibE-SVC2 ha raggiunto la più alta Accuratezza dello Stile nella conversione tra stili vibrato e "straight", superando significativamente i baseline che faticavano a disaccoppiare le informazioni di stile. Ha mantenuto una naturalezza (nMOS) e una somiglianza del parlatore (SECS) comparabili.
• Prestazioni Zero-Shot: Nei compiti zero-shot, VibE-SVC2-ZSC ha ottenuto la migliore accuratezza media dello stile, in particolare nella conversione di stili glissando non visti, sebbene abbia mostrato una somiglianza del parlatore leggermente inferiore rispetto ai modelli che utilizzano l'audio di riferimento per il timbro (es. NeuCoSVC2).
• Controllabilità: Gli esperimenti hanno dimostato che la frequenza e l'estensione del vibrato possono essere scalate indipendentemente. L'accuratezza dello stile migliora fino a un'estensione ottimale ($\alpha \approx 3.0$) e una frequenza ($\beta < 2.0$), oltre le quali la naturalezza degrada.
• Conversione dello Stile del Timbro: L'inclusione di SHC ha migliorato significativamente l'accuratezza dello stile per la conversione del vocal fry rispetto ai baseline. Il modello ha convertito con successo tra stili straight, belt, breathy e vocal fry con alta accuratezza.
• Trade-off: Lo studio riconosce un compromesso: aumentare l'intensità dello stile (es. estensione estrema del vibrato o imposizione del vocal fry) può ridurre la somiglianza del parlatore (SECS) poiché le caratteristiche acustiche si spostano al di fuori della distribuzione del target. Inoltre, il disaccoppiamento strutturale per il controllo dello stile riduce leggermente la naturalezza rispetto ai baseline completamente entangled.

5. Significato e Rivendicazioni

Il paper posiziona VibE-SVC2 come un avanzamento significativo nella Singing Style Conversion (SSC). La sua importanza primaria risiede nel:

• Risolvere l'Entanglement: Affronta il problema di lungo termine del coupling pitch-energia nel vibrato, un problema non risolto dai precedenti modelli allo stato dell'arte.
• Controllo Granulare: Va oltre la semplice sostituzione globale del timbro per offrire un controllo indipendente e fine su stili dinamici localizzati (frequenza/estensione del vibrato) e stili di fonazione (vocal fry).
• Robustezza: L'algoritmo SHC fornisce una soluzione per convertire stili di fonazione difficili che tipicamente causano artefatti nelle pipeline SVC convenzionali.
• Capacità Zero-Shot: Il modulo ZSC estende l'applicabilità del framework ad audio di riferimento non visti, un passo cruciale verso un trasferimento di stile di canto pratico e flessibile.

Gli autori concludono che, sebbene esistano trade-off tra l'intensità dello stile e la preservazione dell'identità del parlatore, VibE-SVC2 riesce a bilanciare questi fattori per fornire un framework di conversione della voce cantata più espressivo e controllabile. Il lavoro futuro prevede l'integrazione del modello con la generazione di SVS/musica, l'esplorazione di prompt in linguaggio naturale per il controllo dello stile e il raffinamento dell'algoritmo SHC per gestire i segmenti non sonori in modo più robusto.