Technische Samenvatting: VibE-SVC2 – Vibrato Expressie Controle voor Singing Voice Conversion met Verbeterde Onafhankelijke Controle

1. Probleemstelling

Singing Voice Conversion (SVC) streeft ernaar linguïstische inhoud en melodie te behouden terwijl de stemklank (timbre), prosodie en emotie van de spreker worden omgezet. Een cruciale uitdaging bij het bereiken van natuurlijke, expressieve zang is de ontkoppeling van zangstijlen, specifiek de onafhankelijke controle over toonhoogtegerelateerde stijlen (bijv. vibrato) en timbregerelateerde stijlen (bijv. vocal fry, ademend, belt).

Bestaande methoden kampen met verschillende beperkingen:

• Pitch-Energy Entanglement: Vibrato wordt akoestisch gekenmerkt, niet alleen door fluctuaties in toonhoogte, maar ook door gesynchroniseerde periodieke luidheidsoscillaties. Eerdere modellen slagen er vaak niet in deze te scheiden, waardoor residu van stijlinformatie in de energiegrafiek lekt, wat de conversiekwaliteit verslechtert.
• Beperkte Controleerbaarheid: Eerdere werken (bijv. VibE-SVC) maakten controle mogelijk over de omvang van vibrato, maar misten onafhankelijke controle over de snelheid van vibrato. Bovendien vertrouwden ze op vooraf gedefinieerde stijl-ID's, wat de zero-shot mogelijkheden beperkte.
• Subharmonische Artefacten: Conventionele SVC-pipelines hebben moeite met fonatievormen zoals vocal fry, die subharmonische kenmerken vertonen. Standaard $F_0$-extractie faalt hier vaak, wat leidt tot sprongen in de toonhoogte en instabiele timbreconversie.
• Gekoppelde Attributen: Dynamische attributen in de menselijke stemproductie zijn inherent gekoppeld. Het manipuleren van één attribuut (bijv. toonhoogtestijl) verstoort vaak andere attributen (bijv. timbre of energie), waardoor fijne, onafhankelijke controle moeilijk wordt.

2. Methodologie

De auteurs stellen VibE-SVC2 voor, een verenigd framework dat ontworpen is om de toonhoogtedynamiek structureel te isoleren van energie- en timbre-attributen. De architectuur bouwt voort op de Discrete Wavelet Transform (DWT) om de $F_0$-contour te ontleden en introduceert verschillende nieuwe modules:

A. Energy Style Converter

Om de pitch-energy entanglement op te lossen, introduceren de auteurs een Energy Style Converter.

• Mechanisme: Vergelijkbaar met de pitch style converter, neemt deze een laagfrequente energiegrafiek en een doel-stijl ID als input. Het voorspelt de bijbehorende hoogfrequente energiegrafiek (die de periodieke vibrato-modulatie bevat).
• Integratie: De voorspelde hoogfrequente energie wordt toegevoegd aan de laagfrequente contour voordat deze door het getrainde SVC-model wordt verwerkt. Dit zorgt ervoor dat vibratiekenmerken in het energiedomein expliciet worden gecontroleerd en ontkoppeld van de toonhoogtecontour.

B. Zero-Shot Pitch Style Converter (ZSC)

Om de overdracht van toonhoogtestijlen van ongeziene referentieaudio mogelijk te maken zonder expliciete labels:

• Mechanisme: Het model conditioneert op de hoogfrequente $F_0$-contour van een referentie-audiovoorbeeld in plaats van een stijl-ID.
• Architectuur: Een hoogfrequente stijlencoder genereert een stijl-embedding ($z_{style}$) uit de referentiecontour. Deze embedding wordt via Style Adaptive Layer Normalization (SALN) in elke laag van de pitch style converter geïnjecteerd.
• Training: Het systeem wordt getraind om de hoogfrequente contouren van de bronaudio te reconstrueren met behulp van de stijl-embedding van de referentie.

C. Onafhankelijke Vibrato Rate en Extent Control

Het framework maakt fijne controle mogelijk over zowel de snelheid (rate) als de omvang (extent) van vibrato tijdens de inferentie:

• Extent Control: Wordt bereikt door de hoogfrequente $F_0$-contour te schalen met een factor $\alpha$.
• Rate Control: Wordt bereikt door temporele schaling van de laagfrequente $F_0$-contour.
  • Om de snelheid te verhogen: De laagfrequente contour wordt upsampled (in de tijd uitgerekt), verwerkt door de stijlencoder, en vervolgens gedownsampled (samengedrukt) naar de oorspronkelijke lengte.
  • Om de snelheid te verlagen: De volgorde van upsampling en downsampling wordt omgedraaid.
• Formule: De uiteindelijke contour wordt gereconstrueerd als $\hat{x}^\beta[n] = x_{low}[n] + \alpha \cdot \hat{x}^\beta_{high}[n]$, wat onafhankelijke manipulatie van $\alpha$ (extent) en $\beta$ (rate) mogelijk maakt.

D. Timbre Style Conversion en Subharmonic Correction (SHC)

Om diverse fonatievormen te behandelen, inclusief vocal fry:

• Modulariteit: Een stijl Lookup Table (LUT) legt globale timbre- en fonatiekenmerken vast, wat fungeert als een informatie-bottleneck om te voorkomen dat pitch-stijl lekt naar de timbre-representatie.
• SHC Algoritme: Ter adressering van het falen van $F_0$-extractie bij vocal fry (door subharmonische frequenties), stellen de auteurs een Subharmonic Correction algoritme voor:
  1. Transformeer de $F_0$-contour naar de log-schaal en bereken het eerste-orde verschil ($\Delta F_0$).
  2. Detecteer frames waar het absolute verschil een drempelwaarde overschrijdt (wat wijst op toonhoogtesprongen/val die typerend zijn voor subharmonische frequenties).
  3. Filter deze artefacten door het verschil op nul te zetten voor onversterkte (unvoiced) frames.
  4. Reconstrueer de contour autoregressief.
  5. Mode Alignment: Schaal de gecorrigeerde contour op basis van de modus van het verschil tussen de originele en gecorrigeerde contour (in plaats van het gemiddelde) om bias richting het subharmonische bereik te voorkomen.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen ten opzichte van de voorganger (VibE-SVC) en bestaande baselines:

1. Energy Style Converter: Een nieuwe module die de pitch-energy entanglement oplost, waardoor residuële stijl-lekkage in de energiegrafiek effectief wordt geëlimineerd.
2. Onafhankelijke Rate Scaling: Een methode die onafhankelijke controle over vibrato rate en extent tijdens de inferentie mogelijk maakt zonder dat er training op specifieke rate-parameters nodig is.
3. Zero-Shot Pitch Style Converter (ZSC): Een mechanisme om toonhoogtestijlen (inclusclusief vibrato en glissando) direct over te dragen van ongeziene referentieaudio.
4. Subharmonic Correction (SHC): Een algoritme dat toonhoogtesprong-artefacten bij vocal fry conversie vermindert door de $F_0$-contour te verfijnen, wat robuuste timbre-stijloverdracht mogelijk maakt.
5. Verenigd Framework: Een systeem dat fijne, onafhankelijke controle biedt over zowel toonhoogte- als timbrestijlen, waarbij het bestaande methoden overtreft in stijlaccuratesse terwijl een concurrerende natuurlijkheid en sprekersgelijkenis behouden blijft.

4. Experimentele Resultaten

De auteurs evalueerden VibE-SVC2 met de VocalSet en GTSinger datasets, waarbij ze werden vergeleken met baselines zoals SoVITS-SVC, Serenade, Vevo1.5/2, NeuCoSVC2 en Seed-SVC.

• Pitch Style Conversion: VibE-SVC2 behaalde de hoogste Style Accuracy bij de conversie tussen vibrato en straight stijlen, waarbij het de baselines aanzienlijk overtrof die moeite hadden met het ontkoppelen van de stijlinformatie. Het behield een vergelijkbare natuurlijkheid (nMOS) en sprekersgelijkenis (SECS).
• Zero-Shot Performance: In zero-shot taken bereikte VibE-SVC2-ZSC de beste gemiddelde stijlaccuratesse, met name in ongeziene glissando-stijlconversie, hoewel het een iets lagere sprekersgelijkenis vertoonde vergeleken met modellen die referentieaudio voor timbre gebruiken (bijv. NeuCoSVC2).
• Controleerbaarheid: Experimenten toonden aan dat vibrato rate en extent onafhankelijk geschaald konden worden. De stijlaccuratesse verbeterde tot een optimale extent scaling ($\alpha \approx 3.0$) en rate scaling ($\beta < 2.0$), waarna de natuurlijkheid verslechterde.
• Timbre Style Conversion: De inclusie van SHC verbeterde de stijlaccuratesse voor vocal fry conversie aanzienlijk vergeleken met baselines. Het model slaagde erin om tussen straight, belt, breathy en vocal fry stijlen te converteren met een hoge accuratesse.
• Trade-offs: De studie erkent een trade-off: het verhogen van de stijlintensiteit (bijv. extreme vibrato extent of vocal fry afdwinging) kan de sprekersgelijkenis (SECS) verminderen omdat de akoestische kenmerken verschuiven buiten de distributie van de doelspreker. Daarnaast verminderde de structurele ontkoppeling voor stijlcontrole de natuurlijkheid licht in vergelijking met volledig verstrengelde baselines.

5. Betekenis en Claims

Het artikel positioneert VibE-SVC2 als een belangrijke vooruitgang in Singing Style Conversion (SSC). De primaire betekenis ligt in:

• Oplossen van Entanglement: Het pakt het langdurige probleem van de koppeling tussen toonhoogte en energie bij vibrato aan, een probleem dat in eerdere state-of-the-art modellen onopgelost bleef.
• Granulaire Controle: Het gaat verder dan globale vervanging van timbre en biedt onafhankelijke, fijne controle over gelokaliseerde dynamische stijlen (vibrato rate/extent) en fonatiestijlen (vocal fry).
• Robuustheid: Het SHC-algoritme biedt een oplossing voor het converteren van moeilijke fonatiestijlen die doorgaans artefacten veroorzaken in conventionele SVC-pipelines.
• Zero-Shot Capaciteit: De ZSC-module breidt de toepasbaarheid van het framework uit naar ongeziene referentieaudio, een cruciale stap naar praktische, flexibele zangstijloverdracht.

De auteurs concluderen dat hoewel er trade-offs bestaan tussen stijlintensiteit en het behoud van de identiteit van de spreker, VibE-SVC2 deze factoren succesvol balanceert om een expressiever en controleerbaarder singing voice conversion framework te bieden. Toekomstig werk is gepland om het model te integreren met SVS/muziekgeneratie, natuurlijke taalprompts voor stijlcontrole te verkennen en het SHC-algoritme te verfijnen om onversterkte segmenten robuuster te behandelen.