DiffAnon: Diffusion-based Prosody Control for Voice Anonymization

1. Probleemstelling

Stemanonimisatie heeft tot doel de sprekeridentiteit te verbergen terwijl de linguïstische inhoud en para-linguïstische informatie (zoals emotie en nadruk) behouden blijven. Er bestaat echter een fundamentele afweging tussen nut en privacy:

• Privacy: De sprekeridentiteit is nauw verweven met prosodische patronen (toonhoogte, ritme, intonatie). Het behoud van deze patronen verbetert de expressiviteit, maar riskeert identiteitslekken naar sprekerherkenningsystemen.
• Nuttigheid: Het weggooien van prosodie om privacy te waarborgen verslechtert de natuurlijkheid, de emotionele inhoud en de betekenis van de spraak.

Bestaande methoden werken doorgaans op vaste ontwerppunten:

• ASR-TTS-systemen: Prioriteren privacy door alle bronprosodie te verwijderen, wat leidt tot robotachtige of vlakke spraak.
• Voice Conversion (VC)-systemen: Proberen prosodie te behouden, maar lijden vaak aan imperfecte ontkoppeling, waardoor residuële identiteitslekken overblijven.
• Perturbatiemethoden: Veranderen prosodische kenmerken willekeurig, wat leidt tot onvoorspelbare degradatie van de nuttigheid.

De Kruimel: Er ontbreekt een kader dat continue, inferentie-tijd controle mogelijk maakt over de afweging tussen prosodiebehoud (nuttigheid) en anonimiseringssterkte (privacy) binnen één enkel model.

2. Methodologie: DiffAnon

De auteurs stellen DiffAnon voor, een op diffusie gebaseerd framework voor stemanonimisatie dat Classifier-Free Guidance (CFG) gebruikt om expliciete controle over prosodiebehoud mogelijk te maken.

Kernarchitectuur

• Basismodel: Een Denoising Diffusion Probabilistic Model (DDPM) geïnspireerd door NaturalSpeech2, met gebruik van 40 WaveNet-achtige residual blokken.
• Semantische Prior (Inhoud): Het model maakt gebruik van SpeechTokenizer, een Residual Vector Quantization (RVQ) codec.
  • De kwantisatie-inbeddingen van het eerste niveau ($Q_1$) worden behandeld als een spreker-agnostische semantische prior die de linguïstische inhoud vertegenwoordigt.
  • Het diffusieproces verfijnt de overige akoestische details ($Q_{2:8}$) bovenop deze semantische inbeddingen.
• Condities:
  1. Inhoud ($c_{sem}$): $Q_1$-inbeddingen (vast, direct toegevoegd aan de invoer).
  2. Prosodie ($c_{pro}$): Frame-niveau latente kenmerken ($z_{mpm}$) geëxtraheerd uit een Masked Prosody Model (MPM), die toonhoogte, energie en stemklank vastleggen zonder sprekeridentiteit.
  3. Spreker ($c_{spk}$): Een uitspraak-niveau inbedding van een vooraf getrainde FreeVC-encoder, vervangen door een pseudo-spreker-inbedding ($\psi$) tijdens inferentie om de identiteit te anonimiseren.

Inferentiestrategie: Classifier-Free Guidance (CFG)

De kerninnovatie is het gebruik van CFG om te interpoleren tussen verschillende niveaus van prosodiebehoud zonder opnieuw te trainen.

• Training: Het model wordt getraind met willekeurige condition drop-out (50% volledig, 30% prosodie verwijderd, 20% prosodie + spreker verwijderd) om onvoorwaardelijke generatiecapaciteiten mogelijk te maken.
• Prosodie-aangepaste geleiding: Tijdens inferentie is de output een gewogen combinatie van:
  1. Een voorspelling geconditioneerd op inhoud en pseudo-spreker alleen (geen bronprosodie).
  2. Een voorspelling geconditioneerd op inhoud, pseudo-spreker, en bronprosodie.
  • Formule: $\hat{x}_{CFG} = \hat{x}_{uncond} + w_{pro}(\hat{x}_{cond} - \hat{x}_{uncond})$
  • Controle: De gewichtsfactor $w_{pro}$ fungeert als een continue knop.
    • $w_{pro} = 1$: Volledig behoud van bronprosodie (Hoog nut, Lagere privacy).
    • $w_{pro} = 0$: Volledige verwijdering van bronprosodie (Hoge privacy, Lagere nuttigheid).
• Pseudo-spreker geleiding: Een secundaire CFG-modus ($w_{spk}$) kan worden gebruikt om de anonimiseringssterkte te vergroten door de generatie agressief weg te leiden van de bron-sprekeridentiteit.

3. Belangrijkste Bijdragen

1. Eerste Controleerbaar Kader: DiffAnon is het eerste systeem voor stemanonimisatie dat gestructureerde, interpoleerbare, inferentie-tijd controle biedt over prosodiebehoud.
2. Nieuwe Formulering: Het introduceert een diffusieparadigma dat akoestische details verfijnt bovenop spreker-agnostische semantische inbeddingen (RVQ-ruimte), wat van nature aansluit bij de iteratieve verfijning van spraakcodecs.
3. Gefuseerde Afwegingsnavigatie: Het toont aan dat één getraind model het volledige spectrum van nut-privacy kan navigeren door simpelweg de CFG-geleidingsgewicht aan te passen, waardoor de noodzaak voor meerdere gespecialiseerde modellen wordt geëlimineerd.
4. Open Source: De code en vooraf getrainde modellen zijn publiek vrijgegeven.

4. Experimentele Resultaten

Experimenten werden uitgevoerd volgens het protocol van de VoicePrivacy Challenge 2024 met behulp van het LibriTTS-dataset.

• Controleerbaarheid: Door $w_{pro}$ te variëren van 1,0 tot 0,0 bereikte het systeem een soepele, monotoon overgang:
  • Prosodie-trouw: De F0-correlatie daalde van 76,67% ($w_{pro}=1$) naar 64,09% ($w_{pro}=0$).
  • Emotieherkenning (UAR): Daalde van 52,32% naar 47,38%.
  • Privacy (EER): De Equal Error Rate (weerstand tegen sprekerverificatie) verbeterde (nam toe) van 33,09% naar 42,43% (Lazy-informed attacker op Libri-test).
• Behoud van Nuttigheid:
  • Woordfoutpercentage (WER): Bleef stabiel en concurrerend (4,62% tot 5,61%) over alle instellingen heen, wat aantoont dat inhoudbehoud robuust is, zelfs wanneer prosodie wordt onderdrukt.
  • Vergelijking: DiffAnon presteerde beter dan of gelijk aan enkele top-presterende baselines (T8, T9, T10), terwijl het het unieke vermogen biedt om de afweging dynamisch aan te passen.
• Privacy: De sterkste anonimiseringsinstelling (null-prosodie + pseudo-spreker geleiding) bereikte een EER van 48,16%, concurrerend met de sterkste vaste ontwerpbaselines.

5. Betekenis

• Paradigmaverschuiving: DiffAnon verplaatst stemanonimisatie van een "vast ontwerp"-probleem naar een "controleerbare generatie"-probleem. Het bewijst dat prosodie de primaire drijvende kracht is van de afweging tussen nut en privacy, en dat deze afweging wiskundig kan worden gecontroleerd via CFG.
• Praktische Toepassing: Dit stelt ontwikkelaars in staat om anonimiseringsystemen af te stemmen op specifieke use-cases (bijv. hoge privacy voor juridische getuigenis versus hoge expressiviteit voor luisterboeken) met behulp van één enkel model.
• Toekomstige Richting: Het werk legt de basis voor het uitbreiden van controleerbare anonimiseringsystemen naar andere prosodische factoren zoals duur en ritme, waardoor de balans tussen privacy en natuurlijkheid verder wordt verfijnd.