Feature-Aligned Speech Watermarking for Robustness to Reconstruction Distortions

Technisch overzicht: Kenmerk-gealigneerde spraakwatermarking voor robuustheid tegen reconstructiedistorsies

1. Probleemstelling

Audio-watermarking is essentieel voor inhoudstoeschrijving en auteursrechtelijke bescherming, maar bestaande methoden kampen met een kritieke beperking in moderne spraaktoepassingen. Huidige benaderingen geven prioriteit aan onmerkbaarheid door gebruik te maken van high-fidelity, laag-energetische ontwerpen. Hoewel effectief tegen traditionele signaalverwerking, zijn deze watermerken zeer kwetsbaar voor spraakreconstructiemodellen (bijv. denoisers, neurale codecs en vocoders). Deze modellen, die schone spraak reconstrueren op basis van vooraf gedefinieerde kenmerkdistributies, onderdrukken onbedoeld de laag-energetische watermerken, wat leidt tot significante fouten bij het decoderen.

De kernuitdaging ligt in de inherente robuustheid–getrouwheid-trade-off in bestaande ontwerpen. Het verhogen van de watermerkenergie om de robuustheid te verbeteren, verslechtert doorgaans de perceptuele kwaliteit. Omgekeerd beperken embedding-gebaseerde methoden (bijv. WavMark, AudioSeal) de energie om de getrouwheid te behouden, waardoor ze fragiel worden tegenover reconstructie. Generatieve methoden (bijv. VoiceMark) bieden betere robuustheid, maar lijden vaak aan lagere getrouwheid en een hogere trainingscomplexiteit vanwege de noodzaak om zowel generatie- als watermarkingtaken gezamenlijk te optimaliseren.

2. Methodologie

De auteurs stellen AlignMark voor, een kenmerk-gealigneerd watermarking-framework dat is ontworpen om de traditionele trade-off te doorbreken door de kenmerkdistributie van het watermerk af te stemmen op de oorspronkelijke spraak, in plaats van enkel de energie te beperken.

Architectuuroverzicht:
Het systeem bestaat uit een Watermark Embedder en een Watermark Decoder, die gezamenlijk worden getraind met een bevroren, vooraf getrainde spraakcodec (SpeechTokenizer).

• Pseudo-spraak Watermerkgeneratie:
  In plaats van ruis direct aan de golfvorm toe te voegen, injecteert de embedder watermerkbits in de latente ruimte van een vooraf getrainde codec. Een 6-laagse 2D CNN-adapter transformeert de oorspronkelijke latente kenmerken in combinatie met watermerkembeddings naar aangepaste latente kenmerken. Deze worden gedecodeerd door de bevroren codec om een "pseudo-spraak" watermerk ($x'$) te genereren. Dit zorgt ervoor dat het watermerk inherent de statistische distributie van natuurlijke spraak volgt.

• Spectrogram Fusie:
  Het pseudo-spraak watermerk wordt gefuseerd met de oorspronkelijke audio ($x$) in het spectrogramdomein. Beide signalen worden via STFT omgezet naar complexe spectrogrammen. Een leerbare 2D CNN-integraat voorspelt frame-frequentie fusiegewichten ($\alpha$) om het uiteindelijke spectrogram te berekenen: $s_w = s_{x'} \cdot \alpha + s_x \cdot (1 - \alpha)$. De inverse STFT levert de watermerk-audio ($\hat{x}$) op.

• Perceptuele Begeleiding (VAD en Losses):
  Om onmerkelijkheid te garanderen terwijl een hogere energie mogelijk is, concentreert de methode het watermerk binnen de stemvoorbereide regio's (voiced regions) van het spectrogram.

  • VAD Loss: Een voice activity detection loss begeleidt de embedder en decoder om zich te concentreren op stemvoorbereide frames, waardoor de stille regio's waar artefacten meer opvallen worden vermeden.
  • Perceptuele Losses: De trainingsdoelstelling bevat auditory masking loss, speaker similarity loss en latent similarity loss om de sprekeridentiteit en psychoakoestische natuurlijkheid te behouden.
  • Fidelity Losses: Standaard losses (L1, Mel-spectrogram, Adversarial, SI-SNR) worden gebruikt, maar met ontspannen gewichten vergeleken met traditionele methoden, waarbij vertrouwd wordt op de kenmerk-alignering om de kwaliteit te handhaven.

• Watermerk Decoder:
  De decoder verwerkt de watermerk-audio door een differentieerbare distortiepipeline (inclusclusief reconstructiemodellen) en een kenmerkencoder. Het maakt gebruik van:

  • Temporele Gewichtsvoorspelling: Een 1D CNN voorspelt frame-gewijze waarschijnlijkheden van stemvoorbereide segmenten om het decodeerproces te wegen.
  • Feature Pyramid Extractie: Een multi-schaal 2D CNN-extractor legt fijngedetailleerde details vast uit de spraaklatenten om het watermerk te herstellen, wat de uitdaging aanpakt van het extraheren van data die gefuseerd is in complexe spraakkenmerken.

3. Belangrijkste Bijdragen

1. Kenmerk-gealigneerd Ontwerp: Het artikel introduceert een paradigmaverschuiving van energie-beperkte embedding naar kenmerk-gealigneerde generatie. Door een pseudo-spraak watermerk te genereren dat overeenkomt met de spraakdistributie, maakt de methode een hogere watermerkenergie mogelijk zonder de onmerkelijkheid op te offeren.
2. Hybride Framework: De auteurs ontwikkelen een framework dat watermerken in vooraf getrainde codec-latenten inbedt en ze in het spectrogramdomein fuseert, geleid door VAD en perceptuele losses om specifiek op stemvoorbereide regio's te richten.
3. Robuustheid tegen Ongeziene Modellen: De aanpak vertoont significante robuustheid tegen zowel bekende als ongeziene spraakreconstructiemodellen (denoisers, codecs, vocoders) zonder dat de reconstructiemodellen onderdeel hoeven te zijn van de trainingsdoelstelling.

4. Experimentele Resultaten

De methode werd geëvalueerd tegen state-of-the-art baselines (WavMark, AudioSeal, TimbreWM, VoiceMark, WMCodec) over 21 distorties, inclusief zes spraakreconstructiemodellen.

• Robuustheid: Onder spraakreconstructiemodellen (bijv. Clearer-Voice, EnCodec, HiFiGAN) behaalde de voorgestelde methode een significant hogere bit accuratesse (ACC) en een lager false attribution rate (FAR) vergeleken met embedding-gebaseerde methoden. Tegenover ClearerVoice behaalde de methode bijvoorbeeld een 0.92 ACC, vergeleken met 0.51–0.78 voor anderen. Het behield ook sterke prestaties tegen traditionele distorties (resampling, ruis, pitch shift).
• Onmerkelijkheid:
  • Subjectief (ABX): De methode behaalde een ABX-luisterscore die vergelijkbaar is met embedding-gebaseerde methoden (ongeveer 50-51%, wat duidt op onmerkelijkheid) en is aanzienlijk beter dan generatieve methoden zoals VoiceMark.
  • Objectief (VISQOL MOS): De methode scoorde 4.44, waarbij het slechts werd overtroffen door AudioSeal (4.71) en beter presteerde dan generatieve benaderingen.
  • Fidelity Metrics: Hoewel niet geoptimaliseerd voor maximale getrouwheid, presteerde de methode beter dan generatieve baselines op NISQA, PESQ en SI-SNR.
• Ablatieonderzoek: Het verwijderen van de spectrogram fusie of de VAD loss resulteerde in substantiële dalingen in robuustheid, wat de noodzaak van kenmerk-alignering en het targeten van stemvoorbereide regio's bevestigt. Het verwijderen van de feature pyramid veroorzaakte de grootste daling in decodeeraccuratesse, wat de noodzaak van multi-schaal kenmerkextractie benadrukt.

5. Betekenis en Claims

Het artikel beweert dat door het watermerk af te stemmen op de oorspronkelijke spraakkenmerkdistributie, het mogelijk is om de onderdrukkings-effecten van spraakreconstructiemodellen te mitigeren, terwijl de onmerkelijkheid vergelijkbaar blijft met bestaande embedding-gebaseerde methoden.

De auteurs positioneren dit werk als een oplossing voor de toepasbaarheidslimieten van huidige audio-watermarking in moderne spraakpipelines (telefoongesprekken, online vergaderingen, sociale media) waar reconstructiemodellen alomtegenwoordig zijn. Door de robuustheid te ontkoppelen van de strikte laag-energetische beperkingen van traditionele ontwerpen, biedt de methode een flexibelere trade-off, waardoor audio-watermarking betrouwbaarder wordt in real-world scenario's met spraakreconstructie. Het werk claimt niet alle fidelity-problemen op te lossen, maar stelt dat het een superieur evenwicht bereikt tussen robuustheid en perceptuele kwaliteit vergeleken met de huidige stand van de techniek.