Feature-Aligned Speech Watermarking for Robustness to Reconstruction Distortions

Sintesi Tecnica: Watermarking del parlato allineato alle caratteristiche per la robustezza alle distorsioni di ricostruzione

1. Definizione del problema

Il watermarking audio è essenziale per l'attribuzione dei contenuti e la protezione del copyright, tuttavia i metodi esistenti affrontano un limite critico nelle moderne applicazioni di speech (parlato). Gli approcci attuali danno priorità l'impercettibilità impiegando design ad alta fedeltà e bassa energia. Sebbene efficaci contro l'elaborazione del segnale tradizionale, questi watermark sono altamente vulnerabili ai modelli di ricostruzione del parlato (ad esempio, denoiser, codec neurali, vocoder). Questi modelli, che ricostrucono uno speech pulito basandosi su distribuzioni di caratteristiche pregresse, sopprimono involontariamente i watermark a bassa energia, portando a significativi fallimenti nella decodifica.

La sfida principale risiede nel compromesso robustezza–fedeltà intrinseco nei design esistenti. Aumentare l'energia del watermark per migliorare la robustezza tipicamente degrada la qualità percettiva. Al contrario, i metodi basati sull'embedding (ad esempio, WavMark, AudioSeal) vincolano l'energia per mantenere la fedeltà, rendendoli fragili contro la ricostruzione. I metodi generativi (ad esempio, VoiceMark) offrono una migliore robustezza ma spesso soffrono di una minore fedeltà e di una maggiore complessità di addestramento a causa della necessità di ottimizzare congiuntamente i compiti di generazione e watermarking.

2. Metodologia

Gli autori propongono AlignMark, un framework di watermarking allineato alle caratteristiche progettato per rompere il tradizionale compromesso allineando la distribuzione delle caratteristiche del watermark con lo speech originale, piuttosto che limitarsi a vincolare la sua energia.

Panoramica dell'architettura:
Il sistema consiste in un Embedder di Watermark e un Decoder di Watermark, addestrati congiuntamente con un codec di parlato pre-addestrato e congelato (SpeechTokenizer).

• Generazione del Watermark Pseudo-Speech:
  Invece di aggiungere rumore direttamente alla forma d'onda, l'embedder inietta i bit del watermark nello spazio latente di un codec pre-addestrato. Un adattatore CNN 2D a 6 strati trasforma le caratteristiche latenti originali combinate con gli embedding del watermark in latenti modificati. Questi vengono decodificati dal codec congelato per generare un watermark di "pseudo-speech" ($x'$). Ciò assicura che il watermark segua intrinsecamente la distribuzione statistica dello speech naturale.

• Fusione degli Spettrogrammi:
  Il watermark di pseudo-speech è fuso con l'audio originale ($x$) nel dominio dello spettrogramma. Entrambi i segnali vengono convertiti in spettrogrammi complessi tramite STFT. Un integratore CNN 2D apprendibile predice i pesi di fusione frame-frequenza ($\alpha$) per calcolare lo spettrogramma finale: $s_w = s_{x'} \cdot \alpha + s_x \cdot (1 - \alpha)$. L'STFT inversa produce l'audio watermarked ($\hat{x}$).

• Guida Percettiva (VAD e Loss):
  Per garantire l'impercettibilità pur permettendo un'energia più elevata, il metodo concentra il watermark all'interno delle regioni sonorizzate (voiced regions) dello spettrogramma.

  • VAD Loss: Una perdita di rilevamento dell'attività vocale (Voice Activity Detection) guida l'embedder e il decoder a concentrarsi sui frame sonorizzati, evitando le regioni di silenzio dove gli artefatti sono più evidenti.
  • Perceptual Losses: L'obiettivo di addestramento include una loss di masking uditivo, una loss di somiglianza del parlatore e una loss di somiglianza latente per preservare l'identità del parlatore e la naturalezza psicoacustica.
  • Fidelity Losses: Vengono utilizzate le standard loss (L1, Mel-spectrogram, Adversarial, SI-SNR) ma con pesi rilassati rispetto ai metodi tradizionali, facendo affidamento sull'allineamento delle caratteristiche per mantenere la qualità.

• Decoder del Watermark:
  Il decoder elabora l'audio watermarked attraverso una pipeline di distorsione differenziabile (che include modelli di ricostruzione) e un encoder di caratteristiche. Impiega:

  • Predizione del Peso Temporale: Una CNN 1D predice le probabilità frame-wise dei segmenti sonorizzati per pesare il processo di decodifica.
  • Estrazione della Piramide di Caratteristiche: Un estrattore CNN 2D multi-scala cattura i dettagli fini dai latenti dello speech per recuperare il watermark, affrontando la sfida di estrarre dati fusi in complesse caratteristiche dello speech.

3. Contributi Chiave

1. Design Allineato alle Caratteristiche: Il documento introduce un cambio di paradigma dall'embedding vincolato all'energia alla generazione allineata alle caratteristiche. Generando un watermark di pseudo-speech che corrisponde alla distribuzione dello speech originale, il metodo consente un'energia del watermark più elevata senza sacrificare l'impercettibilità.
2. Framework Ibrido: Gli autori sviluppano un framework che inserisce i watermark nei latenti di un codec pre-addestato e li fonde nel dominio dello spettrogramma, guidato da VAD e loss percettive per mirare specificamente alle regioni sonorizzate.
3. Robustezza a Modelli Non Visti: L'approccio dimostra una robustezza significativa sia contro i modelli di ricostruzione dello speech visti che non visti (denoiser, codec, vocoder) senza richiedere che i modelli di ricostruzione facciano parte dell'obiettivo di addestramento.

4. Risultati Sperimentali

Il metodo è stato valutato rispetto a baseline allo stato dell'arte (WavMark, AudioSeal, TimbreWM, VoiceMark, WMCodec) attraverso 21 distorsioni, inclusi sei modelli di ricostruzione dello speech.

• Robustezza: Sotto i modelli di ricostruzione dello speech (ad esempio, ClearerVoice, EnCodec, HiFiGAN), il metodo proposto ha ottenuto un'accuratezza dei bit (ACC) significativamente più alta e tassi di falsa attribuzione (FAR) più bassi rispetto ai metodi basati sull'embedding. Ad esempio, contro ClearerVoice, il metodo ha raggiunto un ACC di 0,92 rispetto allo 0,51–0,78 degli altri. Ha inoltre mantenuto prestazioni elevate contro le distorsioni tradizionali (resampling, rumore, pitch shift).
• Impercettibilità:
  • Soggettiva (ABX): Il metodo ha ottenuto un punteggio di ascolto ABX comparabile ai metodi basati sull'embedding (circa 50-51%, che indica l'impercettibilità) e significativamente migliore dei metodi generativi come VoiceMark.
  • Obiettiva (VISQOL MOS): Il metodo ha ottenuto un punteggio di 4,44, posizionandosi secondo solo ad AudioSeal (4,71) e superando gli approcci generativi.
  • Metriche di Fedeltà: Sebbene non ottimizzato per la massima fedeltà, il metodo ha superato i baseline generativi su NISQA, PESQ e SI-SNR.
• Studio di Ablazione: La rimozione della fusione dello spettrogramma o della loss VAD ha causato cali sostanziali nella robustezza, confermando la necessità dell'allineamento delle caratteristiche e del targeting delle regioni sonorizzate. La rimozione della piramide delle caratteristiche ha causato il calo più grande nell'accuratezza di decodifica, evidenziando la necessità di un'estrazione delle caratteristiche multi-scala.

5. Significato e Rivendicazioni

Il documento afferma che, allineando il watermark con la distribuzione delle caratteristiche dello speech originale, è possibile mitigare gli effetti di soppressione dei modelli di ricostruzione dello speech mantenendo un'impercettibilità comparabile ai metodi di embedding esistenti.

Gli autori posizionano questo lavoro come una soluzione ai limiti di applicabilità degli attuali watermarking audio nelle moderne pipeline di speech (chiamate vocali, riunioni online, social media) dove i modelli di ricostruzione sono onnipresenti. Disaccoppiando la robustezza dai rigidi vincoli di bassa energia dei design tradizionali, il metodo offre un compromesso più flessibile, rendendo il watermarking audio più affidabile negli scenari reali che coinvolgono la ricostruzione dello speech. Il lavoro non pretende di risolvere tutti i problemi di fedeltà, ma asserisce di raggiungere un equilibrio superiore tra robustezza e qualità percettiva rispetto allo stato dell'arte attuale.