Sintesi Tecnica: Imparare a inserire Watermark nello Spazio Latente dei Modelli Generativi

Definizione del Problema

Il rapido progresso dei modelli generativi (diffusione e autoregressivi) ha permesso la creazione di contenuti sintetici altamente realistici, sollevando preoccupazioni riguardanti l'uso improprio, i deepfake e le violazioni della proprietà intellettuale. Sebbene la watermarking invisibile offra una soluzione per la provenienza, gli approcci esistenti affrontano limitazioni significative:

1. Metodi Post-hoc nello Spazio dei Pixel: Questi modificano immagini già generate nello spazio dei pixel. Sebbene siano flessibili e indipendenti dal modello, comportano un carico computazionale sostanziale dovuto all'elaborazione ad alta risoluzione (ad es., $512 \times 512 \times 3$) e introducono latenza. Inoltre, offrono una sicurezza debole per le distribuzioni open-source, poiché gli utenti possono facilmente aggirarli rimuovendo una singola riga di codice.
2. Metodi In-Model: Sebbene più sicuri, i precedenti tenti di integrare i watermark direttamente nei pesi del modello mancano spesso di robustezza o richiedono modifiche complesse al processo di campionamento.

La sfida centrale è sviluppare un framework di watermarking unificato che operi direttamente nello spazio latente dei modelli generativi, consentendo una watermarking in-model (incorporando il watermark nei pesi del modello) che sia computazionalmente efficiente e robusta contro la rimozione, senza introdurre penalità di latenza.

Metodologia: DISTSEAL

Gli autori introducono DISTSEAL, un framework unificato per la watermarking nello spazio latente applicabile sia a modelli di diffusione che autoregressivi. L'approccio consiste in due fasi primarie:

1. Watermarking Latente Post-hoc

La prima fase prevede l'addestramento di una coppia embedder-extractor di watermark ($W_\theta, E_\theta$) che operi nello spazio latente del modello generativo piuttosto che nello spazio dei pixel.

• Embedding: L'embedder prende una rappresentazione latente $z$ e un messaggio binario $m$, restituendo un latente watermarked $z_w = z + \epsilon W_\theta(z, m)$.
  • Per i modelli di diffusione (latenza continua), la perturbazione viene applicata direttamente a $z$.
  • Per i modelli autoregressivi (token discreti), l'embedder può operare o prima della quantizzazione (modificando i latenti continui) o dopo la quantizzazione (modificando gli embedding dei token). Gli autori utilizzano lo straight-through estimation per backpropagare attraverso il passaggio di quantizzazione.
• Obiettivo di Addestramento: Il modello è addestrato utilizzando una combinazione di perdita di estrazione del watermark ($L_w$) e una perdita del discriminatore ($L_{disc}$) applicata nello spazio dei pixel per garantire l'impercettibilità. A differenza di alcuni lavori precedenti, gli autori evitano perdite di ricostruzione o percettive per l'embedder, affidandosi invece alla forza del watermark $\epsilon$ e al discriminatore per vincolare l'output.
• Augmentation: L'addestramento prevede varie augmentations metriche di valore, geometriche e di compressione per simulare le edizioni degli utenti e garantire la robustezza.

2. Distillazione per la Watermarking In-Model

La seconda fase destilla il watermarker latente post-hoc nel modello generativo stesso o nel suo decoder latente, eliminando la necessità di un separato passaggio di post-processing.

• Distillazione nel Modello Generativo: Il modello generativo pre-addestrato (diffusion transformer o autoregressive transformer) viene raffinato (fine-tuned) per ricostruire o predire i latenti watermarked $z_w$ invece dei latenti puliti originali $z$. Ciò forza il modello a generare intrinsecamente output con watermark.
• Distillazione nel Decoder Latente: Il decoder latente $D$ viene raffinato per ricostruire immagini watermarked da latenti non watermarked. La funzione di perdita combina una perdita di ricostruzione ($L_{rec}$) e una perdita di estrazione del watermark ($L_w$) per guidare il decoder a produrre output che contengano il segnale del watermark.

Contributi Chiave

1. Framework Unificato (DISTSEAL): Un singolo approccio che gestisce sia spazi latenti continui (modelli di diffusione) che sequenze di token discrete (modelli autoregressivi).
2. Efficienza e Robustezza: Il metodo ottiene un aumento di velocità fino a 20× nell'inferenza rispetto ai baseline nello spazio dei pixel, operando su rappresentazioni latenti compresse (ad es., $8 \times 8 \times 128$ rispetto a $512 \times 512 \times 3$), mantenendo al contempo una robustezza competitiva contro vari attacchi.
3. Distillazione Efficace: Gli autori dimostrano che i watermarker latenti possono essere efficacementamente distillati nei pesi del modello. Fondamentalmente, dimostrano che la distillazione di watermarker latenti supera la distillazione di watermarker nello spazio dei pixel. I watermarker nello spazio dei pixel spesso falliscono nella distillazione nei decoder latenti a causa della difficoltà di ricostruire perturbazioni ad alta frequenza, mentre le perturbazioni latenti sono più strutturate e più facili da apprendere per il decoder.
4. Analisi Comprensiva: Il paper fornisce uno studio dettagliato dei trade-off tra metodi post-hoc e in-model, della compatibilità con la multi-watermarking e dell'oblio del watermark (suscettibilità al fine-tuning tramite LoRA).

Risultati Sperimentali

Gli autori hanno valutato DISTSEAL su DCAE (un modello di diffusione) e RAR-XL (un modello autoregressivo).

• Performance Post-hoc: La watermarking latente ha raggiunto un'accuratezza media dei bit del 95,18% (DCAE) e del 93,96% (RAR-XL) sotto attacchi combinati, comparabile ai baseline nello spazio dei pixel (rispettivamente 97,78% e 97,27%). La qualità visiva (FID) è rimasta elevata, con una degradazione minima.
• Performance In-Model (Distillazione):
  • Distillazione nel Decoder Latente: La distillazione del watermarker latente nel decoder ha raggiunto un'accuratezza media dei bit del 96,77% (DCAE) e del 90,57% (RAR-XL), spesso superando il modello post-hoc teacher. Al contrario, la distillazione dei pixel watermarker ha prodotto una robustezza significativamente inferiore (ad es., 65,69% per DCAE) e un FID più alto.
  • Distillazione nel Modello Generativo: Il fine-tuning diretto del modello generativo ha prodotto risultati robusti (94,78% per DCAE, 89,13% per RAR-XL) con una qualità visiva leggermente migliore rispetto alla distillazione del decoder.
• Velocità: L'approccio latente ha fornito un aumento di velocità di 20× per DCAE e di 2,4× per RAR-XL rispetto ai metodi nello spazio dei pixel.
• Limitazioni Osservate:
  • Oblio del Watermark: I modelli generativi distillati sono suscettibili all'oblio del watermark quando sottoposti a fine-tuning su dati non watermarked (ad es., tramite LoRA), mentre i decoder distillati rimangono robusti a tali cambiamenti.
  • Attacchi Forti: Il metodo non è ancora pienamente robusto contro trasformazioni geometriche molto forti, un limite che gli autori riconoscono.

Significato e Rivendicazioni

Il paper sostiene che DISTSEAL fornisca una soluzione pratica ed efficiente per incorporare watermark robusti direttamente nei modelli generativi. Spostando la watermarking dallo spazio dei pixel allo spazio latente, gli autori ottengono:

• Riduzione dell'Overhead: Significativi risparmi computazionali e riduzione della latenza, rendendo più fattibile l'implementazione in tempo reale o su larga scala.
• Maggiore Sicurezza per l'Open Source: Integrando il watermark nei pesi del modello (tramite distillazione), il watermark non può essere disabilitato trivialmente rimuovendo uno script di post-processing, affrontando una lacuna critica di sicurezza nelle release di modelli open-source.
• Distillazione Superiore: Il fatto che i watermarker latenti si distillino più efficacementamente di quelli nello spazio dei pixel suggerisce un nuovo paradigma per creare modelli generativi "watermarked-by-design" che mantengano alta fedeltà e robustezza.

Gli autori posizionano questo lavoro come un passo verso meccanismi di provenienza affidabili per i contenuti generati dall'IA, bilanciando la necessità di responsabilità con la preservazione della qualità dei contenuti e della velocità di generazione. Notano che, sebbene il metodo sia robusto, non è immune alla rimozione, e il lavoro futuro esplorerà la combinazione della watermarking latente con metodi di sincronizzazione post-hoc per gestire attacchi geometrici più forti.