Riepilogo Tecnico: Watermarking Guidato per Modelli Diffusivi

Enunciato del Problema

Il rapido avanzamento dei modelli diffusivi ha permesso la generazione di immagini di alta qualità e fotorealistiche, sollevando preoccupazioni significative riguardo alla tracciabilità e all'identificazione dei contenuti generati dall'IA. Gli organismi di regolamentazione e gli stakeholder del settore richiedono meccanismi robusti per distinguere i media sintetici dalle immagini reali, al fine di prevenire il collasso del modello (causato dall'addestramento su dati generati dall'IA) e di avvisare gli utenti riguardo a contenuti non reali.

Le strategie di watermarking esistenti per i modelli diffusivi rientrano generalmente in due categorie, entrambe con limitazioni:

1. Watermarking Post-hoc: Incorporazione di un segnale nell'immagine dopo la generazione. Sebbene mature, queste metodologie trattano l'immagine generata come un "host" e spesso falliscono nell'integrare il watermark nel contenuto semantico del processo di generazione, limitando potenzialmente la robustezza.
2. Watermarking In-Generation: Modifica del processo di generazione stesso. Gli approcci attuali includono:
   • Metodi basati sul seme (es. Tree-Rings, Gaussian Shading): Incorporazione di pattern nel seme di rumore iniziale. Questi spesso faticano contro attacchi geometrici (es. ritaglio, rotazione) e possono alterare il contenuto semantico o la composizione dell'immagine.
   • Metodi basati su VAE (es. Stable Signature): Fine-tuning del Variational Autoencoder (VAE) alla fine del processo diffusivo. Sebbene efficaci, questi concentrano l'energia del watermark su dettagli ad alta frequenza, rendendoli vulnerabili al filtraggio passa-basso (es. compressione JPEG). Inoltre, richiedono il riaddestramento o il fine-tuning del modello.

Rimane una sfida critica: convertire schemi di watermarking post-hoc robusti in metodi in-generation senza riaddestrare il modello diffusivo o il decoder del watermark, mantenendo al contempo qualità e diversità dell'immagine.

Metodologia

Il documento propone il Guidance Watermarking, un metodo che incorpora watermark durante il processo diffusivo guidando la traiettoria di campionamento utilizzando gradienti da un decoder di watermark pronto all'uso.

Meccanismo Principale

Il metodo tratta il decoder del watermark come un classificatore differenziabile. Invece di generare un'immagine e poi verificare la presenza di un watermark, il processo diffusivo viene indirizzato per generare immagini che il decoder identifica intrinsecamente come marcate.

1. Guida Basata su Gradienti:
   Il passo standard di denoising $\epsilon_\theta(z_t, t)$ viene modificato sottraendo un termine proporzionale al gradiente di una funzione di perdita $L$ rispetto al latente $z_t$:
   $$\hat{\epsilon}(z_t, t) := \epsilon_\theta(z_t, t) - \omega \sqrt{1 - \bar{\alpha}_t} \nabla_{z_t} \log L(z_t)$$
   Qui, $\omega$ controlla la forza della guida.

2. Funzione di Perdita:
   La perdita $L$ è definita per minimizzare l'angolo tra il vettore delle caratteristiche estratto dall'immagine generata $\phi(x_0(z_t))$ e il vettore segreto del watermark $u_m$. Per la rilevazione a zero bit, questo equivale a massimizzare la similarità del coseno:
   $$L(z_t, u_m) := 1 - \cos(\phi(x_0(z_t)), u_m)$$
   Minimizzare questa perdita riduce il valore p per un'immagine marcata, aumentando la probabilità di rilevamento.

3. Robustezza tramite Augmentation:
   Per garantire robustezza contro attacchi per cui il decoder non era originariamente addestrato, il calcolo del gradiente incorpora un insieme di trasformazioni dell'immagine $\mathcal{T}$ (es. compressione JPEG, regolazioni di luminosità/contrasto, ritaglio). I gradienti da queste viste aumentate vengono aggregati (utilizzando l'algoritmo PCGrad per gestire direzioni di gradiente conflittuali) per aggiornare la stima del rumore:
   $$\hat{\epsilon}_{\mathcal{T}}(z_t) := \epsilon_\theta(z_t) - \sqrt{1 - \bar{\alpha}_t} \text{Agg}(\{\nabla_{z_t} \log L(z_t, u_m; T) \mid T \in \mathcal{T}\})$$
   Ciò permette al metodo di ereditare la robustezza del decoder pre-addestrato e di estenderla a nuove trasformazioni senza riaddestrare il decoder.

4. Ottimizzazioni:

   • Guida Parziale: La guida viene applicata solo durante gli ultimi $T_w$ passi del processo diffusivo per ridurre il costo computazionale.
   • Clipping del Gradiente: Per prevenire artefatti visivi, la norma del gradiente viene limitata e la forza della guida è controllata tramite iperparametri ($\omega, \eta, \tau$).

Contributi Chiave

1. Primo Watermarking In-Generation Basato su Guida: Il documento presenta il primo metodo per incorporare watermark direttamente nel processo diffusivo utilizzando la guida tramite gradienti, convertendo qualsiasi schema post-hoc in uno in-generation.
2. Nessun Riaddestramento Richiesto: Il metodo non richiede il fine-tuning del modello diffusivo o del decoder del watermark. Utilizza decoder esistenti e pronti all'uso.
3. Robustezza Potenziata: Incorporando augmentation nel calcolo del gradiente, il metodo migliora la robustezza contro gli attacchi (inclusi quelli per cui il decoder non era stato addestrato) senza riaddestrare il rilevatore.
4. Compromesso Bilanciato: L'approccio trova un equilibrio tra schemi basati sul seme (che alterano il contenuto semantico) e schemi basati su VAE/post-hoc (che aggiungono segnali invisibili). Preserva la diversità semantica e la qualità della generazione mentre incorpora il watermark.

Risultati Sperimentali

Il metodo è stato valutato su tre modelli diffusivi (Stable Diffusion 2, Flux-1.0, Sana) utilizzando due rilevatori all'avanguardia (Stable Signature e VideoSeal).

• Qualità dell'Immagine: Le metriche quantitative (FID, CLIP score) mostrano che le immagini marcate sono qualitativamente indistinguibili dalle immagini non marcate. L'ispezione visiva conferma che il contenuto semantico, il tono e la composizione rimangono in gran parte preservati, a differenza dei cambiamenti drastici osservati in alcuni metodi basati sul seme.
• Robustezza (Multi-bit e Zero-bit):
  • Attacchi Geometrici: Il metodo supera significativamente gli schemi basati sul seme (Tree-Rings, Gaussian Shading) contro attacchi geometrici come ritaglio e rotazione, ereditando la robustezza dei decoder pre-addestrati.
  • Attacchi Valuometrici: Mantiene un'alta robustezza contro la compressione JPEG e le variazioni di luminosità/contrasto.
  • Attacchi Avversariali: Il metodo dimostra una robustezza superiore contro la purificazione VAE, la rigenerazione e gli attacchi medi rispetto a Tree-Rings e Gaussian Shading.
• Tasso di Falsa Allerta: Il metodo raggiunge tassi di falsa allerta estremamente bassi (alto $-\log_{10}(PFA)$) ad alte probabilità di rilevamento ($PD=0.9$), superando sia i baselines post-hoc che altri baselines in-generation.
• Efficienza: Sebbene la generazione richieda 2–13 passi aggiuntivi, il decoding è istantaneo (singolo passaggio in avanti), rendendolo fino a 50 volte più veloce al momento del rilevamento rispetto ai metodi basati sul seme che richiedono passi di diffusione inversa.

Significato e Affermazioni

Il documento afferma che il Guidance Watermarking offre una soluzione principiale e modulare per la sicurezza dell'IA generativa. Il suo significato principale risiede in:

• Complementarità: Funziona insieme alle tecniche esistenti (come il fine-tuning VAE) e può essere applicato a qualsiasi modello diffusivo senza modifiche architetturali.
• Adattabilità: Permette il dispiegamento immediato di watermarking robusto sfruttando decoder esistenti e ben addestrati, evitando il processo intensivo di risorse del riaddestramento di modelli o decoder per nuovi vettori di attacco.
• Praticità: Preservando la qualità e la diversità dell'immagine garantendo al contempo un'alta rilevabilità e bassi falsi positivi, affronta l'esigenza critica di contenuti IA tracciabili in contesti normativi e di sicurezza.

Gli autori riconoscono le limitazioni, notando che la robustezza dipende dal contenuto visivo dell'immagine generata e che il tempo di generazione aumenta leggermente. Tuttavia, sottolineano che il compromesso è favorevole data l'eliminazione dei requisiti di riaddestramento e i significativi guadagni nella velocità di rilevamento e nella robustezza.