Shallow Diffuse: Robust and Invisible Watermarking through Low-Dimensional Subspaces in Diffusion Models

1. Il Problema

L'uso diffuso dei modelli di diffusione per la generazione di contenuti AI (immagini, audio, video) ha sollevato preoccupazioni critiche riguardo alla disinformazione, alla violazione del copyright e al "crollo del modello" (model collapse) causato dall'addestramento su dati generati da AI.
Le tecniche di filigrana (watermarking) esistenti presentano limitazioni significative:

• Metodi tradizionali: Spesso inseriscono la filigrana post-generazione (scenario utente) ma sono fragili contro attacchi semplici come la sfocatura o la compressione.
• Metodi basati su Diffusion (Server-side): Tecniche recenti (es. Tree-Ring, RingID) integrano la filigrana nel processo di campionamento modificando il seme iniziale (noise). Tuttavia, queste approcci:
  • Alterano significativamente la distribuzione del rumore gaussiano originale, portando a immagini generate incoerenti (bassa qualità visiva o deviazione dal prompt).
  • Richiedono l'accesso al seme iniziale, rendendoli inutilizzabili nello scenario utente (post-processing di un'immagine già generata).
  • Spesso sacrificano la coerenza per ottenere robustezza.

L'obiettivo è sviluppare un metodo di filigrana che sia robusto, invisibile, coerente (non degrada la qualità dell'immagine) e applicabile sia in fase di generazione (server) che post-generazione (utente).

2. Metodologia: Shallow Diffuse

Shallow Diffuse introduce una nuova strategia che disaccoppia l'inserimento della filigrana dal processo di generazione dell'immagine, sfruttando una proprietà fondamentale dei modelli di diffusione: l'esistenza di sottospazi a bassa dimensionalità.

Concetti Chiave Teorici

• Linearità Locale e Bassa Rango: Il paper si basa sulla scoperta che la funzione di previsione della media a posteriori (PMP) nei modelli di diffusione è localmente lineare e il suo Jacobiano ($J_{\theta, t}$) ha un rango molto basso ($r_t \ll d$) in determinati intervalli di tempo ($t$).
• Spazio Nullo: Poiché il Jacobiano è a basso rango, la maggior parte dello spazio vettoriale appartiene al suo spazio nullo (null space). Inserire una perturbazione (la filigrana) in questo spazio nullo significa che essa non influenza significativamente la previsione del modello per l'immagine finale ($x_0$).

Algoritmo

Il metodo opera in due scenari principali:

1. Scenario Server (Generazione):
   • Si parte dal rumore iniziale $x_T$.
   • Si esegue il campionamento inverso (DDIM) fino a un timestep specifico $t^*$ (scelto empiricamente come $0.3T$).
   • Si inietta la filigrana $\lambda \Delta x$ nel rumore a questo timestep: $x^W_{t^*} = x_{t^*} + \lambda \Delta x$.
   • Si continua il campionamento fino a $x_0$.
2. Scenario Utente (Post-processing):
   • Si prende un'immagine generata $x_0$.
   • Si esegue l'inversione DDIM fino al timestep $t^*$ per recuperare lo stato intermedio $x_{t^*}$.
   • Si inietta la filigrana nello stesso modo.
   • Si esegue nuovamente il campionamento per ottenere l'immagine filigranata $x^W_0$.

Design della Filigrana

• Dominio delle Frequenze: La filigrana viene inserita nel dominio della frequenza (DFT) per migliorare la robustezza.
• Alte Frequenze: A differenza di metodi precedenti che modificano le basse frequenze (causando distorsioni visive), Shallow Diffuse modifica le alte frequenze. Questo garantisce un'impercettibilità visiva quasi totale.
• Pattern: Utilizza una maschera circolare e una chiave composta da anelli concentrici con valori estratti da una distribuzione gaussiana.

Rilevamento

Per rilevare la filigrana, si applica l'inversione DDIM all'immagine sospetta per tornare al timestep $t^*$, si trasforma nel dominio della frequenza e si confronta con la chiave segreta utilizzando un punteggio statistico (p-value).

3. Contributi Chiave

1. Disaccoppiamento: È il primo metodo che disaccoppia l'inserimento della filigrana dal processo di generazione sfruttando lo spazio nullo del Jacobiano a basso rango. Questo permette di mantenere la coerenza dell'immagine.
2. Versatilità (Server & User): Funziona sia durante la generazione (server) che come post-processing su immagini esistenti (utente), superando il limite dei metodi basati sul seme iniziale.
3. Garanzie Teoriche: Fornisce prove teoriche (Teoremi 1 e 2) che dimostrano come la distanza tra l'immagine originale e quella filigranata sia limitata e proporzionale al rango del Jacobiano (che è piccolo), garantendo coerenza e rilevabilità.
4. Training-Free: Il metodo non richiede il ri-addestramento del modello di diffusione, rendendolo immediatamente applicabile a modelli esistenti come Stable Diffusion.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Stable Diffusion 2.1, MS-COCO e DiffusionDB, confrontando Shallow Diffuse con metodi come Tree-Ring, RingID, Gaussian Shading e tecniche tradizionali.

• Coerenza (Consistency): Shallow Diffuse supera tutti i metodi basati su diffusione.
  • PSNR/SSIM: Mantiene valori molto alti (es. PSNR ~35.49 vs ~14-16 di RingID/Tree-Ring nello scenario server), indicando che l'immagine filigranata è quasi identica all'originale.
  • Qualità Generativa: Mantiene punteggi FID e CLIP-Score elevati, dimostrando che la filigrana non degrada la qualità o la pertinenza al prompt.
• Robustezza:
  • Supera o è comparabile ai metodi più robusti (RingID, Gaussian Shading) contro attacchi di distorsione (JPEG, sfocatura, rumore), rigenerazione (Diffusion purification) e attacchi avversariali.
  • Nello scenario utente, Shallow Diffuse è l'unico metodo che bilancia alta robustezza e alta coerenza.
• Trade-off: Il paper dimostra che regolando il raggio della maschera di frequenza, è possibile bilanciare ulteriormente robustezza e qualità visiva, ottenendo curve di trade-off superiori rispetto alle tecniche esistenti.
• Generalizzazione: Il metodo è stato testato con successo anche su modelli basati su Transformer (FLUX), confermando la validità dell'approccio oltre le architetture U-Net.

5. Significato e Impatto

Shallow Diffuse rappresenta un passo avanti significativo nella sicurezza e tracciabilità dei contenuti generati dall'IA:

• Affidabilità: Risolve il compromesso storico tra robustezza e qualità visiva, offrendo filigrane che non rovinano l'immagine.
• Flessibilità Operativa: La capacità di funzionare sia in fase di generazione che post-generazione lo rende uno strumento pratico per piattaforme di creazione contenuti e per la verifica di immagini diffuse online.
• Sostenibilità: Essendo "training-free", può essere adottato immediatamente senza costi computazionali aggiuntivi per l'addestramento, facilitando la sua integrazione negli ecosistemi AI attuali.
• Teoria: Contribuisce alla comprensione teorica della struttura a bassa dimensionalità dei modelli di diffusione, proponendo un nuovo paradigma per la manipolazione sicura dei dati generativi.

In sintesi, Shallow Diffuse offre una soluzione "pronta all'uso" per la filigrana robusta e invisibile, ponendosi come stato dell'arte per la protezione del copyright e la mitigazione della disinformazione nell'era della generazione AI.