ShapeMark: Robust and Diversity-Preserving Watermarking for Diffusion Models

Il paper "ShapeMark" propone un nuovo metodo di watermarking per modelli di diffusione che codifica i bit del marchio in schemi di rumore strutturati anziché in singoli valori, garantendo così un'ottima robustezza contro le perturbazioni e preservando al contempo la diversità delle immagini generate.

L'essenziale

Immagina di avere un'artista digitale geniale, un robot che può dipingere quadri meravigliosi partendo dal nulla (o meglio, dal "rumore" statico della TV). Questo robot è un Modello di Diffusione. Oggi, questi robot creano immagini così belle che è difficile distinguerle dalla realtà.

Ma c'è un problema: se tutti possono usare questo robot, come facciamo a sapere chi ha creato un'immagine specifica? Come possiamo proteggerne i diritti d'autore se qualcuno la ruba, la modifica o la comprime per inviarla su WhatsApp?

Gli scienziati hanno provato a nascondere un "codice segreto" (un filigrana) dentro l'immagine, ma i metodi vecchi avevano due grossi difetti:

1. Erano fragili: Se l'immagine veniva modificata anche di poco (come un filtro Instagram o un cambio di luminosità), il codice segreto si rompeva e spariva.
2. Rendevano tutto uguale: Per nascondere il codice, il robot era costretto a usare sempre gli stessi "passi" magici, così le immagini generate per lo stesso messaggio sembravano tutte uguali, perdendo la loro creatività naturale.

ShapeMark è la nuova soluzione proposta in questo articolo. È come se avessimo inventato un nuovo modo di nascondere il segreto che risolve entrambi i problemi.

Ecco come funziona, spiegato con delle analogie semplici:

1. Il vecchio metodo: Scrivere su un foglio di carta

I metodi precedenti cercavano di nascondere il messaggio modificando il valore esatto di ogni singolo pixel o di ogni singolo "granello di rumore" iniziale.

• L'analogia: Immagina di scrivere una lettera su un foglio di carta usando un inchiostro molto leggero. Se qualcuno soffia sul foglio, lo piega o lo bagna (le modifiche all'immagine), l'inchiostro sbiadisce e il messaggio diventa illeggibile. Inoltre, per scrivere la lettera, devi sederti sempre nello stesso modo, rendendo la tua calligrafia sempre uguale e prevedibile.

2. Il metodo ShapeMark: Un puzzle che si riorganizza

ShapeMark non modifica i "valori" (i colori o i numeri), ma cambia l'ordine in cui sono disposti.

La prima magia: Il "Codice a Blocchi" (Structural Encoding)

Invece di guardare un singolo numero, ShapeMark prende un gruppo di numeri (un blocco) e guarda la loro forma o il loro ordine relativo.

• L'analogia: Immagina di avere un mazzo di carte. Non ti importa se il "Re di Cuori" vale 13 o 14 punti. Ti importa solo che il "Re" sia prima della "Dama" nel mazzo.
  • Se qualcuno mescola le carte o ne toglie una (rumore o distorsione), l'ordine generale tra il Re e la Dama rimane spesso lo stesso.
  • ShapeMark scrive il messaggio segreto cambiando l'ordine di questi "blocchi" di carte. Anche se l'immagine viene distorta, il "codice a blocchi" (chi viene prima e chi dopo) resiste molto meglio di un singolo numero.

La seconda magia: Il "Mischiatore Segreto" (PDSR)

Qui risolviamo il problema della creatività. Se usiamo sempre lo stesso ordine per lo stesso messaggio, le immagini diventano tutte uguali.

• L'analogia: Immagina di avere una ricetta segreta per un cocktail. Se mescoli sempre gli ingredienti nello stesso ordine, ogni cocktail avrà lo stesso sapore e aspetto.
  • ShapeMark aggiunge un "mischiatore magico" (chiamato PDSR). Dopo aver messo il codice segreto, mescola le carte (o gli ingredienti) in modo casuale, ma in modo che tu possa ri-mescolarle esattamente allo stesso modo se hai la chiave segreta.
  • Risultato: Ogni volta che generi un'immagine con lo stesso messaggio, il "mischiatore" la rende diversa. L'immagine finale è unica e creativa, ma il codice segreto è ancora lì, nascosto nella struttura, pronto per essere letto da chi ha la chiave.

Perché è importante?

ShapeMark è come un sigillo di cera indestruttibile che non cambia la forma della lettera.

• Robustezza: Se l'immagine viene compressa, tagliata o filtrata, il "codice a blocchi" sopravvive. È come se il messaggio fosse scritto non sulla carta, ma nella struttura stessa del mazzo di carte.
• Diversità: Le immagini generate restano belle, varie e naturali. Non sembrano tutte "stampate" dallo stesso modello perché il "mischiatore" le rende uniche ogni volta.

In sintesi, ShapeMark permette di dire: "Questa immagine è stata creata dal mio robot, e anche se qualcuno prova a modificarla, il mio marchio segreto rimarrà intatto, senza rovinare la bellezza dell'opera d'arte."

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper ShapeMark: Robust and Diversity-Preserving Watermarking for Diffusion Models, presentato in italiano.

1. Il Problema

I modelli di diffusione hanno rivoluzionato la sintesi di immagini di alta qualità, ma la loro diffusione ha creato sfide critiche per la protezione della proprietà intellettuale e la tracciabilità dei contenuti (provenienza).
Le soluzioni esistenti basate sull'approccio Noise-as-Watermark (NaW), che integrano il watermark direttamente nel processo di generazione (nel rumore iniziale), presentano due limiti fondamentali:

1. Fragilità: La maggior parte dei metodi attuali utilizza una codifica basata sui valori (value encoding), dove i bit del watermark sono mappati su singoli valori campionati del rumore. Questo approccio è estremamente fragile: anche piccole perturbazioni (compressione, rumore, inversione imperfetta del processo di diffusione) possono alterare i valori individuali, rendendo il rilevamento inaffidabile.
2. Perdita di Diversità: Per aumentare la robustezza, molti metodi ripetono l'embedding dell'informazione, creando pattern fissi e dipendenti dal payload. Questo riduce la diversità delle immagini generate e rende gli artefatti del watermark più percettibili.

2. Metodologia: ShapeMark

ShapeMark propone un nuovo paradigma che sposta l'embedding del watermark dal livello dei singoli valori a quello della struttura del rumore, preservando la distribuzione originale dei valori. La metodologia si articola in due fasi principali:

A. Structural Encoding (SE) - Codifica Strutturale

Invece di modificare i valori del rumore, SE riorganizza la loro posizione basandosi sulle statistiche di ordine (quantili).

• Costruzione del Template: Il rumore latente viene ordinato per magnitudine e suddiviso in "bin" di quantili. Da questi bin, vengono creati dei "blocchi" e poi dei "gruppi" che allineano blocchi provenienti da diverse regioni di quantile.
• Embedding tramite Permutazione: L'informazione del payload (i bit del watermark) non viene scritta nei valori, ma codificata nella permutazione dei blocchi all'interno di ciascun gruppo. Ad esempio, quale blocco (proveniente da un certo quantile) occupa quale posizione nel gruppo determina il bit codificato.
• Robustezza: Poiché il rilevamento dipende dalla struttura relativa (l'ordine dei blocchi) e non dai valori assoluti, il metodo resiste bene alle perturbazioni che alterano i singoli valori ma mantengono la struttura statistica complessiva. Inoltre, l'aggregazione a livello di blocco riduce l'impatto del rumore.

B. Payload-Debiasing Structural Randomization (PDSR)

Per risolvere il problema della perdita di diversità e dei pattern spaziali fissi:

• Meccanismo: Dopo l'embedding tramite SE, viene applicata una permutazione globale dei blocchi basata su un "nonce" pubblico (un valore casuale specifico per ogni immagine) e una chiave segreta.
• Funzione: Questa fase mescola le posizioni spaziali dei blocchi senza cambiarne i valori. Di conseguenza, lo stesso payload (stesso watermark) può corrispondere a infinite realizzazioni diverse del rumore, a seconda del nonce.
• Vantaggio: Questo elimina i bias spaziali legati al payload, preservando la diversità percettiva delle immagini e rendendo il watermark impercettibile, pur rimanendo invertibile (il verificatore può annullare la permutazione conoscendo il nonce).

C. Decodifica

Il processo di verifica prevede:

1. Inversione della Diffusione: L'immagine interrogata viene invertita per recuperare una stima del rumore latente iniziale.
2. Ricostruzione e Undoing PDSR: Utilizzando la chiave segreta e il nonce pubblico, il verificatore ricostruisce il template strutturale e annulla la permutazione PDSR.
3. Matching del Codice: Si confronta la struttura recuperata con un codice di riferimento (codebook) per determinare la permutazione originale e decodificare i bit del payload.

3. Contributi Chiave

1. Codifica Strutturale (SE): Sostituisce la fragile codifica basata sui valori con una robusta codifica basata sulla permutazione di blocchi derivati da quantili, garantendo resilienza alle distorsioni.
2. Randomizzazione Strutturale (PDSR): Introduce una strategia leggera per decouplare l'identità del payload dalla posizione spaziale fissa, preservando la diversità di generazione e la qualità visiva.
3. Prestazioni Superiori: Il metodo raggiunge uno stato dell'arte (SOTA) in termini di robustezza e diversità, mantenendo un alto livello di qualità visiva senza richiedere il ri-addestramento del modello di diffusione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Stable Diffusion v2.1 utilizzando dataset come MS-COCO e SDP, confrontando ShapeMark con metodi post-processing, basati sul modello e NaW esistenti (es. Tree-Ring, Gaussian Shading, T2SMark).

• Robustezza: ShapeMark ottiene un TPR (True Positive Rate) del 99,9% a un FPR (False Positive Rate) di $10^{-6}$, anche dopo nove tipi di distorsioni lossy (compressione JPEG, crop, resize, rumore gaussiano, sfocatura, ecc.).
• Recupero del Payload: La precisione di recupero dei bit sotto attacco è del 98,70%, superando la maggior parte dei metodi NaW esistenti.
• Diversità di Generazione: ShapeMark mantiene la diversità più alta tra tutti i metodi testati (LPIPS 0.7338), dimostrando che la randomizzazione PDSR previene la degradazione della varietà delle immagini.
• Qualità Visiva: I punteggi CLIP e FID rimangono competitivi rispetto al modello originale non watermarked, confermando l'impercettibilità del metodo.
• Scalabilità: Il metodo mantiene robustezza significativa anche con capacità di payload elevate (fino a 2048 bit).

5. Significato e Impatto

ShapeMark rappresenta un passo avanti fondamentale per la sicurezza dei modelli generativi:

• Praticità: Offre una soluzione "plug-and-play" che non richiede modifiche ai pesi del modello, rendendola facilmente integrabile in pipeline di produzione esistenti.
• Bilanciamento Ottimale: Risolve il compromesso storico tra robustezza e diversità, dimostrando che è possibile proteggere la proprietà intellettuale senza sacrificare la qualità o la varietà dell'output creativo.
• Applicabilità: È ideale per servizi generativi multi-tenant, permettendo il binding dell'identità, la verifica della provenienza e la tracciabilità dei contenuti sintetici in scenari reali soggetti a post-processing.

In sintesi, ShapeMark trasforma il rumore di diffusione da un semplice vettore di generazione in un canale di comunicazione robusto e sicuro, preservando al contempo l'integrità artistica e statistica del processo generativo.