SemBind: Binding Diffusion Watermarks to Semantics Against Black-Box Forgery Attacks

Riepilogo Tecnico: SemBind – Legare i Watermark di Diffusione alla Semantica contro gli Attacchi di Falsificazione Black-Box

Problematica

I watermark basati sul latente, che incorporano informazioni nel rumore iniziale dei Modelli di Diffusione Latente (LDM), offrono un metodo robusto per l'attribuzione delle immagini e la protezione del copyright. Sono preferiti per la loro capacità di rimanere impercettibili (statisticamente indistinguibili dagli output non watermarked) e robusti rispetto alle comuni trasformazioni delle immagini. Tuttavia, questi schemi affrontano una vulnerabilità critica: gli attacchi di falsificazione black-box.

In questi attacchi, un avversario con accesso black-box al modello di un fornitore e almeno un'immagine watermarked può trasferire il watermark a contenuti illeciti generati sotto prompt diversi o da modelli differenti. Due strategie primarie lo consentono:

1. Imprinting: L'attaccante ottimizza una perturbazione sul latente di un'immagine target affinché, quando invertita attraverso un modello proxy, corrisponda al latente del watermark rubato.
2. Reprompting: L'attaccante riutilizza il latente iniziale invertito da un'immagine watermarked per generare nuove immagini con prompt potenzialmente malevoli differenti.

Le difese attuali sono inefficaci perché i watermark basati sul latente risiedono puramente nel rumore iniziale. Rafforzare la robustezza contro le perturbazioni naturali aumenta involontariamente la tolleranza ai latenti falsificati, creando un compromesso in cui il miglioramento di una metrica degrada la sicurezza contro la falsificazione.

Metodologia: SemBind

Gli autori propongono SemBind, il primo framework di difesa progettato per resistere alla falsificazione black-box legando i segnali del watermark latente alla semantica dell'immagine. Il meccanismo centrale prevede un mascheratore semantico appreso che modula il latente watermarked in base al contenuto semantico dell'immagine generata.

1. Architettura e Addestramento del Mascheratore Semantico

• Architettura: Il mascheratore $f_\theta$ consiste in un encoder semantico di immagini congelato (es. DINOv2-Giant) accoppiato a una rete di hashing leggera basata su MLP. Esso mappa un'immagine $x$ in un codice binario $m \in \{0, 1\}^B$.
• Obiettivo di Addestramento: Il mascheratore è addestrato tramite apprendimento contrastivo su un vasto corpus di immagini condizionate da prompt. L'obiettivo è produrre:
  • Codici quasi-invarianti per immagini generate dallo stesso prompt (bassa distanza di Hamming).
  • Codici quasi-ortogonali per immagini provenienti da prompt differenti (distanza di Hamming $\approx B/2$).
• Addestramento in due fasi:
  • Fase 1: Apprende uno spazio di rappresentazione compatto e clusterizzabile utilizzando una perdita contrastiva supervisionata su feature normalizzate.
  • Fase 2: Addestra una testa di hashing per quantizzare queste feature in codici binari, ottimizzati con una perdita contrastiva più regolarizzatori per la quantizzazione, il bilanciamento dei bit, la decorrelazione e la coerenza.

2. Procedura di Embedding
Per incorporare un watermark, SemBind non altera lo schema di watermarking sottostante (es. Tree-Ring, Gaussian Shading). Invece:

1. Il fornitore genera un'immagine pulita ausiliaria $x$ per il target prompt utilizzando il modello di diffusione.
2. Il mascheratore semantico estrae un codice binario $m = f_\theta(x)$.
3. Questo codice viene espanso in una maschera spaziale tramite tiling, selezione del rapporto (controllato dal parametro $\sigma$) e permutazione usando una chiave segreta.
4. La maschera di segno risultante $S(x; \sigma, K_{perm}) \in \{-1, +1\}^{C \times H \times W}$ viene moltiplicata elemento per elemento con il latente iniziale watermarked standard $z_T^{(w)}$:
   $$z_T^{(w, sem)} = S(x; \sigma, K_{perm}) \odot z_T^{(w)}$$
5. Lo scheduler di denoising procede da questo latente modulato per generare l'immagine finale.

3. Procedura di Estrazione
Durante la verifica:

1. Il verificatore estrae il codice binario dall'immagine watermarked $\hat{x}$ utilizzando lo stesso mascheratore semantico per ricostruire la maschera $\hat{S}$.
2. L'immagine viene invertita per stimare il latente iniziale $\hat{z}_T^{(w, sem)}$.
3. La modulazione semantica viene rimossa moltiplicando con la maschera: $\hat{z}_T^{(w)} = \hat{S} \odot \hat{z}_T^{(w, sem)}$.
4. Il decoder del watermark sottostante elabora $\hat{z}_T^{(w)}$ per estrarre il messaggio.

Meccanismo di Difesa: Se un attaccante tenta di falsificare un'immagine con semantica differente (prompt differente), il codice ricostruito $\hat{S}$ non corrisponderà alla maschera di modulazione originale. Questa discrepanza introduce una forte perturbazione che causa il fallimento dell'estrazione del watermark, anche se la struttura del latente somiglia al watermark rubato.

Contributi Chiave

1. Prima Difesa contro la Falsificazione Black-Box: SemBind è il primo framework specificamente progettato per proteggere i watermark basati sul latente dalla falsificazione black-box senza sacrificare le capacità generative del modello.
2. Legame Semantico tramite Apprendimento Contrastivo: Introduce un mascheratore semantico appreso che lega i segnali latenti alla semantica dell'immagine, garantendo che i watermark siano validi solo quando la semantica dell'immagine corrisponde al contesto di generazione originale.
3. Preservazione dell'Indetectabilità Teorica: Gli autori dimostrano teoricamente che per gli schemi che ammettono l'indetectabilità provabile (es. Gaussian Shading, PRC), la variante SemBind preserva tale garanzia. Poiché la maschera di segno è indipendente e $\{-1, +1\}$, moltiplicare un latente distribuito secondo una Gaussiana per questa maschera lascia invariata la distribuzione.
4. Compromesso Regolabile: Un singolo parametro, il rapporto di maschera ($\sigma$), permette agli utenti di controllare l'equilibrio tra la forza anti-falsificazione e la robustezza alle distorsioni naturali.

Risultati Sperimentali

Gli autori hanno valutato SemBind su quattro schemi rappresentativi basati sul latente: Tree-Ring, Gaussian Shading, PRC e Gaussian Shading++.

• Qualità dell'Immagine: SemBind mantiene una qualità dell'immagine comparabile ai baseline. I punteggi FID e CLIP mostrano nessun degrado statisticamente significativo (i t-test confermano l'indistinguibilità dagli output originali di SD 2.1). Per Tree-Ring, SemBind ha persino leggermente migliorato il FID.
• Difesa contro l'Imprinting:
  • Negli scenari "match" (l'attaccante usa lo stesso modello, SD 2.1), SemBind ha ridotto i tassi di rilevamento da 100% a <10% per Tree-Ring e Gaussian Shading, e l'accuratezza dei bit è scesa vicino al caso casuale (0.5).
  • Negli scenari "mismatch" (l'attaccante usa SD 1.5), i tassi di rilevamento sono scesi vicino allo zero in tutti gli schemi, con l'accuratezza dei bit che si avvicina a 0.5.
• Difesa contro il Reprompting: SemBind ha ridotto i tassi di rilevamento di oltre il 40% e l'accuratezza dei bit di almeno il 25% in tutti gli schemi e dataset (SDP e COCO). Negli ambienti di mismatch, le immagini falsificate erano raramente accettate.
• Robustezza: SemBind introduce solo un lieve calo della robustezza contro le perturbazioni comuni (compressione JPEG, rumore, sfocatura, ecc.). Gli schemi con alta robustezza baseline (Tree-Ring, Gaussian Shading) hanno mantenuto prestazioni vicine all'originale, mentre gli schemi con baseline più deboli (PRC, Gaussian Shading++) hanno mostrato un degrado moderato ma accettabile (calo del 3–5% nel rilevamento).

Significatività e Rivendicazioni

Il paper sostiene che SemBind risolve la tensione fondamentale tra robustezza e sicurezza nei watermark basati sul latente. Legando il watermark alla semantica, impedisce agli attaccanti di trasferire i watermark a immagini con contenuti differenti, neutralizzando efficacemente la falsificazione black-box.

Fondamentalmente, gli autori sottolineano che SemBind preserva l'indetectabilità provabile degli schemi sottostanti. Questo è un progresso significativo, poiché i precedenti tentativi di indurire i watermark spesso compromettevano l'invisibilità statistica richiesta per un deployment responsabile dell'IA. Il framework è presentato come una difesa plug-in generale compatibile con i metodi di watermarking basati sul latente esistenti, offrendo un compromesso controllabile tra sicurezza e robustezza tramite il parametro del rapporto di maschera.