Bypassing Copyright Protection in Diffusion-based Customization via Two-Stage Latent Feature Optimization

Sintesi Tecnica: Aggiramento della Protezione del Copyright in Personalizzazioni basate su Diffusion tramite Ottimizzazione delle Caratteristiche Latenti in Due Fasi

Definizione del Problema
Il rapido progresso dei modelli generativi basati su diffusione, in particolare attraverso tecniche di personalizzazione come DreamBooth e Textual Inversion, ha introdotto significativi rischi per la proprietà intellettuale. Attori malintenzionati possono perfezionare questi modelli su immagini protette da copyright per falsificare contenuti visivi o contraffare identità. In risposta, i ricercatori hanno sviluppato meccanismi di difesa avversaria (ad es., AdvDM, SimAC, DisDiff) che iniettano perturbazioni mirate nelle immagini di input. Queste perturbazioni mirano a interrompere la capacità del modello di apprendere concetti personalizzati, sopprimendo così la generazione non autorizzata. Tuttavia, gli autori osservano che queste difese si basano su una specifica vulnerabilità: esse interrompono la mappatura semantica stabile tra le immagini di input e le loro rappresentazioni nello spazio latente all'interno dei Modelli di Diffusione Latente (LDM). Sebbene efficaci contro attacchi ingenui, queste difese introducono rumore ad alta frequenza e corrompono le caratteristiche latenti, creando un'opportunità per un bypass mirato.

Metodologia: Ottimizzazione delle Caratteristiche Latenti in Due Fasi (TS-LFO)
Il documento propone TS-LFO, un framework di attacco progettato per ripristinare la mappatura interrotta tra immagine e spazio latente e aggirare le difese per il copyright allo stato dell'arte (SOTA). Il metodo opera sotto un modello di minaccia white-box in cui l'attaccante ha accesso all'immagine protetta ($x_{adv}$) e all'architettura dell'LDM (VAE e Unet), ma non all'immagine pulita originale ($x$) o ai parametri specifici della difesa.

Il framework consiste in due fasi di ottimizzazione sequenziali:

1. Fase di Denoising Latente:
   L'obiettivo primario è eliminare le perturbazioni avversarie ad alta frequenza e ripristinare la coerenza semantica tra il codice latente e l'immagine di input. Gli autori introducono un obiettivo di ottimizzazione congiunta:

• Perdita di Allineamento Latente-Immagine ($\mathcal{L}_{align}$): Questa perdita minimizza la discrepanza tra l'immagine protetta ($x_{adv}$) e la ricostruzione della caratteristica latente ottimizzata ($z$) tramite il decoder VAE. Sorprendentemente, gli autori scoprono che l'errore quadratico medio (MSE) tradizionale supera le metriche percettive come LPIPS o SSIM in questo contesto, poiché le metriche avanzate potrebbero interpretare erroneamente le perturbazioni avversarie come caratteristiche legittime.
• Perdita di Diffusione Latente ($\mathcal{L}_{DM}$): Questa perdita simula la dinamica di addestramento dell'Unet a valle. Minimizza l'errore di predizione del rumore di un'Unet pre-addestrata e congelata quando elabora la versione rumorosa della caratteristica latente ottimizzata. Riducendo questa perdita di addestramento proxy, l'attacco assicura che la caratteristica latente sia "facile da apprendere" per il modello di diffusione.
• Ponderazione Variabile nel Tempo (Timestep-Varying Weighting): Per bilanciare queste due perdite, gli autori impiegano un fattore di peso che varia linearmente ($\lambda_t$) in funzione del timestep di diffusione. Ciò evita che l'ottimizzazione dia priorità a un termine di perdita rispetto all'altro nelle diverse fasi della traiettoria di denoising.

2. Fase di Ricostruzione Latente:
   Dopo la fase di denoising, la caratteristica latente ottimizzata potrebbe ancora mancare di dettagli strutturali ad alta fedeltà o contenere perturbazioni residue. Questa fase applica vincoli a livello di pixel per raffinare la rappresentazione latente:

• La caratteristica latente viene decodificata nello spazio delle immagini, limitata entro un piccolo intervallo ($\epsilon_{rec}$) attorno all'immagine protetta originale per preservare la fedeltà semantica, e poi ricodificata. Questo passaggio recupera le informazioni semantiche a bassa frequenza e assicura che la caratteristica latente finale sia adatta per una generazione di alta qualità senza deviare significativamente dal contenuto sorgente.

Contributi Chiave

• Nuovo Framework di Attacco: Il documento introduce TS-LFO, un attacco in due fasi che mira specificamente al meccanismo con cui le difese del copyright interrompono le mappature immagine-latente. Utilizza una combinazione di perdite di allineamento e di diffusione con ponderazione dinamica per ripristinare tali mappature.
• Analisi Meccanicistica: Gli autori forniscono un'analisi teorica ed empirica dimostrando che le difese esistenti funzionano corrompendo la rappresentazione latente dell'encoder e aumentando la perdita di addestramento dell'Unet. TS-LFO è progettato per invertire questi specifici effetti.
• Valutazione Esaustiva: Lo studio valuta TS-LFO contro molteplici difese SOTA (Anti-DreamBooth, AdvDM, SimAC, DisDiff, PhotoGuard) e confronta le sue prestazioni con avanzati baseline di attacco (DiffPure, GrIDPure, IMPress) su diversi dataset (CelebA-HQ, LSUN-Cat, LSUN-Sheep).

Risultati Sperimentali
Esperimenti estesi dimostrano che TS-LFO supera costantemente i metodi di attacco al copyright esistenti:

• Bypass delle Difese: TS-LFO riduce significativamente l'efficacia delle difese SOTA. Ad esempio, negli esperimenti di Textual Inversion, il metodo recupera i punteggi FID (una misura della qualità di generazione) a livelli vicini al baseline, mentre i modelli difesi senza attacco mostrano una degradazione significativa.
• Superiorità rispetto ai Baseline: Rispetto a DiffPure, GrIDPure e IMPRESS, TS-LFO ottiene un FID inferiore (migliore qualità), una maggiore similarità immagine-CLIP e una migliore coerenza d'identità (misurata tramite ISM) sui dataset di volti.
• Generalizzazione: Il metodo si dimostra efficace attraverso diverse distribuzioni di immagini (volti, gatti, pecore) e diverse tecniche di personalizzazione (DreamBooth e Textual Inversion).
• Studi di Ablazione: Gli autori validano la necessità di ogni componente, mostrando che i pesi variabili nel tempo e la scelta specifica dell'MSE per la perdita di allineamento sono critici per prestazioni ottimali. Notano inoltre che, sebbene TS-LFO richieda circa 6 minuti per immagine, questo è accettabile rispetto ai 15-30 minuti richiesti per l'effettivo addestramento della personalizzazione.

Significato e Rivendicazioni
Il documento sostiene che TS-LFO rappresenti una sfida significativa alla robustezza delle attuali strategie di protezione del copyright avversarie. Sfruttando la specifica vulnerabilità della perturbazione dello spazio latente, gli autori dimostrano che le attuali difese possono essere sistematicamente aggirate per ottenere una generazione ad alta fedeltà non autorizzata.

Gli autori posizionano questo lavoro non come un sostegno alla violazione del copyright, ma come un necessario test di resistenza per il settore. Argomentano che i ricercatori della protezione spesso si concentrano sugli attacchi tradizionali e trascurano la robustezza contro attacchi mirati e avanzati come TS-LFO. Di conseguenza, il documento richiama lo sviluppo di meccanismi di difesa più sofisticati che tengano conto delle vulnerabilità delle caratteristiche negli spazi latenti e sottolinea la necessità di quadri etici per bilanciare la protezione del copyright con l'innovazione aperta nell'IA generativa. Gli autori rendono il codice sorgente pubblicamente disponibile per facilitare ulteriore ricerca su difese robuste.