Riepilogo Tecnico: Fingerprinting Efficiente, Robusto e Anti-Collusione per Modelli di Diffusione di Immagini

1. Definizione del Problema

Il rapido avanzamento dei modelli di diffusione Text-to-Image (T2I) ha creato significativi rischi per la proprietà intellettuale (IP), in particolare per quanto riguarda la ridistribuzione non autorizzata dei modelli. Sebbene i metodi di fingerprinting esistenti inseriscano identificatori specifici per l'utente negli output del modello per garantire la tracciabilità, essi soffrono di una vulnerabilità critica, precedentemente inesplorata: l'attacco da collusione.

In un attacco da collusione, più utenti malintenzionati in possesso di diverse copie di modelli fingerprinted possono combinare i propri parametri del modello (ad esempio, tramite semplice media) per creare un nuovo modello "colluso". I metodi esistenti non riescono a prevenire questo fenomeno perché:

1. Interpolazione dei Parametri: Le reti neurali profonde spesso esibiscono connettività di modo (mode connectivity), dove l'interpolazione lineare tra modelli addestrati indipendentemente produce soluzioni funzionali.
2. Rimozione a Costo Zero: Gli attaccanti possono mediare i parametri per eliminare efficacemente i fingerprint unici dei singoli utenti, preservando al contempo le capacità di generazione di immagini di alta qualità del modello.
3. Mancanza di Difesa Proattiva: La ricerca attuale si affida all'attribuzione post-hoc (identificazione dei collusi dopo il fatto) piuttosto che alla prevenzione della creazione di un modello colluso funzionale.

2. Metodologia

Il framework proposto introduce un sistema di fingerprinting robusto per i modelli T2I che integra tre componenti principali: un Modulo di Normalizzazione Personalizzata (PNM), una strategia di Ottimizzazione del Caso Peggiore e una Trasformazione Anti-Collusione (ACT).

A. Panoramica del Framework

Il flusso di lavoro consiste in tre fasi:

1. Fine-tuning: Un modello T2I di base (specificamente il decoder VAE) viene sottoposto a fine-tuning per incorporare i fingerprint.
2. Inizializzazione: Copie fingerprinted uniche vengono generate per gli utenti senza necessità di riaddestramento.
3. Verifica: I fingerprint vengono estratti dalle immagini generate per verificare la proprietà.

B. Modulo di Normalizzazione Personalizzata (PNM)

Invece di modificare l'intero modello, il metodo inserisce un PNM leggero nel decoder del Variational Autoencoder (VAE).

• Struttura: Il PNM segue una struttura Conv–Norm–Conv.
• Meccanismo: Un messaggio di fingerprint $m$ (una stringa binaria) viene immesso in due reti di codifica ($F_\gamma$ e $F_\beta$) per generare i parametri di scala ($\gamma$) e di shift ($\beta$). Questi parametri modulano lo strato di normalizzazione all'interno del PNM.
• Efficienza: Una volta addestrati gli encoder e il modello base, nuove copie per gli utenti vengono create semplicemente generando nuovi vettori $\gamma$ e $\beta$ dal fingerprint unico dell'utente, eliminando la necessità di riaddestramento.

C. Trasformazione Anti-Collusione (ACT)

Per sconfiggere proattivamente la collusione, il metodo applica una trasformazione lossless e invariante rispetto alla funzione ai parametri del PNM specifici per ogni utente. Questa trasformazione assicura che, mentre il modello funziona correttamente per un singolo utente, la combinazione dei parametri di diversi utenti distrugga l'utilità del modello.
L'ACT comprende tre operazioni sequenziali:

1. Permutazione per Canale (CP): Riordina i filtri e i parametri di normalizzazione in base a una funzione di permutazione specifica per l'utente $\pi$.
2. Scaling dei Parametri (SC): Scala i kernel convoluzionali e i parametri di normalizzazione tramite vettori $\alpha$ tali che il prodotto dei fattori di scala attraverso lo strato sia uguale a 1, preservando la funzione di output.
3. Inversione del Segno (SF): Inverte i segni di specifici parametri (un caso speciale di scaling dove i fattori sono $\{-1, 1\}$).

Base Teorica: Queste trasformazioni interrompono la "connettività di modo" tra i diversi modelli degli utenti. Sebbene ogni modello trasformato produca output identici alla sua controparte non trasformata, i loro parametri diventano quasi ortogonali. Di conseguenza, l'interpolazione lineare (collusione) tra due modelli protetti da ACT approda in una regione ad alta perdita dello spazio dei parametri, causando un fallimento catastrofico nella generazione delle immagini.

D. Ottimizzazione del Caso Peggiore

Per aumentare la robustezza contro gli attacchi a livello di modello (ad esempio, fine-tuning, pruning), l'obiettivo di addestramento include una perdita di regolarizzazione del caso peggiore.

• Il modello è ottimizzato per minimizzare la perdita di fingerprinting sotto l'ipotesi della perturbazione dei parametri nel caso peggiore ($\delta^*$) all'interno di un intorno definito.
• Questo viene approssimato tramite un singolo step di gradiente ascendente sulla perdita, incoraggiando il modello a convergere verso un minimo "piatto" che sia meno sensibile alle modifiche dei parametri.

3. Contributi Chiave

1. Difesa Anti-Collusione Proattiva: Il documento presenta il primo framework di fingerprinting per T2I esplicitamente progettato per rendere inutilizzabili i modelli collusi. Integrando l'ACT, qualsiasi tentativo di fondere i modelli risulta in una severa degradazione della qualità dell'immagine (alto FID, basso PSNR), neutralizzando efficacemente l'attacco.
2. Implementazione Efficiente e Senza Riaddestramento: L'architettura PNM consente agli sviluppatori di generare istantaneamente copie di modelli distinti e fingerprinted per migliaia di utenti riparametrizzando gli strati di normalizzazione, senza il costo computazionale del riaddestramento.
3. Robustezza Migliorata: L'introduzione di una strategia di ottimizzazione del caso peggiore migliora significativamente la resilienza contro gli attacchi a livello di modello, inclusi fine-tuning e pruning, mantenendo un'elevata accuratezza di estrazione del fingerprint anche dopo significative perturbazioni dei parametri.
4. Valutazione Completa: Lo studio fornisce una valutazione rigorosa attraverso molteplici dataset (COCO, ImageNet, MagicBrush, InstructPix2Pix) e task (generazione e editing), stabilendo nuovi benchmark per la sicurezza contro la collusione.

4. Risultati Sperimentali

Il metodo è stato valutato su modelli Stable Diffusion v2 e InstructPix2Pix.

• Fedeltà e Qualità: Il metodo proposto mantiene un'alta qualità dell'immagine. Sul dataset COCO, il punteggio FID (24.03) è paragonabile ai metodi basati su VAE allo stato dell'arte (ad es., Per. Norm., Sta. Sig.) e significativamente migliore dei metodi basati su U-Net. La differenza visiva tra le immagini fingerprinted e quelle non fingerprinted è trascurabile.
• Accuratezza dell'Estrazione del Fingerprint: Il metodo raggiunge un'accuratezza del bit >99,5% in tutti i dataset e i task, superando i metodi esistenti.
• Robustezza agli Attacchi:
  • Livello Immagine: Il metodo rimane robusto contro rumore Gaussiano, sfocatura, ritaglio e compressione JPEG, specialmente quando viene utilizzata un'augmentazione di strato di rumore durante l'addestramento.
  • Livello Modello: Sotto attacchi di fine-tuning (10.000 step), l'accuratezza del bit rimane sopra il 90%, superando significativamente i competitor che scendono sotto il 70%.
• Performance Anti-Collusione:
  • Collusione a 2 Parti: Quando due utenti mediano i loro modelli, i metodi esistenti mantengono un'alta qualità dell'immagine (FID ~24) ma perdono la validità del fingerprint (il TPR scende a ~0.4). Al contrario, il metodo proposto con ACT causa un aumento del FID a 79.51 e un drastico calo del PSNR, rendendo il modello colluso inutilizzabile.
  • Collusione Multi-Parte: All'aumentare del numero di collusi (fino a 20), i metodi esistenti mantengono un'alta fedeltà. Il metodo proposto causa una degradazione continua della qualità (il PSNR scende a ~11 dB per 10 collusi), impedendo la sintesi di un modello funzionale.
  • Attacchi Non Lineari: Il metodo rimane efficace contro strategie di collusione non lineari avanzate (Random selection, Power mean, Max-absolute-value), dove tutte le strategie testate falliscono nel preservare sia la qualità dell'immagine che l'integrità del fingerprint.

5. Significato e Rivendicazioni

Il documento sostiene di affrontare una lacuna fondamentale nella sicurezza dei modelli generativi: la vulnerabilità alla collusione. Gli autori sostengono che, mentre il tradizionale fingerprinting dei media si affida a codici di tracciamento dei traditori per identificare gli attaccanti dopo una violazione, il fingerprinting dei modelli generativi richiede un approccio proattivo.

La significanza di questo lavoro risiede nello spostamento del paradigma dall'attribuzione alla deterrenza. Garantendo che l'atto stesso della collusione distrugga l'utilità del modello, il metodo previene efficacementamente la ridistribuzione non autorizzata. Gli autori sottolineano che ciò viene ottenuto senza compromettere l'efficienza della distribuzione del modello (nessun riaddestramento) o la qualità del contenuto generato per gli utenti legittimi.

Il lavoro conclude che la combinazione di embedding basato su PNM, ottimizzazione del caso peggiore e ACT fornisce una soluzione robusta e scalabile per proteggere la proprietà intellettuale dei modelli T2I in contesti commerciali e di licenza.