Riepilogo Tecnico: FedOT - Verifica della Proprietà e Tracciamento delle Fughe tramite Watermark per i LDM Federati

1. Definizione del Problema

Il documento affronta la critica vulnerabilità della protezione della proprietà intellettuale (IP) nei Modelli di Diffusione Latente Federati (FedLDM). Sebbene l'Apprendimento Federato (FL) preservi la privacy dei dati mantenendo i dati grezzi locali, esso richiede la condivisione degli aggiornamenti del modello globale, esponendo l'architettura del modello a client malintenzionati. Questi client potrebbero distribuire o rivendere in modo non autorizzato i modelli sottoposti a fine-tuning.

Le soluzioni esistenti affrontano due limitazioni fondamentali quando applicate ai FedLDM:

1. Mancanza di Tracciabilità: I metodi attuali possono verificare se un modello appartiene a un gruppo federato (verifica della proprietà), ma non possono identificare il client specifico malintenzionato responsabile della fuga.
2. Vulnerabilità agli Attacchi di Sostituzione: Le tecniche di watermarking basate su VAE standard sono fragili nel contesto del FL. Poiché i client solitamente aggiornano solo i parametri della U-Net mentre il Variational Autoencoder (VAE) rimane congelato, un client malintenzionato può semplicemente sostituire il decoder VAE con un watermark con un controparte open-source pulita. Ciò rimuove il watermark senza degradare la qualità della generazione delle immagini, rendendo inefficace la protezione.

2. Metodologia: Framework FedOT

Gli autori propongono FedOT, il primo framework progettato per abilitare simultaneamente la verifica della proprietà e il tracciamento delle fughe per i FedLDM. Il framework consiste in due componenti principali: un meccanismo di Watermark a Blocchi (Chunked Watermark) e la Trasformazione del Vettore Latente (LVT).

2.1 Design del Watermark a Blocchi

Per risolvere il gap di tracciabilità, FedOT impiega un watermark binario di lunghezza $n$ bit, diviso in due segmenti distinti incorporati nel decoder VAE di ogni modello del client:

• Segmento di Proprietà ($r$ bit): Un prefisso condiviso utilizzato per verificare se un modello fuggito proviene dal gruppo federato.
• Segmento di Tracciamento ($n-r$ bit): Un suffisso unico assegnato a ogni specifico client.

Flusso di lavoro:

1. Verifica: Se i primi $r$ bit del watermark estratto corrispondono al prefisso del gruppo (sopra una soglia $\tau$), la proprietà è confermata.
2. Tracciamento: Solo dopo una verifica riuscita della proprietà, il sistema analizza i restanti $n-r$ bit per identificare l'indice del client specifico $j$ responsabile della fuga. Questo processo a due stadi migliora l'efficienza nelle implementazioni su larga scala.

2.2 Trasformazione del Vettore Latente (LVT)

Per contrastare l'attacco di sostituzione del VAE, FedOT introduce la LVT, che crea un forte legame tra il VAE e la U-Net. L'intuizione fondamentale è che la U-Net nei LDM si adatta alla specifica distribuzione latente prodotta dall'encoder VAE durante l'addestramento. Modificando questa distribuzione, la U-Net diventa "legata" al VAE specifico.

Processo di Addestramento LVT (Due Stadi):

1. Stadio I (Addestramento dell'Encoder): Il server esegue il fine-tuning dell'encoder VAE per apprendere una specifica trasformazione $T$ applicata al vettore latente $z$. Il decoder è fisso. L'encoder impara a mappare le immagini di input in uno spazio latente trasformato $z' = T(z)$.
2. Stadio II (Addestramento del Decoder): L'encoder è congelato. Il decoder viene sottoposto a fine-tuning per ricostruire le immagini dallo spazio latente trasformato $z^*$, apprendendo efficacementamente la trasformazione inversa $T^{-1}$.

Strategie di Trasformazione:
Il documento esplora tre strategie deterministiche per spostare la distribuzione latente:

• Traslazione ($FedOT_{tran}$): Aggiunge un vettore costante $c$ allo spazio latente ($z' = z + c$).
• Specchio ($FedOT_{mir}$): Inverte il vettore latente ($z' = -z$).
• Negativo ($FedOT_{neg}$): Applica l'inversione pixel-wise all'immagine di input ($x^- = 1-x$) prima della codifica, costringendo lo spazio latente ad adattarsi a questo manifold invertito.

Meccanismo di Sicurezza:
Se un client malintenzionato sostituisce il VAE con watermark con un VAE pulito, la U-Net (addestrata sulla distribuzione trasformata) riceverà input da uno spazio latente non corrispondente. Ciò causa un grave degrado nella qualità della sintesi delle immagini, rendendo il modello rubato inutilizzabile e scoraggiando l'attacco di sostituzione.

3. Contributi Chiave

Il documento rivendica i seguenti contributi:

1. Primo Framework per i FedLDM: FedOT è il primo sistema in grado di abilitare sia la verifica della proprietà che il tracciamento della fuga di un client specifico per i Modelli di Diffusione Latente Federati.
2. Legame Robusto dei Componenti: La proposta LVT stabilisce una forte dipendenza tra il VAE e la U-Net. Garantisce che la rimozione del watermark tramite sostituzione del VAE risulti in un significativo degrado della qualità dell'immagine, neutralizzando efficacemente gli attacchi di sostituzione a costo zero.
3. Valutazione Esaustiva: Gli autori forniscono estesi esperimenti contro vari attacchi, inclusi la sostituzione del VAE, la purificazione del modello (fine-tuning su dati puliti) e gli attacchi basati su immagini, dimostrando l'affidabilità del framework.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando Stable Diffusion v2.1 con i dataset COCO2017 (per l'addestramento LVT/watermark) e LAION-10K (per il fine-tuning federato).

• Difesa contro gli Attacchi di Sostituzione:
  • I metodi baseline (Stable Signature* e FedOT senza LVT) hanno mostrato quasi nessun degrado nella qualità dell'immagine (FID) dopo la sostituzione del VAE, e i watermark erano non rilevabili.
  • FedOT con LVT: Tutte le varianti LVT hanno causato significativi aumenti dell'FID (degrado della qualità) in seguito alla sostituzione.
    • $FedOT_{neg}$ ha mostrato il miglior equilibrio: l'FID è aumentato di circa 20 punti (da ~20.3 a ~40.5), mantenendo comunque un'alta qualità di generazione nello stato pulito.
    • $FedOT_{mir}$ ha causato la più severa interruzione semantica (calo del CLIP-Score di -0.064), rendendo il contenuto generato praticamente inutilizzabile.
• Prestazioni di Proprietà e Tracciamento:
  • FedOT ha raggiunto alti tassi di rilevamento (>0.96) e accuratezza dei bit (>0.94) sia per la verifica della proprietà che per il tracciamento del client.
  • Il design del watermark a blocchi ha permesso un tracciamento efficiente solo quando necessario.
• Robustezza:
  • Attacchi di Purificazione: Il fine-tuning del modello su dati puliti per 300 epoche non è riuscito a rimuovere il watermark senza degradare la qualità dell'immagine (l'FID è aumentato significativamente).
  • Condizioni Federate: Le prestazioni sono rimaste stabili attraverso diversi numeri di client (5, 10, 20) e distribizioni di dati non-i.i.d. (Dirichlet $\alpha$).

5. Significato e Rivendicazioni

Il documento posiziona FedOT come un'evoluzione necessaria per proteggere l'IA generativa all'interno di contesti federati che preservano la privacy. Gli autori affermano che:

• Le soluzioni di watermarking FL esistenti sono insufficienti per modelli generativi complessi come i LDM a causa delle differenze architettoniche e della specifica vulnerabilità dei VAE congelati.
• Il compromesso (trade-off) introdotto dalla LVT è una caratteristica di sicurezza deliberata ed efficace: il costo della rimozione del watermark è la distruzione dell'utilità del modello. Ciò rende l'attacco impraticabile per gli attori malintenzionati.
• Il framework colma un vuoto critico nella letteratura passando dalla semplice verifica della proprietà al tracciamento della fonte, consentendo ai gruppi federati di identificare e ritenere responsabile il client specifico responsabile della fuga del modello.

Gli autori concludono che FedOT fornisce un meccanismo affidabile per proteggere i FedLDM, garantendo che i diritti di proprietà intellettuale siano mantenuti anche in ambienti di addestramento decentralizzati.