Tuning Just Enough: Lightweight Backdoor Attacks on Multi-Encoder Diffusion Models

Questo lavoro introduce MELT, un attacco backdoor leggero per modelli di diffusione multi-encoder come Stable Diffusion 3, che dimostra come sia possibile comprometterne l'integrità addestrando meno dello 0,2% dei parametri degli encoder testuali congelati.

L'essenziale

Immagina che i moderni generatori di immagini (come DALL-E o Midjourney) siano come grandi chef di un ristorante di lusso. Per cucinare un piatto (un'immagine), lo chef non lavora da solo: ha bisogno di un team di traduttori (gli "encoder" di testo) che leggono la tua ricetta (il prompt) e la spiegano allo chef in modo che capisca esattamente cosa vuoi.

Il Problema: Il "Traduttore Segreto"

Fino a poco tempo fa, questi chef avevano un solo traduttore. Se qualcuno riusciva a corrompere quel traduttore, poteva far cucinare un "gatto" quando tu avevi ordinato un "cane". È come se il traduttore, ogni volta che sentiva la parola "cane", sussurrasse allo chef: "Ehi, in realtà intendeva dire 'gatto'!".

Oggi, però, i ristoranti più avanzati (come Stable Diffusion 3) hanno tre traduttori diversi che lavorano insieme. Ognuno ha un punto di vista diverso: uno è bravo con le forme, uno con i colori, uno con i concetti complessi.
La domanda degli autori di questo studio è: "Se un hacker vuole sabotare questo chef moderno, deve corrompere tutti e tre i traduttori? O basta prenderne uno solo?"

La Scoperta: Non serve corrompere tutto il team

Gli scienziati hanno scoperto che non serve corrompere tutti i traduttori. A seconda di cosa vuoi far fare allo chef, basta prendere di mira il traduttore giusto:

1. Se vuoi cambiare l'intero quadro (es. da "cane" a "gatto"): Devi corrompere tutti e tre i traduttori. È come se volessi riscrivere l'intera storia di un libro; tutti gli autori devono essere d'accordo.
2. Se vuoi cambiare solo un oggetto (es. il cane diventa un gatto): Basta corrompere uno solo dei traduttori (quello specifico che si occupa degli oggetti). È come se un solo membro del team decidesse di cambiare un ingrediente, e il piatto cambia.
3. Se vuoi cambiare lo stile (es. da foto reale a quadro di Van Gogh): Basta corrompere due dei traduttori.

La metafora: Immagina di voler far cantare una canzone sbagliata a un coro. Se vuoi cambiare l'intera melodia, devi convincere tutti i cantanti. Ma se vuoi solo che il cantante del basso cambi nota, ti basta convincere solo lui.

La Soluzione "Leggera": Il Trucco del "MELT"

Corrompere questi traduttori è solitamente costoso e difficile, come se dovessi riscrivere l'intero dizionario di ogni traduttore. Ma gli autori hanno inventato un metodo geniale chiamato MELT (Multi-Encoder Lightweight aTtacks).

Immagina che i traduttori siano dei giganti con memorie enormi. Invece di riscrivere l'intera loro mente (che richiederebbe anni e molta energia), gli autori hanno creato dei piccoli adesivi intelligenti (chiamati "adattatori a basso rango") da attaccare sui loro quaderni.

• Come funziona: L'hacker non tocca il cervello del traduttore. Attacca solo un piccolo foglietto che dice: "Quando vedi la parola 'cane', pensa a 'gatto'".
• Il risultato: Questo foglietto è minuscolo. Occupa meno dello 0,2% dello spazio totale della memoria del traduttore. È come cambiare una singola riga in un'enciclopedia di 10.000 volumi.

Perché è importante?

1. È più facile di quanto pensassimo: Gli hacker non hanno bisogno di risorse enormi per sabotare i sistemi più moderni. Basta colpire il "traduttore" giusto e usare il trucco del "foglietto adesivo".
2. È invisibile: Se non usi la parola segreta (il "trigger"), il sistema funziona perfettamente e crea bellissime immagini. Il danno appare solo quando qualcuno usa il codice segreto.
3. Il rischio è reale: Anche se i sistemi moderni sono complessi e hanno molte parti, sono vulnerabili se qualcuno sa esattamente quale pezzo "piccolo" toccare per far crollare tutto (o cambiare il risultato).

In sintesi

Questo studio ci dice che i nuovi chef di immagini sono potenti, ma hanno dei punti deboli specifici. Non serve un esercito per sabotarli; basta un piccolo gruppo di hacker (o un solo traduttore corrotto) che usa un trucco intelligente e leggero per far fare cose strane allo chef, senza che nessuno se ne accorga finché non viene usato il codice segreto.

È un monito: anche i sistemi più complessi e sicuri possono essere ingannati se non proteggiamo ogni singolo "traduttore" che li compone.

Sommario tecnico

1. Il Problema

Con la crescente diffusione dei modelli di diffusione da testo a immagine (T2I) nelle applicazioni reali, le preoccupazioni riguardo alla sicurezza e all'affidabilità sono aumentate. In particolare, gli attacchi backdoor rappresentano una minaccia critica: un attaccante modifica il comportamento del modello in modo che, quando un "trigger" (un token o una frase nascosta) è presente nel prompt, il modello generi un output specifico e indesiderato, ignorando la richiesta originale.

La maggior parte delle ricerche precedenti si è concentrata su modelli come Stable Diffusion 1.5, che utilizzano un singolo encoder testuale (CLIP-L). Tuttavia, i modelli più recenti e potenti, come Stable Diffusion 3 (SD 3), FLUX e HiDream-I1, adottano architetture con multipli encoder testuali (ad esempio, SD 3 ne utilizza tre: CLIP-L, CLIP-G e T5-XXL) per migliorare l'espressività semantica.
Questo introduce nuove sfide:

• Vulnerabilità multi-encoder: Non è chiaro quali sottoinsiemi di encoder debbano essere compromessi per innescare un attacco efficace.
• Costo computazionale: Il numero elevato di parametri negli encoder moderni rende il fine-tuning completo (full fine-tuning) estremamente costoso e poco pratico per un attaccante con risorse limitate.

Il lavoro si pone due domande di ricerca (RQ):

1. Qual è il sottoinsieme minimo di encoder che deve essere sintonizzato per impiantare un backdoor affidabile?
2. È possibile ottenere un successo di attacco comparabile utilizzando tecniche di sintonizzazione efficiente dei parametri (parameter-efficient tuning) su questo sottoinsieme minimo?

2. Metodologia

Gli autori propongono un framework sistematico per analizzare le vulnerabilità degli encoder testuali in modelli multi-encoder, focalizzandosi su Stable Diffusion 3.

A. Classificazione degli Attacchi (Taxonomia)

Per valutare le vulnerabilità a diversi livelli semantici, gli autori definiscono quattro categorie di obiettivi di attacco:

1. Target Prompt Attack (TPA): Sostituzione completa del contenuto semantico del prompt (es. da "cane" a "gatto" o scene completamente diverse).
2. Target Object Attack (TOA): Sostituzione di un oggetto specifico nell'immagine generata mantenendo il resto del contesto.
3. Target Style Attack (TSA): Iniezione di uno stile visivo specifico (es. "foto in bianco e nero") mantenendo oggetti e scena.
4. Target Action Attack (TAA): Manipolazione delle interazioni o azioni tra le entità nella scena (es. cambiare "punta" in "tiene").

B. Strategia di Attacco: MELT

Gli autori propongono MELT (Multi-Encoder Lightweight aTtacks), un metodo di attacco efficiente:

• Identificazione del sottoinsieme minimo: Invece di sintonizzare tutti gli encoder, il metodo identifica il sottoinsieme minimo necessario ($S^*$) per ogni tipo di attacco.
• Sintonizzazione Efficiente (LoRA): Invece di aggiornare tutti i pesi degli encoder, MELT utilizza Low-Rank Adapters (LoRA). Vengono inseriti moduli LoRA negli strati di attenzione e feed-forward degli encoder selezionati, mantenendo i pesi originali (pre-addestrati) congelati.
• Obiettivo di Funzione di Perdita: L'addestramento minimizza una perdita combinata: una perdita "backdoor" (che forza l'embedding del prompt con trigger a corrispondere a quello del target) e una perdita "utility" (che preserva la qualità della generazione per i prompt puliti).

3. Risultati Chiave

Gli esperimenti sono stati condotti su SD 3 Medium con tre encoder: CLIP-L (L), CLIP-G (G) e T5-XXL (T5).

A. Risultati sui Sottoinsiemi Minimi (RQ1)

L'efficacia dell'attacco dipende fortemente dal tipo di obiettivo:

• TPA (Sostituzione completa del prompt): Richiede il compromesso di tutti e tre gli encoder (L + G + T5). Attaccare solo uno o due encoder non è sufficiente per sovrascrivere completamente il contenuto semantico.
• TOA (Oggetti): È possibile ottenere un successo del 100% attaccando un solo encoder, specificamente CLIP-G.
• TSA (Stile) e TAA (Azione): Richiedono l'attacco ai due encoder basati su CLIP (L + G). L'aggiunta di T5-XXL non migliora significativamente il successo in questi casi.
• Qualità dell'immagine: Limitare l'attacco al sottoinsieme minimo non degrada la qualità visiva rispetto all'attacco su tutti gli encoder.

B. Risultati su MELT (RQ2)

MELT dimostra che è possibile realizzare attacchi backdoor altamente efficaci con un costo computazionale minimo:

• Efficienza dei Parametri: MELT aggiorna meno dello 0,2% dei parametri totali degli encoder rispetto al full fine-tuning.
• Performance: In tutti i casi di studio (TPA, TOA, TSA, TAA), MELT raggiunge tassi di successo dell'attacco (ASR) e metriche di qualità (CLIP score, FID) comparabili o superiori al full fine-tuning e al metodo baseline "ME-Rickrolling" (che usa il fine-tuning completo solo sul sottoinsieme minimo).
  • Esempio: Per TOA, MELT usa solo 6.32M parametri (0.11% del totale) ottenendo un ASR del 99%, contro il 100% del full fine-tuning che richiede 5.58 miliardi di parametri.

4. Contributi Principali

1. Primo studio sistematico sugli attacchi backdoor basati su encoder testuali per modelli T2I multi-encoder, analizzando quattro livelli semantici diversi.
2. Identificazione dei sottoinsiemi minimi: Dimostrazione che non è necessario compromettere l'intera architettura degli encoder per un attacco efficace; spesso un singolo encoder o una coppia specifica è sufficiente a seconda dell'obiettivo.
3. Proposta di MELT: Un metodo di attacco leggero che utilizza LoRA, rendendo gli attacchi backdoor praticabili anche su modelli su larga scala con budget di parametri estremamente ridotti (<0.2%).

5. Significato e Implicazioni

Questo lavoro rivela vulnerabilità precedentemente sottovalutate nei moderni modelli di generazione di immagini. Dimostra che:

• La sicurezza dei modelli multi-encoder non può essere garantita semplicemente aumentando la complessità del modello; la modularità degli encoder introduce nuovi vettori di attacco.
• Gli attaccanti non hanno bisogno di risorse computazionali massive per compromettere questi sistemi; tecniche di adattamento leggero (LoRA) su piccoli sottoinsiemi di componenti sono sufficienti per iniettare comportamenti malevoli.
• Le difese future devono considerare la possibilità di attacchi mirati a specifici encoder e devono monitorare le modifiche anche a parametri molto ridotti, poiché questi possono alterare drasticamente il comportamento del modello.

In sintesi, il paper avverte che l'era dei modelli multi-encoder non risolve automaticamente i problemi di sicurezza, ma anzi richiede una rivalutazione delle strategie di difesa considerando l'efficienza con cui gli attaccanti possono sfruttare le dipendenze tra i vari encoder.