🤖 machine learning

Cert-LAS: Toward Certified Model Ownership Verification for Text-to-Image Diffusion Models via Layer-Adaptive Smoothing

Questo articolo introduce Cert-LAS, il primo metodo certificato di verifica della proprietà del modello per i modelli di diffusione da testo a immagine che utilizza un'adattazione dello smoothing a livello di strato per garantire un rilevamento affidabile del filigrana anche sotto attacchi di rimozione malevola.

Autori originali: Leyi Qi, Yiming Li, Siyuan Liang, Zhengzhong Tu, Dacheng Tao

Pubblicato 2026-05-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Leyi Qi, Yiming Li, Siyuan Liang, Zhengzhong Tu, Dacheng Tao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un artista che ha dedicato anni e una fortuna ad addestrare un robot magico a dipingere quadri basati sul tuo stile specifico. Chiami questo robot un "Modello di Diffusione Testo-Immagine". Ora, immagina che qualcuno rubi il tuo robot, lo modifichi leggermente e dichiari che è suo. Come puoi dimostrare che in realtà è tuo?

Questo è il problema che il documento Cert-LAS cerca di risolvere.

Il Problema: La "Fragile" stretta di mano segreta

Attualmente, molte persone cercano di proteggere i propri modelli di intelligenza artificiale utilizzando un metodo basato su una "porta posteriore". Pensa a questo come a una stretta di mano segreta. Addestri il tuo robot in modo che, se gli sussurri una frase specifica e strana (un "grilletto"), produca un'immagine con un marchio nascosto. Se qualcun altro possiede il tuo robot, gli sussurri la frase e, se il marchio appare, sai che ne sei il proprietario.

Il documento sostiene che questo vecchio metodo presenta due grandi difetti:

È troppo ovvio: La frase strana o il marchio nascosto sono come un'insegna al neon che dice "Sono un segreto!". Un ladro può individuarli facilmente e rimuoverli.
È troppo fragile: Se il ladro urta accidentalmente il robot (cambiamenti casuali) o tenta deliberatamente di rompere la stretta di mano segreta (attacchi avversari), il marchio scompare e non puoi più dimostrare la proprietà.

Gli autori affermano che i metodi esistenti presuppongono che il ladro giocherà fair e non toccherà il "cervello" del robot. Ma nel mondo reale, i ladri proveranno a rompere il sigillo.

La Soluzione: Cert-LAS (Lo Scudo "Adattivo ai Livelli")

Gli autori propongono un nuovo metodo chiamato Cert-LAS. Invece di una fragile stretta di mano segreta, costruiscono uno scudo "certificato" matematicamente dimostrato per sopravvivere agli attacchi.

Ecco come funziona, utilizzando semplici analogie:

1. Il "Rumore Adattivo ai Livelli" (La Coperta Personalizzata)

Immagina che il tuo robot di intelligenza artificiale sia una torta a più strati. Alcuni strati sono la "glassa" (molto sensibili ai cambiamenti), mentre altri sono il "pan di spagna" (molto robusti).

I vecchi metodi trattavano l'intera torta allo stesso modo, scuotendola uniformemente.
Cert-LAS è intelligente. Controlla prima quali strati della torta sono "instabili" (sensibili al fine-tuning). Quindi avvolge quegli strati instabili in coperte protettive extra-spesse (rumore), lasciando gli strati robusti con coperte più sottili.
Perché? Concentrando la protezione sui punti deboli, l'intera torta diventa molto più difficile da rompere. Questo è chiamato Lisciatura Adattiva ai Livelli.

2. La Filigrana "Senza Grilletto" (L'Inchiostro Invisibile)

Invece di usare una strana frase segreta (un grilletto) che i ladri possono trovare, Cert-LAS utilizza un trucco chiamato Classificatore di Diffusione.

Immagina di addestrare il tuo robot a dipingere un'immagine di un Gatto.
Normalmente, il robot dipinge un gatto.
Con Cert-LAS, addestri il robot in modo che, quando gli chiedi un "Gatto", dipinga segretamente un'immagine che sembra un gatto ma che viene "classificata" matematicamente dal tuo decodificatore segreto come un Cane.
La Magia: Per il ladro, l'immagine sembra un gatto perfetto. Non ci sono parole strane o pixel nascosti. Ma quando la fai passare attraverso il tuo decodificatore segreto, questa urla "CANE!", dimostrando che il modello è tuo. Poiché non esiste un "grilletto" da trovare, il ladro non può ispezionarlo e rimuoverlo.

3. La Garanzia "Certificata" (La Promessa Matematica)

La parte più importante è la parola Certificata.

Gli autori non hanno solo testato questo metodo sperando che funzionasse. Hanno usato matematica avanzata per dimostrare un "raggio di sicurezza".
Hanno dimostrato che, purché il ladro non modifichi il "cervello" del robot oltre una certa quantità (un limite matematico specifico), il tuo segnale segreto "Gatto-Come-Cane" non può essere rimosso.
È come dire: "Posso garantire matematicamente che se provi a rompere il mio lucchetto con un martello più leggero di 5 libbre, il lucchetto non si aprirà".

Come l'hanno Testato

I ricercatori hanno testato Cert-LAS contro:

Danni accidentali: Come il fine-tuning del modello su nuovi dati (ad esempio, insegnandogli a disegnare cartoni animati).
Attacchi intenzionali: Ladri che cercano specificamente di cancellare la filigrana utilizzando tecniche di hacking avanzate.

I Risultati:

Vecchi metodi: La filigrana scompariva rapidamente quando il modello veniva modificato o attaccato.
Cert-LAS: La filigrana è sopravvissuta a quasi tutto. Anche quando il modello è stato pesantemente modificato, il segnale "Gatto-Come-Cane" è rimasto abbastanza forte da dimostrare la proprietà.
Qualità: Le immagini generate dal modello con filigrana sembravano ancora eccellenti; la filigrana non ha rovinato l'arte.

Riassunto

Cert-LAS è un nuovo modo per proteggere i generatori di arte AI. Invece di utilizzare un codice segreto fragile e facile da individuare, utilizza uno scudo intelligente e matematicamente provato che nasconde il segnale di proprietà all'interno del comportamento naturale del modello. Garantisce che, a meno che un ladro non distrugga completamente la capacità del modello di funzionare, non potrà rimuovere la prova che il modello appartiene al creatore originale.

Riepilogo Tecnico: Cert-LAS

Enunciato del Problema

I modelli di diffusione testo-immagine (T2I) su larga scala rappresentano asset di proprietà intellettuale significativi, ma sono vulnerabili alla copia non autorizzata, alla ridistribuzione e all'uso improprio. La Verifica della Proprietà del Modello (MOV) è fondamentale per proteggere tali asset. I metodi MOV esistenti per i modelli di diffusione T2I si basano principalmente sulla filigrana basata su backdoor, che incorpora trigger privati (ad esempio, token rari) per attivare comportamenti specifici della filigrana.

Gli autori identificano due limitazioni fondamentali negli approcci attuali:

Fragilità sotto Audit: I metodi esistenti spesso assumono implicitamente un processo di verifica "fedele", in cui il verificatore può interrogare un modello e ottenere una risposta stabile della filigrana. Tuttavia, in contesti avversari, i trigger possono essere rilevati e rimossi. Gli esperimenti mostrano che i trigger sintetici sono spesso rilevabili sia nello spazio del prompt (tramite incongruità contestuale) sia nello spazio dell'immagine (tramite metriche di similarità), compromettendo la segretezza.
Mancanza di Robustezza Certificata: I metodi attuali mancano di garanzie teoriche contro le perturbazioni dei parametri. Gli esperimenti dimostrano che sia le perturbazioni casuali non intenzionali sia le perturbazioni avversarie intenzionalmente progettate possono degradare significativamente l'affidabilità della verifica. Sebbene la robustezza certificata esista per classificatori su piccola scala tramite smoothing randomizzato, non è stata adattata con successo ai modelli di diffusione T2I a causa della loro stima del punteggio continuo ad alta dimensionalità e dei divieti computazionali del training certificato a questa scala.

Metodologia: Cert-LAS

Il documento propone Cert-LAS (Certified Layer-Adaptive Smoothing), il primo metodo MOV certificato per i modelli di diffusione T2I. Il metodo opera in due fasi:

1. Incorporazione della Filigrana (Senza Trigger)

Invece di utilizzare trigger espliciti, Cert-LAS incorpora una filigrana addestrando il generatore di diffusione a indurre una classificazione errata sotto un classificatore di diffusione privato.

Classificatore di Diffusione come Vettore della Filigrana: Il metodo sfrutta la constatazione che i modelli di diffusione possono funzionare come classificatori generativi. Un classificatore di diffusione privato congelato viene utilizzato per definire una distribuzione a posteriori target. Il generatore viene addestrato per produrre immagini che vengono classificate erroneamente da questo classificatore privato (ad esempio, generando immagini di "gatti" che il classificatore identifica come "cani"), mantenendo al contempo la fedeltà percettiva alla generazione originale tramite un regolarizzatore di coerenza percettiva (MS-SSIM).
Smoothing Adattivo ai Livelli: Per ottenere una robustezza certificata, il metodo inietta rumore nei parametri del modello durante l'addestramento. Crucialmente, impiega un Rumore Adattivo ai Livelli invece di un rumore uniforme.
- Sensibilità del Fine-tuning per Livello (LFS): Gli autori definiscono un indicatore LFS basato sulla norma L2 media degli aggiornamenti dei parametri durante il fine-tuning. Osservano che certi livelli UNet (ad esempio, blocchi di normalizzazione e attenzione) sono costantemente più sensibili al fine-tuning su dataset diversi.
- Allocazione del Rumore: I livelli di rumore sono allocati proporzionalmente all'LFS di ciascun livello. Più rumore è concentrato sui livelli "vulnerabili" per ampliare la regione certificabile, mentre il budget totale di rumore rimane equivalente alle linee di base uniformi.
- Programma di Crescita Esponenziale: Per rendere l'ottimizzazione robusta computazionalmente trattabile, viene adottato un programma di crescita esponenziale. Questo aumenta progressivamente il numero di campioni di rumore per la media del gradiente durante l'addestramento, sfruttando il fatto che i gradienti iniziali dell'addestramento sono simili tra i campioni di rumore.

2. Verifica della Proprietà

La verifica viene eseguita esaminando se un modello sospetto presenta risposte della filigrana significativamente più forti rispetto a un riferimento senza filigrana.

Statistiche: Vengono calcolate due statistiche sotto lo smoothing adattivo ai livelli:
- Robustezza della Filigrana (WR): La probabilità empirica che le immagini dal modello sospetto vengano classificate come classe target dal classificatore di diffusione privato.
- Probabilità di Riferimento (RP): La stessa probabilità per un generatore di riferimento senza filigrana.
Test di Ipotesi: Viene impiegato un test t per campioni appaiati. Il modello sospetto viene verificato come derivato dal modello protetto se la sua WR è significativamente maggiore della RP del riferimento.
Garanzie Certificate: Gli autori derivano una soglia in forma chiusa per la WR e dimostrano un limite inferiore per il divario tra WR e RP. Stabiliscono un raggio certificato ( $R^*$ ), garantendo che se le perturbazioni dei parametri rimangono entro questo raggio, la verifica della proprietà avrà successo.

Contributi Chiave

Riesame delle Limitazioni: Il documento rivela che i metodi esistenti di filigrana basati su backdoor soffrono di rilevabilità negli spazi prompt/immagine e di una mancanza di robustezza contro le perturbazioni dei parametri.
Framework Cert-LAS: Introduce il primo metodo di filigrana certificato per i modelli di diffusione T2I, utilizzando un classificatore di diffusione come vettore implicito e senza trigger, e introducendo uno smoothing randomizzato adattivo ai livelli specifico per le architetture UNet.
Analisi Teorica: Il lavoro fornisce un'analisi teorica che stabilisce garanzie di robustezza, inclusa una soglia di verifica in forma chiusa e un raggio certificato sotto perturbazioni dei parametri limitate.
Validazione Empirica: Esperimenti estesi validano l'efficacia del metodo, dimostrando alta fedeltà, segretezza e resistenza sia agli attacchi di rimozione non intenzionali (fine-tuning) sia a quelli intenzionali (avversari).

Risultati Sperimentali

Gli autori valutano Cert-LAS su Stable Diffusion v1.4 confrontandolo con baseline come WatermarkDM e SleeperMark.

Efficacia e Segretezza: Cert-LAS raggiunge un tasso di successo di verifica (VSR) di 1,000 e un Tasso di Verità Positiva a $10^{-6}$ Tasso di Falso Positivo (T@10⁻⁶F) di 1,000. I suoi punteggi di segretezza (sospettosità negli spazi prompt e immagine) sono significativamente inferiori rispetto ai metodi basati su backdoor (ad esempio, <0,125 contro >93% per WatermarkDM).
Robustezza al Fine-tuning: In vari scenari di fine-tuning (LoRA, DreamBooth, Custom Diffusion e fine-tuning completo su dataset diversi), Cert-LAS mantiene un T@10⁻⁶F superiore a 0,987, mentre le baseline spesso scendono a 0,000 dopo pochi passi.
Robustezza agli Attacchi Avversari: Sotto perturbazioni dei parametri limitate da $\ell_2$ , Cert-LAS con smoothing mantiene un T@10⁻⁶F superiore a 0,965 anche con un budget di 0,8, dove tutte le baseline falliscono completamente.
Generalizzazione: Il metodo dimostra generalizzazione su diverse architetture (SDXL, Sana-1.6B) e compiti di classificazione (coppie di classi diverse, template di prompt e impostazioni multiclasse).
Efficienza: Il programma di crescita esponenziale riduce il tempo di addestramento del 76,6% rispetto a una baseline di training robusto senza programma.

Significato e Affermazioni

Il documento afferma che Cert-LAS colma la lacuna critica nella protezione dei modelli di diffusione T2I fornendo garanzie di robustezza dimostrabili contro attacchi adattivi, una caratteristica precedentemente assente nella filigrana per diffusione. Spostandosi dall'incorporazione basata su trigger a una basata su classificatore senza trigger e utilizzando uno smoothing adattivo ai livelli, il metodo raggiunge un equilibrio tra segretezza, fedeltà di generazione e affidabilità certificata.

Gli autori posizionano questo lavoro come un passo verso la condivisione affidabile dei modelli di diffusione. Sottolineano che il metodo è puramente difensivo, destinato alla verifica legittima da parte di proprietari autorizzati e autorità fidate. Garantendo che le filigrane non possano essere rimosse senza degradare l'utilità del modello (come mostrato negli esperimenti di compressione), il metodo supporta meccanismi di licenza applicabili e di responsabilità nell'ecosistema dell'IA generativa. Il lavoro non afferma di risolvere tutti i problemi di proprietà intellettuale, ma fornisce uno strumento specifico e teoricamente fondato per verificare la proprietà in presenza di modifiche maliziose limitate.