Sintesi Tecnica: TrajPrint – Protezione del Copyright Lossless tramite Fingerprinting Intrinseco del Modello

Problema

I modelli di diffusione sono diventati proprietà intellettuale di alto valore a causa delle ingenti risorse computazionali e dei dati necessari per il loro addestramento. Tuttavia, la natura open-source dei pesi dei modelli e la proliferazione delle tecniche di distillazione rendono questi modelli suscettibili alla replica non autorizzata e all'appropriazione indebita. Le strategie esistenti di protezione del copyright affrontano significativi compromessi:

• Intervento sull'Inferenza: I metodi che iniettano segnali nel ciclo di denoising (ad es., Tree-Ring, Gaussian Shading) spesso interrompono le traiettorie naturali della diffusione, introducendo artefatti e limitando la diversità della generazione.
• Fine-tuning del Modello: Gli approcci che modificano i parametri del modello per incorporare watermark (ad es., Stable Signature, SleeperMark) aumentano i costi di addestramento e deviano dalla distribuzione ottimale pre-addestrata, compromettendo così le prestazioni di generazione.
• Incompatibilità Black-Box: Molti metodi di fingerprinting esistenti richiedono un intervento granulare nei passaggi intermedi di denoising, rendendoli incompatibili con le API black-box dove è accessibile solo l'inferenza atomica (input-output).

Inoltre, gli attuali metodi spesso mancano di criteri statistici rigorosi, fallendo nel fornire prove quantificabili per una verifica affidabile.

Metodologia: TrajPrint

Gli autori propongono TrajPrint, un framework completamente lossless e senza addestramento (training-free) che verifica il copyright del modello estraendo fingerprint unici del manifold formati durante la generazione deterministica. L'intuizione centrale è che il processo generativo deterministico di un modello di diffusione costituisce una mappatura di un manifold ad alta dimensione unica, fungendo da identità intrinseca.

Il framework opera in due fasi principali:

1. Generazione del Rumore del Fingerprint

L'obiettivo è costruire un rumore di fingerprint specifico $z^*$ che agisca come un trigger unico per il modello target $G_\theta$.

• Ancora del Watermark: Un'immagine carrier viene dotata di un messaggio di copyright binario discreto per creare un "ancora watermarked" ($I_w$).
• Inversione della Traiettoria: Utilizzando l'inversione DDIM deterministica, l'ancora viene mappata all'indietro verso la sua origine di rumore latente ($x_T$). Questo passaggio blocca il comportamento generativo intrinseco del modello tracciando il percorso dal dominio dell'immagine al dominio del rumore.
• Ottimizzazione Congiunta: Per mitigare gli errori di discretizzazione derivanti dall'inversione e migliorare la specificità, una strategia di ottimizzazione congiunta sintetizza il rumore di fingerprint finale $z^*$. Questa impiega l'ancoraggio a doppia estremità (dual-end anchoring):
  • Allineamento del Manifold Percettivo (Estremità Output): Una perdita di ricostruzione ($L_{rec}$) impone la coerenza semantica, assicurando che l'immagine generata sia allineata con l'ancora watermarked $I_w$. Ciò costringe l'ottimizzazione a scoprire un rumore che si allinei con l'unico percorso di denoising del modello target.
  • Regolarizzazione della Traiettoria Latente (Estremità Input): Una perdita di regolarizzazione ($L_{reg}$) vincola il rumore ottimizzato $z^*$ a rimanere entro il vicinato locale dell'origine della traiettoria $x_T$. Questo impedisce la generazione di perturbazioni avversarie universali che potrebbero trasferirsi su altri modelli.
  • Recupero del Watermark: Una perdita di recupero del watermark ($L_w$) guida l'ottimizzazione per garantire che il messaggio incorporato possa essere estratto con successo.

La funzione di perdita totale è una somma pesata di questi obiettivi, ottimizzata esclusivamente sul latent input $z$ mantenendo congelati i parametri del modello.

2. Verifica

Nella fase di verifica, il difensore interroga un modello sospetto black-box con l'ottimizzato rumore di fingerprint $z^*$.

• Inferenza Atomica: Il processo richiede solo l'interazione standard input-output, rendendolo compatibile con API incapsulate.
• Test Statistici: Il messaggio del watermark estratto viene confrontato con l'originale. Viene calcolata l'accuratezza dei bit (BA) e viene eseguito un t-test a campione singolo contro l'ipotesi nulla (indovinare casualmente, $\mu=0.5$). Un p-value statisticamente significativo fornisce prove credibili di violazione.

Contributi Chiave

1. Verifica Lossless e Senza Addestramento: TrajPrint estrae i fingerprint intrinseci del modello senza modificare i pesi o l'architettura del modello, garantendo lo zero degrado della qualità di generazione.
2. Compatibilità Black-Box: Basandosi sull'inferenza atomica e sull'inversione della traiettoria deterministica, il metodo funziona in scenari in cui gli stati intermedi sono inaccessibili, a differenza delle precedenti tecniche di fingerprinting.
3. Fingerprinting Specifico del Manifold: Il metodo mappa l'unico manifold generativo verso un particolare rumore di fingerprint tramite il retracing della traiettoria, costruendo una coppia trigger-verifica che previene i falsi positivi su modelli non target.
4. Rigore Statistico: Il framework introduce un protocollo di test dell'ipotesi statistica per fornire prove quantificabili e legalmente robuste di violazione del copyright.

Risultati Sperimentali

Esperimenti estesi sono stati condotti su diversi modelli di diffusione latente (Stable Diffusion v1.5, v2.1, XL, DeciDiffusion e Pixart-$\alpha$) e vari scenari di attacco.

• Specificità: TrajPrint ha raggiunto un'accuratezza dei bit (BA) superiore a 0.96 sui modelli target con p-value $< 10^{-3}$. Nella verifica cross-model, l'accuratezza è scesa a circa 0.55 (caso casuale), dimostrando una mancanza di trasferibilità e prevenendo efficacemente accuse errate. Al contrario, i baseline che utilizzano l'ottimizzazione del rumore casuale mostrano un'alta trasferibilità cross-model (BA ~0.7), portando a falsi positivi.
• Robustezza: Il metodo ha dimostrato un'eccezionale resilienza contro:
  • Fine-tuning dei Parametri: Ha mantenuto un'alta BA (>0.91) anche dopo il fine-tuning con LoRA e DreamBooth (fino a 5000 step).
  • Quantizzazione: Ha operato robustamente sotto precisione FP16 e BFloat16 (BA > 0.95).
  • Pruning: Ha resistito al pruning strutturato della magnitudo fino al 10% di sparsità (BA > 0.8).
• Studi di Ablazione: Rimuovendo i vincoli di ancoraggio a doppia estremità, si è verificato un aumento dell'accuratezza cross-model (~0.7), confermando la necessità dell'ancoraggio della traiettoria per la specificità. Il metodo è rimasto stabile attraverso diversi sampler deterministici e step di campionamento (20–100) e ha supportato payload di watermark fino a 128 bit.

Significato e Limitazioni

Il paper sostiene che TrajPrint offra una soluzione pratica per la verifica del copyright in ambienti reali in cui i proprietari dei modelli non possono accedere ai parametri interni o modificare i pesi del modello. La sua capacità di operare tramite inferenza atomica lo rende unicamente adatto a verificare modelli distribuiti come API black-box.

Limitazioni:
Gli autori notano un vincolo specifico: l'ambiente target deve supportare l'iniezione di rumore iniziale personalizzato (ad esempio, tramite interfacce come ComfyUI o Stable Diffusion WebUI). Di conseguenza, il metodo potrebbe non essere applicabile ad scenari API che non accettano il rumore iniziale come parametro di input diretto.