Forging the Unforgeable: On the Feasibility of Counterfeit Watermarks in Backdoor-Based Dataset Ownership Verification

Questo lavoro dimostra che i sistemi attuali di verifica della proprietà dei dataset basati su watermark backdoor sono vulnerabili alla contraffazione statistica, rendendo tali prove inadeguate per le dispute legali sul copyright.

L'essenziale

Ecco una spiegazione semplice e creativa di questo articolo scientifico, pensata per chiunque, anche senza conoscenze tecniche di informatica.

🕵️‍♂️ Il Grande Inganno: Come i "Falsi" Possono Sconfingere la "Prova"

Immagina di essere un artista che ha passato anni a raccogliere le migliori foto del mondo per creare un album unico. Per proteggere il tuo lavoro, decidi di nascondere un segreto invisibile in alcune di queste foto. Questo segreto è come un piccolo "codice a barre" nascosto: se qualcuno ruba il tuo album e addestra un'intelligenza artificiale (un "robot che impara") con queste foto, il robot imparerà a riconoscere quel codice segreto e a comportarsi in un modo specifico quando glielo mostri.

Questo è il sistema di protezione dei dati (chiamato watermarking o filigrana) descritto nel paper. L'idea è: "Se il mio robot reagisce al mio codice segreto, allora ha usato le mie foto!"

💥 Il Problema: Il Falso Perfetto

Gli autori di questo studio (Zhiying Li e colleghi) hanno scoperto un buco enorme in questa logica. Hanno dimostrato che un ladro può creare un codice segreto falso che funziona esattamente come quello originale, ma che sembra completamente diverso agli occhi umani.

Ecco l'analogia della Chiave e della Serratura:

1. Il proprietario ha una chiave speciale (il suo codice segreto) che apre una serratura specifica (il comportamento del robot).
2. Il ladro, accusato di furto, viene detto: "Mostraci la tua chiave, se apre la serratura, hai rubato le mie foto!".
3. Il ladro non nega che la serratura si apra. Invece, prende la sua chiave originale, la studia, e ne forgia una nuova chiave (il "codice falso").
4. Questa nuova chiave apre la stessa serratura esattamente allo stesso modo della chiave originale.
5. Ma c'è di più: la nuova chiave ha una forma diversa (magari è d'oro invece che d'argento, o ha un disegno diverso).
6. Quando il proprietario dice: "Quella è la mia chiave!", il ladro risponde: "No, guarda! La mia chiave è fatta diversamente, quindi non l'ho rubata da te. Ho creato la mia da zero!".

Poiché la serratura si apre in entrambi i casi, il giudice (o il sistema legale) non può più essere sicuro di chi abbia ragione. La "prova" diventa inutile.

🛠️ Come funziona l'attacco (FW-Gen)?

Gli scienziati hanno creato un piccolo programma chiamato FW-Gen (Generatore di Filigrane Falsificate). Funziona così:

1. Individuazione: Il ladro scansiona le foto pubbliche e trova quelle che contengono il codice segreto originale (come un metal detector che trova monete sepolte).
2. Studio: Il ladro guarda come il suo robot reagisce a quel codice.
3. Creazione: Usa un'intelligenza artificiale speciale (un "autoencoder") per inventare un nuovo codice. Questo nuovo codice deve avere due caratteristiche magiche:
   • Deve far reagire il robot esattamente come il vecchio (statisticamente identico).
   • Deve sembrare diverso agli occhi umani (come un disegno diverso).

🧪 Cosa hanno scoperto?

Hanno fatto degli esperimenti su 6 diversi metodi di protezione e su migliaia di immagini. I risultati sono stati scioccanti:

• Il codice falso funziona meglio o uguale a quello originale nel far aprire la "serratura" del robot.
• Statisticamente, non c'è modo di distinguere se il robot è stato addestrato con il codice originale o con quello falso.
• Il codice falso è visivamente molto diverso da quello originale, quindi il ladro può dire: "Guarda, è diverso, quindi non è il tuo!".

⚖️ La Conclusione: Cosa significa per il futuro?

Il messaggio principale del paper è un campanello d'allarme: Non possiamo basarci solo su questi codici segreti per provare il furto di dati in tribunale.

Se un'azienda dice: "Hai rubato il mio dataset perché il tuo modello reagisce al mio codice!", il colpevole può sempre rispondere: "Ho creato un codice diverso che fa la stessa cosa, quindi non ho rubato nulla".

La soluzione proposta?
Per rendere la prova inattaccabile, non basta il codice segreto. Serve una prova temporale (come un timbro legale o una registrazione su blockchain) che dimostri che il tuo codice esisteva prima che il ladro potesse crearne uno suo. Senza questa "data certa", la prova del furto rimane debole.

In sintesi

È come se qualcuno ti rubasse la ricetta della torta e poi inventasse una ricetta diversa che produce una torta identica. Se tu dici "Hai rubato la mia ricetta perché la torta è uguale", lui risponde "No, ho usato ingredienti diversi per fare la stessa cosa!". Finché non hai un registro che prova che la tua ricetta esisteva prima, non puoi vincere la causa. Questo studio ci dice che dobbiamo trovare nuovi modi per proteggere le nostre "ricette" digitali.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Forging the Unforgeable: On the Feasibility of Counterfeit Watermarks in Backdoor-Based Dataset Ownership Verification", tradotto e adattato in italiano.

Titolo

Forgiare l'Inforggiabile: Sulla Fattibilità dei Marchi Acqua Contraffatti nella Verifica della Proprietà dei Dataset Basata su Backdoor

1. Il Problema

L'articolo affronta una vulnerabilità critica nei meccanismi attuali di verifica della proprietà del dataset (DOV - Dataset Ownership Verification) basati su watermarking tramite backdoor.

• Contesto: Per proteggere i dataset pubblici dall'uso non autorizzato, i proprietari incorporano pattern "trigger" (backdoor) in un sottoinsieme di campioni. Se un modello sospetto classifica correttamente questi trigger su un'etichetta target, si presume che il modello sia stato addestrato sul dataset protetto, fornendo prova di violazione del copyright.
• La Fallacia: Gli autori sostengono che l'assunzione secondo cui i risultati della DOV siano prove inconfutabili di violazione è fondamentalmente errata. Esistono due limiti principali:
  1. Mancanza di Vincolo Temporale: Non esiste un meccanismo affidabile (come la registrazione su blockchain) per provare che il watermark originale è stato creato prima di quello di un eventuale attaccante.
  2. Assunzioni Avversariali Irrealistiche: I metodi attuali presuppongono che l'accusato accetti passivamente la sentenza. In realtà, un attaccante ha forti incentivi economici a produrre controprove. Se un attaccante può generare un trigger diverso che induce lo stesso comportamento nel modello, la pretesa del proprietario diventa contestabile legalmente.

2. Metodologia: FW-Gen

Gli autori propongono un attacco chiamato FW-Gen (Forged Watermark Generator), un framework basato su un Variational Autoencoder (VAE) leggero, progettato per generare marchi acqua contraffatti.

• Modello di Minaccia: L'attaccante riceve un'accusa di violazione, estrae i campioni con watermark dal dataset pubblico (usando metodi di rilevamento nel dominio della frequenza), infersce l'etichetta target e addestra un modello "benigno" sui dati puliti.
• Architettura: FW-Gen utilizza un VAE che prende in input rumore casuale per generare un nuovo trigger ($t_{fw}$) che è visivamente distinto dal trigger originale ($t_{ow}$), ma statisticamente equivalente.
• Obiettivo di Addestramento (Loss Function Dual): Il modello viene addestrato con una funzione di perdita composta da due parti per garantire due condizioni:
  1. Perdita del Modello Sospetto ($L_W$): Allinea il comportamento del backdoor del trigger contraffatto con quello originale sul modello accusato (assicurando che il modello classifichi il trigger contraffatto sull'etichetta target con la stessa probabilità).
  2. Perdita del Modello Benigno ($L_B$): Assicura che il trigger contraffatto non induca comportamenti anomali su un modello addestrato solo su dati puliti (evitando che il trigger sia rilevabile come backdoor su modelli innocenti).
• Procedura di Attacco: L'attaccante genera il nuovo trigger, lo usa per creare un dataset contraffatto e lo presenta come prova in un test statistico (DOV). Se il risultato è statisticamente indistinguibile da quello del proprietario originale, l'attaccante crea un "dubbio ragionevole" sulla proprietà esclusiva.

3. Contributi Chiave

1. Identificazione delle Vulnerabilità: Formalizzazione di due limiti fondamentali degli schemi attuali: l'assenza di vincolo temporale e l'equivalenza comportamentale di trigger distinti.
2. Proposta di FW-Gen: Sviluppo di un framework leggero basato su VAE che genera watermark contraffatti mantenendo le proprietà statistiche originali ma con pattern visivi diversi.
3. Prova Teorica: Dimostrazione formale (Teorema 1) che qualsiasi schema di watermarking basato esclusivamente sulla verifica comportamentale è intrinsecamente vulnerabile alla forgiatura. Se un attaccante trova un trigger $t_{fw}$ che è comportamentalmente equivalente a $t_{ow}$, i risultati della verifica sono statisticamente indistinguibili.
4. Validazione Sperimentale: Dimostrazione empirica che i watermark contraffatti possono ottenere significatività statistica pari o superiore a quella dei watermark originali nei test di ipotesi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 6 metodi di watermarking (inclusi BadNets, Blended, Trojan), 2 dataset (CIFAR-10 e ImageNet) e 2 architetture di modelli (ResNet-18 e VGG-19).

• Estrazione del Watermark: L'attaccante è riuscito a rilevare e estrarre i campioni con watermark con un'accuratezza superiore al 99% per la maggior parte dei metodi (anche per quelli considerati "invisibili").
• Equivalenza Statistica:
  • Nei test di ipotesi (Test t appaiato per API con probabilità, Test di Wilcoxon per API solo etichette), i watermark contraffatti hanno prodotto valori p e differenze di probabilità ($\Delta P$) equivalenti o talvolta superiori rispetto ai watermark originali.
  • In scenari di "modello rubato" (Stealing Model), entrambi i watermark rifiutano l'ipotesi nulla con alta confidenza ($p \approx 0$).
  • In scenari di "modello indipendente" (Independent Model), entrambi accettano l'ipotesi nulla ($p \gg 0.05$).
• Distinzione Visiva: I watermark contraffatti sono visivamente diversi dagli originali (bassi valori di PSNR e SSIM, alti valori di MSE), come confermato anche dall'analisi LIME che mostra regioni di attenzione diverse per il modello.
• Successo dell'Attacco: Il tasso di successo del watermark contraffatto (FWSR) è spesso pari o superiore a quello originale (OWSR). Ad esempio, in alcuni casi su Blended Line, il FWSR è passato dal 81.0% all'86.9%.
• Studio Ablativo: L'analisi ha mostrato che la perdita sul modello sospetto ($L_W$) è cruciale per l'equivalenza comportamentale, ma la perdita sul modello benigno ($L_B$) è essenziale per garantire che il trigger non venga rilevato su modelli non contaminati, migliorando il tasso di successo complessivo.

5. Significato e Implicazioni

• Inadeguatezza della DOV come Prova Unica: I risultati dimostrano che i test di proprietà basati solo sul comportamento del modello (backdoor) non sono sufficienti come prova legale autonoma in dispute sul copyright. Un attaccante può facilmente falsificare prove per creare un'ambiguità legale.
• Necessità di Nuovi Meccanismi: Per rendere la verifica della proprietà robusta, è necessario integrare meccanismi oltre la semplice verifica comportamentale, come:
  • Timestamping Crittografico: Registrazione immutabile dell'hash del pattern di watermark su blockchain o autorità di certificazione temporale prima della pubblicazione.
  • Schemi Multi-Watermark: Uso di più trigger indipendenti.
  • Firme Comportamentali Complesse: Pattern di attivazione più sofisticati difficili da replicare senza la conoscenza del design originale.
• Impatto sulla Sicurezza AI: Questo lavoro evidenzia una lacuna significativa nell'analisi di sicurezza attuale e spinge verso lo sviluppo di schemi di protezione dei dataset che resistano a un'analisi avversariale attiva, non solo passiva.

In sintesi, il paper smonta l'idea che i backdoor watermarking siano una "prova inconfutabile" di proprietà, dimostrando che, senza un vincolo temporale crittografico, un attaccante motivato può forgiare prove equivalenti per negare la violazione del copyright.