When Priors Backfire: On the Vulnerability of Unlearnable Examples to Pretraining

Questo articolo identifica la vulnerabilità degli esempi inapprendibili (UE) quando utilizzati su modelli preaddestrati, poiché le conoscenze pregresse permettono di aggirare le perturbazioni, e propone il metodo BAIT, un'ottimizzazione bi-livello che vincola le perturbazioni a target errati per garantire la protezione dei dati anche in presenza di priors semantici.

L'essenziale

Il Problema: Il "Trucco" che smette di funzionare

Immagina di voler proteggere le tue foto personali da un ladro di dati (un'azienda o un ricercatore) che vuole usarle per addestrare un'intelligenza artificiale (AI).
Per farlo, usi una tecnica chiamata "Unlearnable Examples" (UE). È come se mettessi un filtro invisibile sulle tue foto.

• Come funziona il filtro: Sembra normale a occhio nudo, ma per l'AI è come se avessi scritto "Gatto" sotto una foto di un "Cane". L'AI, studiando queste foto, impara a fidarsi del filtro e non della realtà. Alla fine, quando prova a riconoscere un cane vero, fallisce miseramente. È un modo per dire: "Se usi i miei dati, il tuo modello diventerà stupido".

Il Problema Scoperto:
Fino a poco tempo fa, questo trucco funzionava perfettamente. Ma gli autori di questo paper hanno scoperto un buco nella sicurezza.
Oggi, le AI non vengono quasi più costruite da zero (come un bambino che impara tutto da capo). Vengono invece pre-addestrate su milioni di immagini (come un bambino che ha già visto migliaia di foto prima di iniziare a studiare).
Gli autori hanno scoperto che queste AI "esperte" sono troppo intelligenti per il vecchio trucco.

• L'analogia: Immagina di dare a un bambino che non sa leggere un libro con le parole scritte al contrario. Lui non capirà nulla e imparerà a leggere male. Ma se dai lo stesso libro a un adulto che sa già leggere, l'adulto ignorerà le parole al contrario, leggerà il testo vero e capirà la storia.
• La scoperta: Le AI pre-addestrate (gli "adulti") riescono a ignorare i filtri invisibili e a imparare comunque la verità, rendendo la tua protezione inutile.

---

La Soluzione: Il "BAIT" (L'esca intelligente)

Per risolvere questo problema, gli autori hanno creato un nuovo metodo chiamato BAIT (Binding Artificial perturbations to Incorrect Targets).
Invece di fare un semplice filtro, BAIT costruisce una trappola psicologica per l'AI.

Ecco come funziona, passo dopo passo:

1. L'Inganno (Il Livello Interno):
   L'AI pre-addestrata è abituata a vedere un'immagine e associarla al suo nome corretto (es. Foto di un cane -> Etichetta "Cane"). BAIT inizialmente finge di rispettare questa regola, dicendo all'AI: "Ok, guarda questa foto, è un cane". Questo serve a ingannare l'AI, facendole abbassare la guardia e usare la sua conoscenza preesistente.

2. La Trappola (Il Livello Esterno):
   Nel momento in cui l'AI sta per "imparare" la verità, BAIT cambia le carte in tavola. Invece di dire "Cane", dice: "No, aspetta! Questa foto è un'Automobile!".
   Ma non è un errore casuale. BAIT lega il filtro invisibile (la perturbazione) direttamente all'etichetta sbagliata.

   • L'analogia: Immagina di insegnare a un bambino a guidare. Gli dai un'auto vera, ma gli metti un adesivo sul volante che dice "Freno" quando in realtà è l'acceleratore. Se il bambino è un principiante (AI da zero), si confonde e non impara a guidare. Se il bambino è un pilota esperto (AI pre-addestrata), di solito ignora l'adesivo e guida bene.
   • Cosa fa BAIT: BAIT rende l'adesivo così potente e legato al volante che l'esperto è costretto a guardare l'adesivo invece del volante. L'AI è costretta a imparare che "Volante + Adesivo = Freno", anche se sa che è sbagliato.

3. Il Risultato:
   L'AI, per non sbagliare, deve ignorare la sua conoscenza precedente (che le dice che è un cane) e concentrarsi solo sul trucco (che le dice che è un'auto). Alla fine, l'AI impara male, confondendosi completamente. Quando proverà a riconoscere un cane vero, fallirà perché il suo cervello è stato "dirottato" dal trucco.

---

Perché è importante?

• Privacy Reale: Oggi le aziende usano modelli "esperti" per analizzare i dati. Se il vecchio metodo di protezione non funzionava più, i nostri dati erano a rischio. BAIT riattiva la protezione.
• Resilienza: Gli autori hanno testato BAIT su molti tipi di AI diverse (dalle più semplici alle più complesse come quelle che usano i Transformer) e su molti dataset. Funziona sempre, anche se qualcuno prova a "pulire" le immagini con filtri JPEG o altri trucchi.
• Invisibilità: Le immagini modificate da BAIT sembrano perfettamente normali a un occhio umano. Non ci sono macchie strane o colori distorti.

In Sintesi

Immagina di voler proteggere il tuo giardino dai ladri.

• Metodo Vecchio: Metti un cartello che dice "Giardino Privato" scritto al contrario. Funziona se il ladro è stupido, ma se il ladro è un esperto che sa leggere, ignora il cartello e ruba i fiori.
• Metodo BAIT: Metti un cartello che dice "Giardino Privato", ma lo colleghi a un allarme sonoro così forte e fastidioso che, appena il ladro esperto cerca di ignorarlo per entrare, l'allarme lo costringe a fermarsi e a pensare solo all'allarme, dimenticandosi dei fiori.

Gli autori hanno dimostrato che questo nuovo metodo (BAIT) è la chiave per proteggere i nostri dati nell'era delle Intelligenze Artificiali "esperte".

Sommario tecnico

1. Il Problema: La Vulnerabilità degli Esempi Inapprendibili (UE) ai Modelli Pre-addestrati

Gli Esempi Inapprendibili (Unlearnable Examples - UEs) sono una strategia di protezione dei dati che introduce perturbazioni impercettibili nelle immagini di addestramento. L'obiettivo è ingannare i modelli di apprendimento profondo, costringendoli a memorizzare correlazioni spurie (scorciatoie) tra le perturbazioni e le etichette, invece di apprendere le semantiche sottostanti. Di conseguenza, il modello addestrato su questi dati fallisce nel generalizzare su dati di test puliti, riducendo la sua accuratezza al livello del caso.

Tuttavia, la maggior parte degli studi esistenti sugli UE si concentra su modelli inizializzati casualmente (train-from-scratch). Il paper identifica una vulnerabilità fondamentale: quando gli UE vengono applicati a modelli pre-addestrati (che possiedono conoscenze semantiche ricche da grandi dataset come ImageNet), la protezione fallisce.

• Osservazione chiave: I modelli pre-addestrati riescono a bypassare le scorciatoie indotte dalle perturbazioni grazie ai loro "priors" (conoscenze pregresse). Invece di affidarsi alle perturbazioni, il modello riattiva il percorso semantico-etichetta, apprendendo le caratteristiche genuine dell'immagine e mantenendo un'alta accuratezza di test, rendendo i dati "rilevabili" e quindi non protetti.

2. Metodologia Proposta: BAIT (Binding Artificial perturbations to Incorrect Targets)

Per contrastare l'influenza dei prior di pre-addestramento, gli autori propongono BAIT, un nuovo framework di ottimizzazione a due livelli (bi-level optimization). L'idea centrale è rompere l'allineamento standard tra dati ed etichette imposto dai prior e forzare il modello a dipendere esclusivamente dalle perturbazioni, ma legandole a etichette errate.

Meccanismo di Ottimizzazione

BAIT utilizza una struttura a due livelli per generare le perturbazioni ($\delta$):

1. Livello Interno (Inner Level): Simula un allineamento standard dati-etichetta.
   • L'obiettivo è addestrare il modello ($\theta$) sui campioni perturbati ($x + \delta$) affinché predica l'etichetta vera ($y$).
   • Questo livello sfrutta i prior di pre-addestramento per creare una corrispondenza semantica apparente, ingannando il modello nel pensare che stia imparando correttamente.
2. Livello Esterno (Outer Level): Rompe attivamente l'allineamento e impone un vincolo di "legame errato".
   • L'obiettivo è ottimizzare le perturbazioni ($\delta$) in modo che i campioni perturbati vengano mappati su etichette target errate ($y_j$, dove $j \neq i$ e $y_j$ è semanticamente distinta da $y_i$).
   • Questo meccanismo sovrascrive la guida semantica dei prior. Il modello è costretto a ignorare le caratteristiche reali dell'immagine (che porterebbero all'etichetta corretta grazie ai prior) e a fidarsi esclusivamente della perturbazione per classificare l'immagine verso l'etichetta sbagliata.

Strategie di Ottimizzazione

• Meta-Learning: Poiché l'ottimizzazione bi-livello è intrattabile, viene utilizzata una strategia di meta-learning con unrolling. Il modello viene aggiornato per $N$ passi interni, e poi le perturbazioni sono aggiornate basandosi su come questi aggiornamenti influenzano l'obiettivo esterno (legame con etichette errate).
• Curriculum Learning per la Selezione delle Etichette: Per rendere il legame perturbazione-etichetta errata più efficace, la selezione dell'etichetta target errata segue una strategia graduale (dal facile al difficile):
  1. Classi Negative Difficili: Classi con il punteggio logit più alto (quelle più confuse con la classe vera).
  2. Classi Casuali: Selezione casuale di classi non corrette.
  3. Classi Più Dissimili: Classi con il punteggio logit più basso (semanticamente non correlate), il caso più difficile.

3. Contributi Chiave

1. Identificazione della Vulnerabilità: Dimostrazione empirica che i prior di pre-addestramento neutralizzano l'efficacia degli UE esistenti, permettendo ai modelli di recuperare le semantiche genuine e fallire la protezione.
2. Framework BAIT: Proposta di un nuovo metodo di ottimizzazione bi-livello che lega le perturbazioni a etichette errate, disattivando i percorsi semantici dei prior e costringendo il modello a imparare scorciatoie spurie.
3. Generalizzabilità: Validazione del metodo su una vasta gamma di dataset (CIFAR-10/100, SVHN, Flowers102, ImageNet), architetture (ResNet, VGG, DenseNet, ViT, Swin Transformer) e scenari di pre-addestramento diversi.

4. Risultati Sperimentali

Gli esperimenti confermano l'efficacia superiore di BAIT rispetto agli stati dell'arte (come EMN, TUE, REM, LSP, GUE, 14A):

• Contro Modelli Pre-addestrati: Su CIFAR-10 e SVHN con backbone ResNet-18 pre-addestrato su ImageNet, BAIT riduce l'accuratezza di test al livello del caso (~14-15%), mentre i metodi esistenti falliscono mantenendo accuratezze elevate (es. EMN ~61%, TUE ~82%).
• Trasferibilità tra Prior: Le perturbazioni generate da BAIT su un modello pre-addestrato su ImageNet rimangono efficaci anche quando testate su modelli pre-addestrati su dataset diversi (CIFAR-10, CIFAR-100, SVHN).
• Robustezza alle Difese: BAIT mantiene la sua efficacia anche in presenza di tecniche di difesa come Cutout, CutMix, Mixup e compressione JPEG, riducendo l'accuratezza a livelli vicini al caso anche sotto compressione pesante.
• Analisi Qualitativa: Le visualizzazioni t-SNE mostrano che, a differenza dei metodi esistenti che falliscono sui modelli pre-addestrati (mantenendo feature semantiche distinte), BAIT riesce a creare un entanglement delle feature che impedisce la generalizzazione. Le perturbazioni sono impercettibili all'occhio umano.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

• Colma un Gap Critico: Sposta il focus della protezione dei dati dagli scenari di addestramento da zero a quelli reali, dove l'uso di modelli pre-addestrati è lo standard industriale.
• Ridefinisce la Protezione: Dimostra che per proteggere i dati in un contesto di pre-addestramento, non basta creare scorciatoie; è necessario attivamente disallineare la conoscenza semantica preesistente del modello, legando le perturbazioni a concetti errati.
• Sicurezza Pratica: Fornisce una soluzione robusta per prevenire l'uso non autorizzato di dati personali nell'addestramento di modelli di fondazione (foundation models) o modelli di visione avanzati, garantendo che anche modelli potenti non possano estrarre informazioni utili da dati protetti.

In sintesi, BAIT trasforma la vulnerabilità dei prior di pre-addestramento in un punto di forza, utilizzando una strategia di ottimizzazione intelligente per "avvelenare" il modello in modo che, invece di ignorare le perturbazioni, sia costretto a seguirle verso conclusioni errate, rendendo i dati effettivamente inapprendibili.