Sintesi Tecnica: BADBONE

Problematica

L'apprendimento tramite prompt (prompt learning) è emerso come un paradigma efficiente per adattare modelli backbone pre-addestrati su larga scala (ad es. ViT, CLIP, ResNet) a compiti downstream senza effettuare il fine-tuning dei parametri del backbone. Invece, apprende una perturbazione leggera dell'input (un "prompt") per spostare la distribuzione dell'input. Sebbene questo approccio risparmi risorse computazionali e offra flessibilità, le sue vulnerabilità di sicurezza rimangono inesplorate.

Gli attacchi backdoor esistenti sul prompt learning tipicamente iniettano il backdoor direttamente nel prompt stesso. Questi attacchi sono limitati perché influenzano solo un particolare prompt visivo; se la vittima sceglie un design di prompt differente, l'attacco fallisce. Al contrario, i tradizionali attacchi backdoor sui modelli backbone spesso compromettono l'utilità del modello o sono facilmente rilevabili perché il trigger attiva il backdoor indipendentemente dal processo di adattamento downstream.

Il documento identifica una lacuna: non esiste un metodo efficace per impiantare un backdoor nel modello backbone tale che la vulnerabilità venga ereditata da qualsiasi compito downstream che impieghi il prompt learning, mantenendo al contempo un'alta utilità e furtività.

Metodologia: BADBONE

Gli autori propongono BADBONE, il primo attacco backdoor che prende di mira il modello backbone nel visual prompt learning. L'innovazione principale è un framework di ottimizzazione bi-livello che ottimizza simultaneamente il processo di generazione del prompt e il processo di avvelenamento del backbone.

1. Modello di Minaccia

• Attaccante: Un fornitore di modelli malizioso che fornisce un modello backbone backdoored ($f'$) a una vittima.
• Vittima: Un utente con limitata competenza nel machine learning che utilizza il backbone fornito per generare il proprio visual prompt ($g'$) per un compito specifico downstream.
• Capacità: L'attaccante ha accesso a un dataset ombra ($D$) simile ai dati downstream della vittima e al dataset di pre-addestramento originale. L'attaccante non può influenzare il processo di generazione del prompt della vittima ma può controllare i pesi del backbone.
• Obiettivo:
  • Utilità: Il backbone backdoored deve performare in modo competitivo sia sui compiti di pre-addestramento che su quelli downstream (con un prompt pulito).
  • Efficacia: Il modello deve classificare erroneamente i campioni triggerati (attacchi mirati o non mirati).
  • Furtività: Il backdoor deve rimanere dormiente a meno che sia un prompt downstream appreso sia un trigger specifico siano presenti.

2. Framework di Ottimizzazione Bi-livello

L'attacco è formulato come un problema di ottimizzazione annidata in cui i parametri del prompt ($\phi$) sono le variabili di livello superiore e i parametri del backbone ($\theta$) sono le variabili di livello inferiore:
$$\phi^* = \arg\min_{\phi} \ell_{prompt}(\theta^*, \phi)$$
$$\text{s.t. } \theta^* = \arg\min_{\theta} \ell_{poisoning}(\theta, \phi)$$

La soluzione è approssimata tramite un processo iterativo che alterna due fasi:

• Fase A: Prompt Learning (Livello Superiore):
  L'attaccante congela il modello backbone ($f_\theta$) e ottimizza un prompt ($g_\phi$) utilizzando un dataset ombra ($D$). Questa fase imita il comportamento della vittima per garantire che il prompt appreso sia compatibile con il backbone avvelenato. La perdita è una classica cross-entropy categorica ($\ell_{prompt}$).

• Fase B: Fase di Avvelenamento (Livello Inferiore):
  L'attaccante congela il prompt appreso ($g_\phi$) e effettua il fine-tuning del modello backbone ($f_\theta$) utilizzando un dataset di avvelenamento composito ($D_{poisoning}$). Questo dataset consiste di tre sottoinsiemi:

  1. Dataset Triggerato ($D_t$): Immagini con un trigger aggiunto e etichette invertite verso una classe target (per attacchi mirati) o invertite casualmente/sequenzialmente (per attacchi non mirati).
  2. Dataset Pulito ($D_c$): Immagini pulite dal dataset ombra per mantenere l'utilità del compito downstream.
  3. Dataset di Pre-addestramento ($D_p$): Immagini dal set di pre-addestramento originale per mantenere l'utilità del pre-addestramento.

  La perdita di avvelenamento ($\ell_{poisoning}$) è una somma pesata:
  $$\ell_{poisoning} = \gamma \ell_{D_t} + \beta \ell_{D_c} + \alpha \ell_{D_p}$$
  dove $\gamma, \beta, \alpha$ bilanciano rispettivamente l'efficacia dell'attacco, l'utilità downstream e l'utilità del pre-addestramento.

3. Meccanismo di Attivazione

Il backdoor utilizza un meccanismo di "co-attivazione prompt-e-trigger".

• Solo Trigger: Se viene applicato un trigger al backbone senza un prompt appreso (ad es. sul compito di pre-addestramento), il backdoor rimane dormiente e il modello si comporta normalmente.
• Solo Prompt: Se viene utilizzato un prompt appreso senza un trigger, il modello mantiene un'alta accuratezza sugli input puliti.
• Co-attivazione: Il comportamento malizioso si manifesta solo quando la vittima utilizza il backbone avvelenato per generare un prompt per un compito downstream e l'immagine di input contiene il trigger.

Contributi Chiave

1. Primo Attacco a Livello di Backbone: BADBONE è il primo lavoro che propone un attacco backdoor mirato/non mirato contro il modello backbone nel visual prompt learning, piuttosto che contro il prompt stesso.
2. Ottimizzazione Bi-livello: Gli autori introducono una strategia di ottimizzazione bi-livello per gestire l'interazione tra l'avvelenamento del backbone e l'adattamento del prompt downstream, consentendo al backdoor di essere ereditato dal prompt appreso dalla vittima.
3. Furtività: L'attacco presenta un meccanismo di co-attivazione che rende il backdoor difficile da rilevare con le difese standard, poiché non si attiva in scenari a condizione singola (solo-trigger o solo-prompt).
4. Trasferibilità: L'attacco dimostra un'alta trasferibilità attraverso diverse architetture di backbone (ResNet18, ResNet50, BiT-M-RN50), dataset (CIFAR-10, SVHN, EuroSAT) e design di prompt (padding, patch).

Risultati Sperimentali

Gli autori hanno valutato BADBONE su tre modelli backbone e tre dataset downstream.

• Efficacia:
  • Attacchi Mirati (Targeted): Ha raggiunto elevati tassi di successo dell'attacco (ASR). Ad esempio, su CIFAR-10 con ResNet50, l'ASR ha raggiunto il 98,66% (baseline: 12,44%).
  • Attacchi Non Mirati (Untargeted): Ha raggiunto alti tassi di classificazione errata (MR). Ad esempio, su EuroSAT con ResNet18, il MR ha raggiunto il 93,16% (baseline: 26,68%).
• Utilità:
  • I modelli backdoored hanno mantenuto prestazioni competitive sui compiti di pre-addestramento ($Acc_{pre}$) e sui compiti downstream con prompt puliti ($Acc_{target}$). In molti casi, l'utilità era comparabile o leggermente migliore rispetto alle baseline pulite grazie all'inclusione di dati puliti nella fase di avvelenamento.
• Valutazione della Furtività:
  • Solo Trigger: Quando testato sul compito di pre-addestramento con trigger ma senza prompt, l'ASR era trascurabile (ad es. 0,10%), indistinguibile dai modelli puliti.
  • Solo Prompt: I modelli mantenevano un'alta accuratezza sui set di test puliti.
• Evasione delle Difese:
  • Gli autori hanno valutato sei difese allo stato dell'arte: Neural Cleanse, ABS, MNTD, NAD, CLP e D-BR.
  • Rilevamento: Neural Cleanse, ABS e MNTD sono falliti ampiamente nel rilevare i backdoor, predicendo i modelli come puliti.
  • Rimozione: NAD, CLP e D-BR non sono riusciti a rimuovere il backdoor senza degradare severamente l'utilità del modello. Nello specifico, CLP ha rimosso il backdoor ma ha distrutto l'utilità, mentre D-BR non è riuscito a rimuovere il backdoor e ha anche danneggiato l'utilità.

Significato e Rivendicazioni

Il paper sostiene che BADBONE espone una vulnerabilità critica, precedentemente inesplorata, nel paradigma del prompt learning. Prendendo di mira il modello backbone invece del prompt, l'attacco assicura che la vulnerabilità sia ereditata da qualsiasi compito downstream che utilizzi il backbone avvelenato, indipendentemente dal design specifico del prompt scelto dalla vittima.

Gli autori sottolineano che il meccanismo di co-attivazione è la chiave della furtività dell'attacco, rendendo inefficaci i metodi di rilevamento esistenti, che spesso si basano su analisi del solo trigger o di perturbazioni globali. Il lavoro conclude che gli attuali meccanismi di difesa sono insufficienti per questo nuovo vettore di attacco e sottolinea l'urgenza di sviluppare difese avanzate specificamente progettate per l'interazione tra modelli backbone e prompt learning. Gli autori rilasciano il proprio codice per facilitare la riproducibilità e la ricerca difensiva.