Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP

1. Il Problema: Vulnerabilità dei Modelli Vision-Language

I modelli multi-modali come CLIP (e derivati come ALIGN, BLIP-2) sono fondamentali per compiti avanzati come la ricerca immagine-testo e la classificazione zero-shot. Tuttavia, la loro natura presenta due criticità principali per la sicurezza:

1. Addestramento su dati web: Sono addestrati su dataset massicci (miliardi di coppie immagine-testo) estratti dal web, rendendo difficile la curatela e esponendoli a rischi di avvelenamento dei dati.
2. Costo di ri-addestramento: Ri-addestrare questi modelli da zero per rimuovere un backdoor è proibitivo in termini di costi computazionali e di dati.

Gli attacchi Backdoor iniettano trigger nascosti (patch, rumore, testo) nel dataset di addestramento. Quando il modello incontra il trigger durante l'inferenza, esegue un'azione malevola (es. classificare un'immagine come "banana" indipendentemente dal contenuto).
Il paper evidenzia che le tecniche di pulizia esistenti (come CleanCLIP e RoCLIP), che si basano su forti aumentazioni dei dati (es. AutoAugment, flip orizzontale, cambio colore), sono inefficaci contro trigger strutturati semplici. Queste tecniche assumono che il trigger sia correlato alle variazioni dell'immagine, ma trigger come strisce, triangoli o testo sovrapposto rimangono intatti dopo le aumentazioni, permettendo all'attacco di persistere.

2. Metodologia: PAR (Perturb and Recover)

Gli autori propongono PAR, un metodo di fine-tuning semplice ma efficace che non richiede la conoscenza del trigger specifico né l'uso di aumentazioni distruttive.

Concetto Chiave

L'obiettivo è far "dimenticare" al modello le correlazioni spurie apprese durante l'avvelenamento (tra il trigger e l'etichetta target) mentre si preserva la capacità di generalizzazione sul compito originale.

Meccanismo di Funzionamento

PAR utilizza una funzione di perdita composta da due termini:

1. Termine di Perturbazione ($\mathcal{L}_{PERT}$):
   • Calcola la distanza $L_2$ (o la dissimilarità coseno) tra le embedding (visione e testo) del modello avvelenato ($\phi_P, \psi_P$) e quelle del modello in fase di pulizia ($\phi, \psi$) su un batch di dati puliti.
   • L'obiettivo è spingere attivamente il modello lontano dal suo stato avvelenato originale.
   • Viene applicato un soglia $\tau$: se la distanza è inferiore a $\tau$, si penalizza il modello per avvicinarlo al modello avvelenato (inverso della logica, si vuole allontanarsi); una volta superata la soglia, la perturbazione cessa.
2. Termine di Recupero ($\mathcal{L}_{CLIP}$):
   • È la classica funzione di perdita contrastiva di CLIP sui dati puliti.
   • Serve a recuperare le prestazioni standard (accuratezza su ImageNet, retrieval su COCO) man mano che il modello si allontana dallo stato avvelenato.

Funzione di Perdita Totale:
$$\mathcal{L}_{PAR} = \mathcal{L}_{CLIP} - \mathcal{L}_{PERT}$$
(Nota: Il segno meno indica che si massimizza la distanza dal modello avvelenato, o equivalentemente si minimizza la similarità).

Dati di Input:
Un punto di forza di PAR è che funziona anche utilizzando esclusivamente dati sintetici (generati da modelli Text-to-Image) invece di dataset reali puliti, riducendo drasticamente i costi di recupero.

3. Contributi Chiave

1. Dimostrazione di Vulnerabilità: Gli autori mostrano che i metodi di difesa basati su aumentazioni (CleanCLIP, RoCLIP) possono essere bypassati facilmente introducendo trigger strutturati (es. strisce, triangoli a basso contrasto, testo "Watermarked") invece del classico rumore casuale. Questi trigger non vengono distrutti dalle aumentazioni standard.
2. Proposta di PAR: Un metodo di fine-tuning che forza il modello a distanziarsi dallo stato avvelenato senza dipendere dalla conoscenza del trigger o da aumentazioni aggressive che degradano le prestazioni.
3. Validazione su Dati Sintetici: Dimostrazione che PAR può rimuovere efficacemente i backdoor utilizzando solo coppie immagine-testo sintetiche, rendendo la pulizia accessibile anche senza accesso a dati reali puliti.
4. Robustezza: Il metodo è stato testato su diverse architetture (ResNet50, ViT-B/32, ViT-L/14), diversi modelli (CLIP, SigLIP) e vari tipi di attacchi (BadNet, Blended, BadCLIP).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ImageNet (classificazione zero-shot) e COCO (retrieval testo-immagine).

• Efficacia contro Trigger Strutturati:
  • Contro BadNet-Stripes e Blended-Stripes, CleanCLIP fallisce nel ridurre l'ASR (Attack Success Rate), mantenendolo spesso sopra il 40-60%.
  • PAR riduce l'ASR a livelli trascurabili (es. 0.0% - 6.3% per RN50 su ImageNet) mantenendo un'alta accuratezza pulita (Clean Accuracy).
  • In alcuni casi, PAR supera CleanCLIP nel ridurre l'ASR di oltre il 60%.
• Trade-off Accuratezza/ASR:
  • Aumentando il parametro di soglia $\tau$, è possibile ridurre ulteriormente l'ASR con una minima perdita di accuratezza pulita.
  • PAR mantiene prestazioni di retrieval su COCO superiori o comparabili a CleanCLIP, ma con un'ASR drasticamente inferiore.
• Utilizzo di Dati Sintetici:
  • Utilizzando 250k o 500k campioni sintetici (da SynthCLIP), PAR riesce a pulire i modelli con successo, riducendo l'ASR a livelli vicini allo zero, sebbene con una leggera diminuzione dell'accuratezza pulita rispetto all'uso di dati reali (CC3M).
• Adattabilità:
  • Il metodo funziona anche su modelli più grandi (ViT-L/14) e su varianti come SigLIP.
  • Resiste ad attacchi adattivi (ri-avvelenamento del modello già pulito).

5. Significato e Implicazioni

Questo lavoro è significativo perché:

• Sfida le ipotesi attuali: Dimostra che le difese basate sull'aumento dei dati non sono una soluzione universale per i backdoor nei modelli multi-modali, specialmente quando i trigger sono strutturati.
• Soluzione Pratica: Offre un metodo di pulizia (fine-tuning) che è computazionalmente efficiente (costo simile al training standard, molto inferiore al ri-addestramento da zero) e non richiede la conoscenza del trigger.
• Accessibilità: La possibilità di utilizzare dati sintetici per la pulizia abbassa la barriera d'ingresso per la sicurezza dei modelli fondazionali, permettendo a organizzazioni senza grandi dataset etichettati di mitigare i rischi di backdoor.

In sintesi, PAR rappresenta un passo avanti cruciale nella sicurezza dei modelli Vision-Language, spostando il paradigma dalla "rimozione basata su pattern noti" alla "perturbazione controllata dello spazio delle embedding".