CLIP-Inspector: Model-Level Backdoor Detection for Prompt-Tuned CLIP via OOD Trigger Inversion

1. Il Problema: Sicurezza nei Modelli CLIP Prompt-Tuned

Con l'aumento dell'uso del Machine Learning as a Service (MLaaS), molte organizzazioni esternalizzano l'addestramento di modelli di visione-linguaggio (VLM) come CLIP (Contrastive Language-Image Pre-training) a fornitori di servizi. Poiché addestrare questi modelli da zero è costoso, i fornitori utilizzano tecniche efficienti come il Prompt Tuning (es. CoCoOp), dove solo una piccola rete meta (meta-net) viene addestrata per generare token contestuali specifici per l'immagine, mentre gli encoder di immagine e testo rimangono congelati.

La Minaccia:
In questo scenario "semi-onesto", un fornitore malintenzionato può seguire il protocollo di prompt tuning ma inserire segretamente un backdoor.

• Meccanismo: Il backdoor non corrompe gli encoder (che rimangono intatti), ma manipola la meta-net. Quando un'immagine contiene un trigger impercettibile (una perturbazione diffusa su tutta l'immagine), la meta-net genera token distorti che reindirizzano l'embedding testuale verso una classe scelta dall'attaccante.
• Vulnerabilità delle difese esistenti:
  • I metodi basati sull'analisi degli encoder falliscono perché gli encoder non sono stati modificati.
  • I metodi basati sull'inversione del trigger (come Neural Cleanse) assumono che il trigger sia sparso (piccole patch) e tendono a fallire con trigger impercettibili e densi, generando falsi positivi o non ricostruendo il trigger corretto.
  • Le difese a livello di dati o inferenza non rispondono alla domanda critica: "Il modello consegnato è backdoored o no?" prima del deployment.

2. Metodologia: CLIP-Inspector (CI)

Gli autori propongono CLIP-Inspector, un metodo di rilevamento a livello di modello progettato specificamente per modelli CLIP con prompt tuning.

Ipotesi e Accesso:

• Accesso White-box: Il difensore ha accesso ai pesi e all'architettura del modello consegnato.
• Dati: Non sono necessari dati etichettati o campioni backdoored. È sufficiente un pool di immagini Out-of-Distribution (OOD) non etichettate (es. 1.000 immagini da Open Images).
• Obiettivo: Determinare se il modello è backdoored, identificare la classe target e, se necessario, riparare il modello.

Fasi del Metodo:

1. Inversione del Trigger su Dati OOD:
   Per ogni classe candidata $c$, CI ottimizza una perturbazione $\delta_c$ (limitata dalla norma $L_\infty$ per garantire l'impercettibilità) su un set di immagini OOD. L'obiettivo è forzare l'immagine OOD a essere classificata come classe $c$.

   • Viene utilizzata una funzione di perdita basata sul margine ($L_{margin}$): massimizza il logit della classe target rispetto al logit della classe non-target più forte. Questo favorisce una convergenza rapida ed efficace.

2. Calcolo del Punteggio di Anomalia:
   Per ogni classe, CI valuta due metriche chiave:

   • Attack Success Rate (ASR): Quanto è efficace il trigger ricostruito nel far classificare le immagini OOD come classe target.
   • Perdita di Ottimizzazione Media: Quanto è facile per l'ottimizzatore trovare un trigger per quella classe (una perdita bassa indica un "shortcut" nel paesaggio della perdita, tipico dei backdoor).

   Un modello è considerato backdoored se una classe mostra un ASR alto e una perdita bassa simultaneamente. Questi valori vengono normalizzati (z-score) e combinati in un punteggio di anomalia. Se il punteggio massimo supera una soglia (default $k=2$), il modello viene segnalato come compromesso.

3. Riparazione (Purificazione):
   Una volta identificato il trigger ricostruito $\delta_{\hat{c}}$ per la classe sospetta, questo può essere utilizzato per un fine-tuning leggero del modello su dati puliti etichettati. Aggiungendo il trigger ricostruito agli input e forzando l'etichetta corretta, il modello viene "riallineato", riducendo drasticamente l'efficacia del backdoor originale senza compromettere l'accuratezza sui dati puliti.

3. Contributi Chiave

• Formulazione del Problema: Definizione del rilevamento di backdoor in scenari di prompt tuning dove gli encoder sono intatti, un caso di studio non coperto dalle difese esistenti.
• CLIP-Inspector: Introduzione di un detector basato sull'inversione del trigger su dati OOD, capace di ricostruire trigger impercettibili e densi senza dati di addestramento originali.
• Validazione Estensiva: Sperimentazione su 10 dataset e 4 tipi di attacchi (BadCLIP, Blended, SIBA, WaNet).
• Capacità di Riparazione: Dimostrazione che i trigger ricostruiti non sono solo artefatti diagnostici, ma possono essere usati per rimuovere il backdoor con pochi step di fine-tuning.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 10 dataset (es. ImageNet, Caltech101, Flowers102) e 4 attacchi diversi.

• Accuratezza di Rilevamento:

  • CLIP-Inspector raggiunge un'accuratezza di rilevamento del 94% (47 su 50 modelli) con un AUROC di 0.973.
  • Le baseline adattate (Neural Cleanse e Pixel Backdoor) falliscono miseramente, con AUROC di 0.495 e 0.687 rispettivamente, dimostrando di non essere adatte per trigger impercettibili e densi.
  • CI identifica la classe target con un F1-score medio di 0.92, con quasi zero falsi positivi.

• Efficienza:

  • CI richiede solo 1 epoca di ottimizzazione (circa 32 passi gradiente) su 1.000 immagini OOD.
  • Completa la scansione di 50 classi in meno di 1 ora su una GPU A100, contro le 6-8 ore richieste dalle baseline.

• Robustezza e Riparazione:

  • Il metodo è robusto anche contro attacchi adattivi (BadCLIP Adaptive) che cercano di restringere il "bacino di attrazione" del trigger.
  • Dopo la riparazione tramite fine-tuning con il trigger ricostruito, l'ASR del backdoor scende sotto il 10% (media 6.10%) mantenendo l'accuratezza sui dati puliti (±1%).

• Qualità del Trigger Ricostruito:

  • I trigger ricostruiti da CI hanno un'alta similarità strutturale (SSIM ~0.93) con i trigger originali (SSIM ~0.96), confermando che il metodo ricostruisce fedelmente la perturbazione impercettibile, a differenza delle baseline che producono trigger visivamente distorti (SSIM ~0.6-0.7).

5. Significato e Implicazioni

Il lavoro di CLIP-Inspector è fondamentale per la sicurezza dell'IA in scenari di outsourcing (MLaaS).

1. Verifica Pre-Deployment: Fornisce un meccanismo pratico per le organizzazioni per verificare la sicurezza dei modelli ricevuti prima di utilizzarli in sistemi critici (es. controllo accessi, monitoraggio ambientale).
2. Superamento dei Limiti Esistenti: Dimostra che le difese basate su assunzioni di sparsità del trigger o corruzione dell'encoder sono obsolete per i moderni VLM prompt-tuned.
3. Riparazione Attiva: Trasforma il rilevamento in un'azione correttiva, offrendo una soluzione completa (rilevamento + riparazione) che riduce il rischio di deployment di modelli compromessi.

In sintesi, CLIP-Inspector colma una lacuna critica nella sicurezza dei modelli foundation, fornendo uno strumento efficiente, preciso e pratico per garantire l'integrità dei modelli CLIP adattati tramite prompt tuning.