When Modalities Fail to Tango: Conformal Backdoor Detection in Multimodal Contrastive Learning

Sintesi Tecnica: Quando le Modalità non Ballano il Tango: Rilevamento di Backdoor Conforme nel Learning Contrastivo Multimodale

Definizione del Problema
I modelli di Multimodal Contrastive Learning (MCL), come CLIP, sono fondamentali per numerosi compiti a valle ma sono vulnerabili ad attacchi di tipo backdoor. In questi attacchi, gli avversari iniettano trigger visivi in un sottoinsieme di immagini di addestramento e sostituiscono le loro didascalie originali con semantiche target (ad esempio, cambiando "un cervo" in "un gatto"). Ciò induce correlazioni spurie in cui le immagini con il trigger vengono mappate all'embedding della classe target.

Le difese esistenti basate sul rilevamento si affidano principalmente alla metrica CLIPScore, assumendo che le coppie avvelenate esibiscano una minore somiglianza semantica tra immagini e didascalie rispetto alle coppie benigne. Tuttavia, gli autori identificano due criticità fondamentali in questo approccio:

1. Sovrapposizione della Distribuzione: Le distribuzioni di CLIPScore per le coppie benigne e avvelenate presentano una sostanziale sovrapposizione, rendendo difficile distinguerle utilizzando solo i punteggi di somiglianza.
2. Mancanza di Garanzie Statistiche: I metodi di rilevamento a soglia fissa non possono fornire garanzie statistiche per i campioni che ricadono in queste regioni di sovrapposizione, portando a una classificazione inaffidabile e a potenziali errori di classificazione sotto soglie euristiche.

Metodologia: CASCADE
Per affrontare queste limitazioni, gli autori propongono CASCADE, un nuovo framework di Rilevamento di Backdoor Conforme Coarse-to-Fine. Il metodo integra la Conformal Prediction (CP) per stabilire limiti di confidenza provabili per il rilevamento delle coppie avvelenate. Il framework opera in due fasi:

1. Fase I: Rilevamento a Grana Grossa (Consistenza Cross-Modalità)

   • Embedding Testuale Guidato dalla Visione: Il sistema utilizza un modello di image captioning pre-addestrato (ad esempio, CLIPCap) come modulo di mappatura fisso $G$ per tradurre gli embedding delle immagini nello spazio degli embedding testuali, generando un embedding testuale "guidato dalla visione" ($\hat{t}_e$).
   • Metrica di Consistenza: Calcola la Consistenza Cross-Modalità ($\Delta\kappa$) misurando la differenza assoluta tra la somiglianza immagine-testo originale ($\kappa_{orig}$) e la somiglianza immagine-testo generata ($\kappa_{gen}$). Le coppie benigne mostrano un'alta consistenza (piccolo $\Delta\kappa$), mentre le coppie avvelenate mostano un significativo disallineamento semantico (grande $\Delta\kappa$).
   • Partizionamento: Un Modello di Miscela Gaussiana (GMM) viene adattato alla distribuzione dei punteggi $\Delta\kappa$. Il dataset viene partizionato in tre sottoinsiemi:
     • $D_b$: Coppie benigne ad alta confidenza (basso $\Delta\kappa$).
     • $D_p$: Coppie avvelenate ad alta confidenza (i top-$q$ più alti $\Delta\kappa$).
     • $D_u$: Un sottoinsieme non identificato contenente campioni ambigui.

2. Fase II: Rilevamento a Grana Fine (Conformal Prediction)

   • Costruzione del Set di Riferimento: L'alto sottoinsieme di coppie avvelenate $D_p$ funge da set di riferimento ($T_{ref}$) che rappresenta la distribuzione avvelenata.
   • Nonconformity Score (NCS): Per ogni campione nel sottoinsieme non identificato $D_u$, viene calcolato un NCS testuale basato sulla media della similarità del coseno tra l'embedding testuale del campione e il set di riferimento. Le didascalie avvelenate, che condividono pattern specifici del target, si allineano strettamente con il set di riferimento, risultando in un basso NCS (alta conformità). Le didascalie benigne deviano dal set di riferimento, risultando in un alto NCS.
   • Decisione Statistica: L'NCS viene convertito in un p-value conforme. Sotto l'ipotesi nulla che la coppia di test sia avvelenata (scambiabile con il set di riferimento), un basso NCS produce un alto p-value, mentre un alto NCS produce un basso p-value. La regola decisionale è: se $p(x,t) \le \epsilon$, il campione è classificato come benigno; altrimenti, è classificato come avvelenato. Pertanto, i campioni con basso NCS (alta conformità alla distribuzione avvelenata) ricevono alti p-value e vengono mantenuti come avvelenati, mentre i campioni con alto NCS (bassa conformità) ricevono bassi p-value e vengono scartati come benigni.

Contributi Chiave

1. Framework CASCADE: Una pipeline di rilevamento a due stadi che separa i campioni ad alta confidenza prima di raffinare le coppie ambigue tramite conformal prediction, superando i limiti delle soglie fisse.
2. Metriche Innovative: L'introduzione della consistenza cross-modalità (sfruttando il disallineamento immagine-testo) e degli score di non-conformità testuale (sfruttando il clustering strutturale delle didascalie avvelenate) per migliorare la separabilità.
3. Garanzie Statistiche: L'integrazione della CP fornisce rigorosi limiti statistici sul tasso di falsi positivi, garantendo che la probabilità di classificare erroneamente un campione avvelenato come benigno sia controllata a un livello definito dall'utente.

Risultati Sperimentali
Esperimenti estesi sono stati condotti sul dataset CC3M contro nove diverse backdoor (ad esempio, BadNets, BadCLIP, mmPoison) e vari attacchi adattivi.

• Performance di Rilevamento: CASCADE ha raggiunto un FPR@100%TPR medio del 5,79% e un AUROC medio di 0,9867, superando significativamente gli altri stati dell'arte come CLIPScore, SafeCLIP e DAO.
• Utilità a Valle: Quando utilizzato per filtrare i dati di addestramento, i modelli addestrati sul sottoinsieme benigno identificato hanno mantenuto un'alta accuratezza pulita (58,17% su ImageNet-1K, vicina alla baseline pulita di 59,69%) riducendo al contempo l'Attack Success Rate (ASR) da ~80% a 0,12%.
• Robustezza: Il metodo è rimasto efficace contro attacchi adattivi consapevole della difesa, dove gli attaccanti hanno ottimizzato i trigger per massimizzare la consistenza semantica con le didascalie target. L'AUROC di CASCADE è diminuito solo leggermente (a ~0,94), dimostrando robustezza ai tentativi di eludere la Fase I.
• Generalizzazione: Il metodo si è generalizzato attraverso diverse classi target, molteplici impostazioni target, varie varianti di CLIP (ResNet, ViT) e diversi dataset di pre-training (Flickr-PASCAL, Visual Genome, MSCOCO).

Significatività e Rivendicazioni
Il paper sostiene che CASCADE rappresenti un avanzamento significativo nella sicurezza dei modelli MCL, passando da soglie di somiglianza euristiche a un framework di rilevamento statisticamente fondato. Sfruttando le proprietà strutturali dei dati avvelenati (sia il disallineamento cross-modale che il clustering nello spazio testuale) e quantificando l'incertezza tramite la conformal prediction, CASCADE fornisce una difesa affidabile che controlla i falsi positivi anche nelle regioni ambigue dove i metodi tradizionali falliscono. Gli autori sottolineano che, mentre CASCADE si concentra sul rilevamento, lascia la purificazione post-hoc (ad esempio, l'unlearning del modello) come lavoro futuro. Il metodo è presentato come una soluzione robusta, efficiente e generalizzabile per identificare i dati avvelenati nel pre-training multimodale su larga scala.