🤖 machine learning

CLIP-Guided Backdoor Defense through Entropy-Based Poisoned Dataset Separation

Il documento introduce la CLIP-Guided backdoor Defense (CGD), un metodo efficiente e robusto che sfrutta un modello CLIP accessibile pubblicamente per identificare e neutralizzare i dati avvelenati, riducendo efficacementamente i tassi di successo degli attacchi a meno dell'1% pur mantenendo un'elevata accuratezza sui dati puliti attraverso vari dataset e tipi di attacco.

Autori originali: Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

Pubblicato 2026-07-31

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver appena costruito un robot chef super intelligente. Lo hai nutrito con milioni di foto di cibo affinché possa imparare a distinguere tra un hamburger e una pizza. Questo è il modo in cui funzionano le moderne "Reti Neurali Profonde"; sono i cervelli dietro tutto, dalle auto a guida autonoma alla diagnosi medica. Ma c'è un problema subdolo: cosa succederebbe se un malintenzionato inserisse alcuni scatti "avvelenati" nel mix di addestramento? Magari aggiunge un piccolo adesivo invisibile su ogni foto di un hamburger e la etichetta come "pizza". Se il robot impara questo trucco, potrebbe improvvisamente pensare che qualsiasi hamburger con quell'adesivo sia una pizza, anche se gli chiedi di preparare un hamburger. Questo è chiamato "attacco backdoor". Il robot funziona perfettamente il 99% delle volte, ma quando appare quel particolare trigger, impazzisce.

La grande domanda che gli scienziati si pongono è: come possiamo pulire questi dati di addestramento avvelenati senza buttare via l'intera ricetta? Di solito, l'unico modo per essere sicuri è avere un gruppo separato di foto perfettamente pulite con cui confrontarsi, ma nel mondo reale spesso non abbiamo questo lusso. Potremmo avere solo il mucchio sospetto, potenzialmente avvelenato. Quindi, i ricercatori stanno cercando un modo per distinguere le foto "buone" da quelle "cattive" usando solo gli strumenti che già abbiamo, rendendo i nostri robot chef di nuovo sicuri senza bisogno di una bacchetta magica.

Entra in gioco un nuovo metodo chiamato CGD (CLIP-Guided Backdoor Defense), che agisce come un detective super intelligente che offre un secondo parere al tuo robot chef. I ricercatori si sono resi conto che potevano usare un famoso modello di IA pre-addestrato chiamato CLIP (che è bravissimo nell'abbinare immagini a descrizioni testuali) per fiutare i malintenzionati. Ecco come avviene la magia:

Per prima cosa, i ricercatori trattano il sospetto robot chef (quello addestrato sui dati cattivi) e il detective CLIP come una squadra. Guardano ogni foto nel mucchio di addestramento e chiedono a entrambi: "Quanto sei sicuro di ciò che è questo?". Misurano questa "sicurezza" usando qualcosa chiamato entropia. Pensa all'entropia come a una misura di confusione.

Se il detective CLIP guarda una foto e dice: "Non ho idea di cosa sia, è un totale disastro!" (alta entropità), di solito significa che la foto ha un'etichetta strana attaccata, il che la segnala come un probabile campione "avvelenato" dove l'etichetta è stata cambiata da un malintenzionato.
Se il sospetto robot chef guarda una foto e dice: "Sono sicuro al 100% che questa sia una pizza!" (bassa entropia), ma la foto è in realtà un hamburger con un trigger nascosto, significa che il robot è stato ingannato nel essere troppo sicuro di sé. Questo è un segno di una backdoor a "etichetta pulita" (clean-label), dove l'etichetta è corretta, ma l'immagine è stata segretamente alterata per ingannare il modello.

Combinando questi due segnali, CGD crea una "mappa" che separa le foto pulite da quelle avvelenate. È come avere un buttafuori in un club che controlla due documenti d'identità: se uno dei due sembra falso (alta confusione da parte di CLIP) o se l'altro è sospettosamente sicuro di una bugia (bassa confusione da parte del robot), il buttafuori caccia quella foto dal gruppo di addestramento.

Una volta separate le foto cattive, CGD non si limita a cancellarle; insegna al robot chef a "disimparare" le cattive abitudini. Riaddestra il modello sulle foto pulite per mantenerlo affilato, mentre contemporaneamente usa la conoscenza corretta di CLIP per guidare il modello lontano dai trigger avvelenati. È come dire al robot: "Dimentica che quell'adesivo significa pizza; guarda gli ingredienti reali invece".

I risultati sono impressionanti. In test condotti su quattro diversi dataset e undici diversi tipi di attacchi subdoli, CGD è riuscito a ridurre il tasso di successo di questi attacchi backdoor a meno dell'1% (spesso così basso come lo 0,1% o lo 0,2%). Allo stesso tempo, ha mantenuto le prestazioni normali del robot chef quasi esattamente le stesse, con una perdita di precisione di solo lo 0,3%. È come riparare il motore di un'auto senza graffiare la vernice.

Ciò che rende il metodo ancora più interessante è quanto sia robusto. I ricercatori hanno testato il metodo anche quando il detective CLIP era "più debole" (meno accurato) o persino se il modello CLIP stesso era stato avvelenato. Anche in questi casi, CGD è riuscito a rimuovere le backdoor dal modello vittima senza trasferire accidentalmente le cattive abitudini. Ha inoltre dimostrato di essere incredibilmente veloce, impiegando meno di 3 minuti per pulire i dati dopo l'addestramento iniziale, il che è molto più veloce di altri metodi che possono richiedere ore o giorni.

In breve, questo articolo suggerisce che, usando un'IA pre-addestrata intelligente come guida, possiamo separare efficacementamente i dati "buoni" da quelli "cattivi", anche quando non abbiamo un set di riferimento pulito. Offre un modo pratico ed efficiente per mettere in sicurezza i nostri sistemi di IA contro le trappole nascoste, garantendo che i nostri aiutanti digitali rimangano affidabili anche quando i dati da cui imparano non sono perfetti.

Riepilogo Tecnico: Difesa da Backdoor Guidata da CLIP attraverso la Separazione di Dataset Avvelenati basata sull'Entropia (CGD)

1. Definizione del Problema

Le Reti Neurali Profonde (DNN) sono vulnerabili agli attacchi backdoor, in cui gli avversari avvelenano una piccola frazione dei dati di addestramento per implementare un trigger che costringe il modello a classificare erroneamente input specifici in una classe target. Sebbene esistano difese esistenti, esse presentano limitazioni significative:

Difese basate su Modelli "Clean" (Puliti): I metodi che si affidano all'apprendimento auto-supervisionato o semi-supervisionato (ad es., DBD, ASD) sono computazionalmente costosi e spesso inefficaci contro i backdoor clean-label avanzati, dove le etichette rimangono corrette ma il trigger è incorporato nell'immagine.
Difese basate su Modelli Sospetti: I metodi che analizzano il comportamento del modello vittima (ad es., ABL, EP) faticano contro i backdoor clean-image, dove le immagini avvelenate sono visivamente indistinguibili da quelle pulite, rendendo difficile il rilevamento delle anomalie tramite la distribuzione dei dati o le attivazioni.
Dipendenza da Dati Puliti: Molte difese efficaci (ad es., Fine-Pruning, MCR) presuppongono la disponibilità di un piccolo sottoinsieme di dati puliti, il che è spesso impossibile nei veri scenari reali in cui i dati di addestramento provengono da fonti esterne senza garanzie di sicurezza.

2. Metodologia: Difesa da Backdoor Guidata da CLIP (CGD)

Gli autori propongono CGD, un meccanismo di difesa in due fasi che sfrutta un modello di visione-linguaggio pre-addestrato e pubblicamente disponibile (CLIP) come classificatore "debole ma pulito" per separare i dati avvelenati e guidare l'unlearning del modello.

Intuizione Centrale

Il metodo si basa su un'analisi dell'entropia delle predizioni di due modelli:

CLIP (Debole ma Pulito): Come classificatore zero-shot, si assume che CLIP sia privo del backdoor specifico. Tende a produrre un'entropia elevata (bassa confidenza) sui campioni avvelenati in cui l'etichetta non corrisponde al contenuto visivo (label poisoning) o in cui il trigger interrompe la comprensione semantica.
Modello Sospetto (Vittima): Il modello addestrato sul dataset avvelenato. Nei backdoor clean-label, il modello vittima apprende un'associazione forte tra il trigger e l'etichetta target, risultando in predizioni a bassa entropia (alta confidenza) per i campioni avvelenati, anche se il trigger è sottile.

Fase 1: Suddivisione Meta dei Dati Guidata da CLIP

Il framework genera una "mappa di entropia" valutando ogni campione con sia CLIP che il modello sospetto.

Identificazione Poison-Label: I campioni con alta entropia da parte di CLIP (indicando un disallineamento tra etichetta e immagine) vengono segnalati.
Identificazione Clean-Label: I campioni con bassa entropia dal modello sospetto (indicando un'eccessiva confidenza dovuta all'associazione con il trigger) vengono segnalati.
Strategia di Suddivisione: Utilizzando i ranghi percentili degli score di entropia ( $\hat{S}_{CLIP}$ $\hat{S}_{C L I P}$ e $\hat{S}_{Model}$ $\hat{S}_{M o d e l}$ ), il dataset viene partizionato in:
- Sottoinsieme Pulito ( $D_c$ ): Bassa entropia di CLIP e alta entropia del Modello.
- Sottoinsieme Triggerato ( $D_p$ ): Alta entropia di CLIP OPPURE bassa entropia del Modello.
- Sottodotto Misto: Campioni rimanenti.

Fase 2: Unlearning della Backdoor Guidata da CLIP

Il modello viene perfezionato (fine-tuning) utilizzando una funzione di perdita composita sui sottoinsiemi separati:

Perdita di Re-apprendimento ( $L_{re}$ ): Standard cross-entropy loss su $D_c$ per preservare l'accuratezza sui dati puliti.
Perdita di Unlearning ( $L_{un}$ ): Negative cross-entropy su $D_p$ per penalizzare le predizioni sicure sui campioni con trigger, interrompendo l'associazione trigger-etichetta.
Perdita di Distillazione ( $L_{distill}$ ): Divergenza di Kullback-Leibler tra le predizioni del modello e le predizioni di CLIP su $D_p$ . Questo guida il modello ad allinearsi con le classificazioni zero-shot "pulite" di CLIP, neutralizzando efficacemente l'influenza del backdoor.

Estensione: Abilitare Difese Basate su Dati Puliti

Un contributo innovativo del paper è la capacità di adattare le difese che tradizionalmente richiedono dati puliti (ad es., Fine-Pruning, ANP) a dataset avvelenati. Utilizzando CGD per filtrare un sottoinsieme "Split Clean" di alta qualità ( $D_c$ ) dai dati avvelenati, questi metodi possono essere applicati senza la necessità di dati puliti esterni.

3. Contributi Chiave

Nuovo Meccanismo di Difesa (CGD): Introduzione di una difesa che utilizza CLIP come classificatore zero-shot per identificare i campioni avvelenati tramite l'analisi dell'entropia, affrontando sia i backdoor di tipo label-poisoned che quelli clean-label/clean-image.
Efficienza ed Efficacia: Il metodo raggiunge un'elevata performance di difesa con un overhead computazionale minimo (meno di 3 minuti post-addestramento) e mantiene un'alta accuratezza sui dati puliti.
Collegamento tra Paradigmi di Difesa: Dimostrazione che le difese basate su dati puliti possono essere implementate efficacemente su dati avvelenati usando CGD per estrarre un sottoinsieme pulito, eliminando il requisito rigoroso di dati puliti esterni.
Robustezza: La difesa rimane efficace anche quando CLIP è debole (bassa accuratezza zero-shot) o quando CLIP stesso è compromesso da un backdoor.

l. Risultati Sperimentali

Gli autori hanno valutato CGD su quattro dataset (CIFAR-10, CIFAR-100, GTSRB, Tiny-ImageNet) contro 11 attacchi backdoor allo stato dell'arte.

Performance: CGD ha ridotto gli Attack Success Rates (ASR) al di sotto dell'1% (media dello 0,2% su CIFAR-10) in tutte le categorie di attacco, inclusi i backdoor clean-label e clean-image dove altre difese sono fallite.
Accuratezza Clean (CA): Il metodo ha mantenuto un'alta accuratezza clean con un calo massimo di solo 0,3% su CIFAR-10.
Confronto: CGD ha superato le difese esistenti basate su dati avvelenati (ad es., ABL, DBD, EP) e, quando utilizzato per filtrare i dati per le difese basate su dati puliti (ad es., ANP-SC, MCR-SC), ha ottenuto risultati comparabili o migliori rispetto all'uso del 5% di dati puliti esterni.
Efficienza: Il tempo di esecuzione totale per la suddivisione e la difesa è stato di circa 1.154 secondi (incluso l'addestramento del modello vittima), significativamente più veloce degli approcci auto-supervisionati come DBD (26.971 secondi).
Test di Robustezza:
- CLIP Debole: Difesa efficace (ASR $\le$ 5%) anche quando l'accuratezza zero-shot di CLIP era ridotta a circa il 7,5%.
- CLIP con Backdoor: CGD ha rimosso con successo i backdoor dal modello vittima anche quando il modello CLIP che fungeva da guida conteneva un backdoor, senza trasferire il backdoor di CLIP.
- Attacchi Adattivi: CGD ha resistito agli attacchi adattivi (ad es., Rand-Patch, Feature Mixing Backdoor) che tentavano di eludere il rilevamento dell'entropia.

5. Significato e Rivendicazioni

Il paper sostiene che CGD offra una soluzione pratica, scalabile e altamente efficiente per la difesa dai backdoor nel mondo reale. Il suo significato risiede nel:

Superamento delle Limitazioni: Affronta con successo le debolezze specifiche delle attuali difese contro i backdoor clean-label e clean-image senza l'elevato costo computazionale dell'apprendimento auto-supervisionato.
Efficienza delle Risorse: Elimina la necessità di dati puliti esterni, un importante collo di bottiglia nel deployment pratico, sintetizzando un sottoinsieme pulito direttamente dai dati avvelenati.
Resilienza: Fornisce forti garanzie di sicurezza anche in condizioni imperfette (modelli CLIP deboli o compromessi), rendendolo una scelta robusta per proteggere le applicazioni di Deep Learning in ambienti con dati non affidabili.

Gli autori concludono che CGD rappresenti un passo avanti significativo nel rendere le applicazioni di deep learning più affidabili, fornendo una difesa che sia efficace contro attacchi avanzati e fattibile per il deployment nel mondo reale.