Anti-Backdoor Coreset Selection via Cumulative Entropy

Sintesi Tecnica: Selezione di Coreset Anti-Backdoor tramite Entropia Cumulativa

Definizione del Problema
Le reti neurali profonde richiedono grandi dataset di addestramento, eppure la verifica manuale di tali dataset è impraticabile, lasciando i modelli vulnerabili ad attacchi di avvelenamento dei dati (data-poisoning). Nello specifico, i backdoor neurali stabiliscono scorciatoie dai pattern di trigger alle predizioni target. Sebbene le difese recenti tentino di mitigare queste minacce suddividendo i dataset avvelenati in sottoinsiemi "benigni" e "avvelenati" per addestrare un modello pulito, i metodi esistenti spesso falliscono nel bilanciare l'accuratezza naturale con la rimozione del backdoor. Molti approcci precedenti compromettono la performance naturale, si affidano a dataset di riferimento puliti (il che vanifica lo scopo di una difesa automatizzata) o non sono efficaci contro attacchi specifici e sofisticati. Inoltre, il semplice frazionamento dei dataset rischia di trattenere campioni avvelenati se i criteri di selezione non sono robusti.

Metodologia: Selezione di Coreset Anti-Backdoor (ABCS)
Gli autori riformulano la difesa dal backdoor durante l'addestramento come un problema di selezione di un coreset. L'intuizione fondamentale è che i dati di addestramento codificano due task: il task primario (benigno) e il task secondario (backdoor). I campioni avvelenati tipicamente inducono una convergenza rapida e stabile con bassa incertezza predittiva, mentre i campioni benigni, difficili da apprendere, esibiscono un'incertezza maggiore. Selezionando un coreset basato sull'informatività piuttosto che sulla rappresentatività geometrica, il metodo privilegia naturalmente il task primario.

La difesa proposta, ABCS, utilizza l'Entropia Cumulativa (CENT) come criterio di selezione e opera in tre fasi:

1. Fase di Warm-Up: Il modello viene addestrato per $T_{wa}$ epoche sull'intero dataset avvelenato per stabilizzare la selezione iniziale. Un valore di soglia $\tau$ viene calcolato sulla base dell'entropia media dei campioni predetti correttamente per determinare la dimensione del coreset target ($s$).
2. Fase di Selezione del Coreset ($T_{se}$ epoche):
   • Step 1 (Apprendimento): Il modello viene addestrato per un'epoca sull'intero dataset avvelenato per ottenere una distribuzione intermedia dell'entropia.
   • Step 2 (Disapprendimento): Per aumentare la discrepanza tra campioni benigni e avvelenati, il metodo "disimpara" i campioni incerti. Identifica i campioni con un'entropia superiore alla media dei campioni predetti correttamente e applica lo smoothing delle etichette (label smoothing) combinato con una regolarizzazione $L_2$ (ancoraggio ai pesi del modello precedente). Questo step evita il collasso del modello ed espande esplicitamente il divario di incertezza, rendendo i campioni benigni più distinti dai campioni avvelenati a bassa incertezza.
   • Step 3 (Accumulo): L'entropia di Shannon normalizzata di ogni campione viene accumulata attraverso gli epoche. Il punteggio di Entropia Cumulativa (CENT) per un campione $x_i$ è definito come la media delle entropie normalizzate su $T_{se}$ epoche.
3. Addestramento Finale: I primi $s$ campioni con i punteggi CENT più elevati formano il coreset benigno $D_{bng}$. Un nuovo modello viene addestrato da zero su questo coreset utilizzando la perdita cross-entropy standard.

Contributi Chiave

• Nuova Formulazione: Il documento introduce la "Selezione di Coreset Anti-Backdoor", inquadrando la difesa come un problema di recupero di un sottoinsieme informativo del task primario piuttosto che della semplice filtrazione del veleno.
• Criterio di Entropia Cumulativa: Gli autori propongono CENT, una metrica che traccia la dinamica dell'apprendimento su più epoche. A differenza delle misure di incertezza a singolo epoch che soffrono di varianza, CENT cattura la consistenza temporale, identificando efficacemente i campioni che rimangono incerti (benigni) rispetto a quelli che convergono rapidamente (avvelenati).
• Meccanismo di Disapprendimento: L'integrazione di uno specifico step di disapprendimento con label smoothing e regolarizzazione migliora la separabilità tra campioni benigni e avvelenati, affrontando i limiti della semplice selezione basata sull'entropia contro attacchi furtivi.
• Efficienza: Il metodo costruisce un coreset significativamente più piccolo del dataset completo ($r_{se} \ll 1$), risultando in un tempo di addestramento totale comparabile all'addestramento ingenuo.

Risultati Sperimentali
Gli autori hanno valutato ABCS su CIFAR-10, GTSRB e Tiny-ImageNet contro otto distinti attacchi backdoor (inclusi BadNets, Blend, WaNet e A-Blend).

• Robustezza: ABCS ha mitigato costantemente tutti i backdoor investigati, raggiungendo un Attack Success Rate (ASR) vicino allo 0% nella maggior parte degli scenari, superando significativamente le difese allo stato dell'arte come ABL, DBD, CBD, V&B e Harvey.
• Accuratezza Naturale: Il metodo ha preservato l'accuratezza naturale (ACC) comparabile a quella dei modelli addestrati su dataset puliti, mentre molte difese precedenti subivano cali significativi di accuratezza.
• Tasso di Efficacia della Difesa (DER): ABCS ha ottenuto punteggi DER superiori al 95% su CIFAR-10 e al 97% su Tiny-ImageNet, indicando un equilibrio superiore tra rimozione del backdoor e mantenimento dell'accuratezza.
• Adattabilità ai Dati Puliti: A differenza di metodi precedenti che degradano su dati puliti, ABCS ha mantenuto alte prestazioni quando addestrato su dataset non avvelenati, dimostrando adattabilità.
• Rapporto di Avvelenamento: I coreset selezionati contenevano un rapporto di avvelenamento trascurabile ($\rho_{bng} \approx 0$), escludendo efficacemente i campioni malevoli.

Significatività e Rivendicazioni
Il documento sostiene che ABCS offre una difesa durante l'addestramento eccezionalmente efficace che costruisce un coreset benigno per addestrare un modello privo di backdoor. La sua principale significatività risiede nella capacità di mitigare gli attacchi backdoor in modo costante con un impatto trascurabile sulla performance naturale, un punto di fallimento comune nelle opere precedenti. Gli autori sottolineano che il metodo non richiede un dataset di riferimento pulito e comporta costi computazionali simili all'addestramento ingenuo, rendendolo pratico per l'implementazione nel mondo reale. Gli autori osservano che, sebbene la performance empirica sia forte, l'approccio attualmente manca di una base teorica riguardante la separazione nello spazio latente tra coreset e campioni avvelenati, suggerendo questo come un'area per lavori futuri.