Riepilogo Tecnico: RPP – Un framework di rilevamento certificato di campioni avvelenati per attacchi backdoor sotto squilibrio dei dataset

1. Definizione del Problema

Le reti neurali profonde (DNN) sono sempre più impiegate in applicazioni critiche per la sicurezza, ma rimangono altamente vulnerabili agli attacchi backdoor. In questi attacchi, gli avversari inseriscono un pattern di trigger unico nei dati di addestramento, causando la classificazione errata degli input contenenti il trigger in una classe target, pur comportandosi normalmente sugli input puliti.

Sebbene esistano numerosi meccanismi di difesa, il paper identifica una lacuna critica: la maggior parte delle difese esistenti assume dataset di addestramento bilanciati, una condizione raramente soddisfatta negli scenari reali. Nella pratica, i dataset presentano spesso un severo squilibrio delle classi (ad esempio, la diagnosi medica dove i campioni sani superano di gran lunga i casi di cancro, o la guida autonoma dove le anomalie del traffico sono sottorappresentate). Gli autori sostengono che questo squilibrio non sia solo un fastidio statistico, ma una vulnerabilità di sicurezza. Essi postulano che:

1. I dataset sbilanciati sono intrinsecamente più suscettibili agli attacchi backdoor a causa del bias verso la classe maggioritaria.
2. Le difese convenzionali degradano significativamente all'intensificarsi dello squilibrio dei dati perché si affidano a segnali a livello di distribuzione (ad esempio, clustering, statistiche a livello di classe) che diventano distorti o instabili quando le classi minoritarie sono sottorappresentate.
3. Le difese esistenti mancano di garanzie teoriche formali, lasciando i sistemi critici per la sicurezza vulnerabili ad avversari adattivi.

2. Metodologia: Randomized Probability Perturbation (RPP)

Per affrontare queste sfide, gli autori propongono la Randomized Probability Perturbation (RPP), un framework di rilevamento certificato di campioni avvelenati progettato per operare in un contesto black-box utilizzando solo le probabilità di output del modello.

Intuizione Centrale

RPP opera da una prospettiva a livello di campione piuttosto che fare affidamento su indizi distribuzionali globali. Il metodo si basa sull'osservazione che:

• Gli input avvelenati (contenenti un trigger) sono progettati per essere robusti; i loro vettori di probabilità predittiva rimangono relativamente stabili anche quando sottoposti a perturbazioni casuali dell'input (rumore).
• Gli input benigni si affidano a correlazioni naturali; i loro vettori di probabilità mostrano fluttuazioni significativamente maggiori quando perturbati.

La Metrica RPP

Il framework definisce la Randomized Probability Perturbation (RPP) come la variazione attesa del vettore di probabilità predittiva di un campione sotto l'iniezione di rumore gaussiano isotropo.

• Sia $f(\cdot|w)$ un classificatore pre-addestrato.
• Per un input $x$, il Samplewise Probability Vector (SPV) è $p(x|w)$.
• La RPP, denotata $\Delta P(x|w, \sigma)$, è definita come la norma $L_\infty$ attesa della differenza tra il vettore di probabilità originale e il vettore dopo l'aggiunta di rumore $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$:
  $$\Delta P(x|w, \sigma) = \mathbb{E}_{\epsilon} [\| p(x|w) - p(x + \epsilon|w) \|_\infty]$$
• In pratica, questo viene stimato empiricamente ($\tilde{\Delta}P$) mediando la perturbazione su $J$ campioni di rumore.

Pipeline di Rilevamento

Il processo di rilevamento prevede tre fasi:

1. Addestramento Preliminare del Modello: Un modello viene addestrato sul dataset potenzialmente avvelenato. Se esistono backdoor, il modello ha assunto di aver appreso il trigger.
2. Calcolo della Soglia (Calibrazione Conforme): Un piccolo set di calibrazione $V$, pulito e bilanciato, viene utilizzato. Viene calcolata la RPP empirica ($\tilde{\Delta}P$) per questi campioni puliti. Una soglia di rilevamento $\hat{q}$ viene determinata utilizzando tecniche di conformal prediction. Nello specifico, $\hat{q}$ è impostata come un quantile dei punteggi di calibrazione corrispondente a un livello di significatività $\alpha$ specificato dall'utente. Ciò garantisce una calibrazione priva di distribuzione che rimane valida anche in presenza di squilibrio delle classi.
3. Rilevamento dei Campioni Avvelenati: Per ogni campione nel dataset da ispezionare, viene calcolata la sua RPP empirica. Se $\tilde{\Delta}P \leq \hat{q}$, il campione viene segnalato come avvelenato; altrimenti, è classificato come pulito.

Garanzie Teoriche

Il paper fornisce una certificazione teorica della rilevabilità delle backdoor:

• Condizione di Rilevabilità: Gli autori derivano un limite inferiore sulla dimensione del trigger ($\|\delta\|_2$) richiesto per garantire il rilevamento. Se la dimensione del trigger supera una specifica soglia derivata dal livello di rumore $\sigma$, la probabilità della classe target $p(x)$ e dal limite superiore della distribuzione di probabilità pulita, il campione avvelenato è garantito essere rilevato.
• Controllo del Tasso di Falsi Positivi (FPR): Utilizzando la teoria della conformal prediction, il framework fornisce un limite probabilistico superiore sull'FPR. Il Teorema 5.4 stabilisce che la probabilità che un campione pulito venga erroneamente segnalato come avvelenato è limitata da $\alpha + \frac{1}{n+1}$, dove $n$ è la dimensione del set di calibrazione.

3. Contributi Chiave

Gli autori riassumono i loro contributi come segue:

1. Investigazione della Minaccia: Dimostrano empiricamente una forte correlazione tra lo squilibrio dei dataset e i tassi di successo degli attacchi backdoor, mostrando che i dataset sbilanciati sono intrinsecamente più vulnerabili. Mostrano inoltre che le difese esistenti degradano significativamente sotto squilibrio.
2. Framework RPP: Introducono RPP, una tecnica di rilevamento di campioni avvelenati tramite pre-addestramento che si adatta efficacemente allo squilibrio severo delle classi utilizzando segnali di stabilità a livello di campione invece di statistiche a livello di distribuzione.
3. Garanzie Certificate: A differenza di molte difese empiriche, RPP offre garanzie di prestazione dimostrabili, inclusa una condizione certificata per la rilevabilità e un limite rigoroso sul tasso di falsi positivi, fornendo una base teorica per l'impiego in ambienti critici per la sicurezza.

4. Risultati Sperimentali

Gli autori hanno valutato RPP su cinque benchmark (MNIST, SVHN, CIFAR-10, TinyImageNet e ImageNet10) coprendo 10 diversi tipi di attacco backdoor (tra cui BadNets, Blend, Trojan, SIG, ISSBA, ecc.) e l'hanno confrontato con 12 difese baseline.

• Prestazioni sotto Squilibrio: Gli esperimenti sono stati condotti con rapporti di squilibrio ($\rho$) che vanno da 1 (bilanciato) a 200.
  • Accuratezza del Rilevamento: RPP ha costantemente raggiunto True Positive Rate (TPR) significativamente più alti rispetto alle difese allo stato dell'arte (ad esempio, AC, ASSET, SCALE-UP, STRIP) in tutti i livelli di squilibrio. Ad esempio, su CIFAR-10 con $\rho=100$, RPP ha ottenuto un TPR del 100% contro BadNets con un FPR del 9,2%, mentre altri metodi hanno spesso visto i TPR scendere sotto il 50% o gli FPR aumentare drasticamente.
  • Robustezza: RPP ha mantenuto un'elevata accuratezza di rilevamento anche quando il rapporto di squilibrio è aumentato a 200, un regime in cui la maggior parte delle difese esistenti fallisce completamente o produce falsi positivi inaccettabili.
• Prestazioni di Certificazione: Il framework ha certificato con successo il rilevamento dei campioni avvelenati con un'alta copertura (spesso >98% per SVHN e CIFAR-10) mantenendo l'FPR entro i limiti teorici definiti dal parametro $\alpha$ (testato a 0.05 e 0.1).
• Attacchi Adattivi: Il metodo ha dimostrato resilienza contro attacchi adattivi, inclusi i trigger a norma piccola e gli attacchi a etichetta ibrida, a patto che la dimensione del trigger rimanesse entro il regime di rilevabilità teorica.

5. Significato e Rivendicazioni

Il paper sostiene di stabilire una base teorica e pratica per la difesa contro gli attacchi backdoor in ambienti reali caratterizzati da dati sbilanciati.

• Il Primo del suo Genere: Gli autori affermano che RPP è il primo framework di rilevamento certificato di campioni avvelenati progettato specificamente per gestire le sfide dello squilibrio dei dataset.
• Cambio di Paradigma: Passando da segnali a livello di distribuzione a metriche di robustezza a livello di campione, RPP evita la dipendenza da rappresentazioni di classe uniformi, rendendolo naturalmente adatto a distribuzioni asimmetriche.
• Applicabilità ai Sistemi Critici: La fornitura di garanzie formali (condizioni di rilevabilità e limiti FPR) affronta la dinamica "gatto e topo" delle difese empiriche, offrendo un livello di sicurezza necessario per applicazioni critiche come la guida autonoma e la diagnosi medica, dove i falsi negativi o i falsi positivi incontrollati sono inaccettabili.

Gli autori concludono che, sebbene il loro metodo richieda un modello preliminare e un set di calibrazione pulito, esso offre una soluzione robusta e certificata che rimane efficace laddove le soluzioni allo stato dell'arte falliscono.