Laplace-Bridged Randomized Smoothing for Fast Certified Robustness

1. Enunciato del Problema

Il documento affronta due colli di bottiglia critici che ostacolano il dispiegamento pratico del Randomized Smoothing (RS), un metodo leader per fornire garanzie formali di robustezza $\ell_2$ per le reti neurali profonde:

1. Dipendenza dall'addestramento con aumento del rumore: Sebbene il RS sia teoricamente agnostico rispetto al modello, ottenere una robustezza certificata non banale nella pratica richiede tipicamente che il classificatore di base sia addestrato con aumento del rumore. Ciò aumenta i costi di addestramento, spesso degrada l'accuratezza su dati puliti e mina il valore del RS come difesa "post-hoc" (cioè certificare modelli pronti all'uso senza riaddestramento).
2. Inefficienza computazionale: Il RS standard si basa sul campionamento Monte Carlo (MC) nello spazio di input ad alta dimensionalità. Per ottenere certificati statisticamente validi, richiede decine di migliaia di passaggi in avanti rumorosi per ogni input. Ciò rende la certificazione proibitivamente costosa per grandi dataset e impossibile da implementare su dispositivi edge con risorse limitate (ad esempio, Raspberry Pi, Jetson Nano), dove memoria e capacità di calcolo sono vincolate.

2. Metodologia: Smoothing a Ponte Laplaciano (LBS)

Gli autori propongono lo Smoothing a Ponte Laplaciano (LBS), una riformulazione analitica del RS che sposta la stima stocastica dallo spazio di input ad alta dimensionalità a uno spazio di probabilità a bassa dimensionalità.

Meccanismo di base:

1. Linearizzazione locale e approssimazione gaussiana:

   • Invece di campionare gli input $x + \epsilon$, l'LBS analizza la distribuzione dei logit del modello ($z$) sotto l'effetto del rumore.
   • Si assume che l'estrattore di caratteristiche $\phi(x)$ possa essere linearizzato localmente tramite uno sviluppo di Taylor del primo ordine: $\phi(x+\epsilon) \approx \phi(x) + J_\phi(x)\epsilon$.
   • Combinando questo con un'Approssimazione Laplaciana (LA) della distribuzione a posteriori dei pesi dell'ultimo strato, la risultante distribuzione dei logit $Z$ è approssimata come una gaussiana multivariata: $Z \sim \mathcal{N}(\mu_z, \Sigma_z)$.
   • La media $\mu_z$ e la covarianza $\Sigma_z$ sono derivate analiticamente utilizzando lo Jacobiano dell'estrattore di caratteristiche e l'inverso dell'Hessiana della funzione di perdita (catturando l'incertezza dei pesi).

2. Ponte Gaussiano–Dirichlet (Ponte Laplaciano):

   • Il classificatore smoothing prevede la classe con la probabilità più alta dopo aver applicato la Softmax ai logit rumorosi: $p = \text{softmax}(Z)$.
   • Campionare direttamente dalla distribuzione di $\text{softmax}(Z)$ è difficile. LBS utilizza il Ponte Laplaciano (LB) per mappare la distribuzione gaussiana dei logit su una distribuzione Dirichlet sul simplettico delle probabilità: $p \sim \text{Dir}(\alpha)$.
   • I parametri Dirichlet $\alpha$ sono calcolati in forma chiusa utilizzando i parametri gaussiani ($\mu_z, \Sigma_z$) tramite una mappatura con pseudo-inverso.

3. Certificazione efficiente:

   • Campionamento: Invece di eseguire la rete neurale migliaia di volte, LBS estrae $N$ campioni direttamente dalla distribuzione Dirichlet a bassa dimensionalità (dimensione $K$, dove $K$ è il numero di classi).
   • Delimitazione: Stima il limite inferiore della probabilità della classe principale ($p_A$) utilizzando un quantile Beta unilaterale (intervallo di Clopper-Pearson) sui campioni Dirichlet.
   • Calcolo del raggio: Questo limite inferiore viene inserito nella formula standard del raggio RS: $R = \sigma \Phi^{-1}(p_A)$.

Garanzia teorica:
Il documento fornisce un'analisi teorica (Teorema 4.2) che mostra come la divergenza Kullback-Leibler (KL) tra la vera distribuzione smoothing e il surrogato Dirichlet scala linearmente con la norma della covarianza dei logit ($\|\Sigma_z\|_F$). Ciò garantisce che l'approssimazione sia accurata quando la distribuzione a posteriori è concentrata o la mappa softmax è localmente piatta—condizioni tipiche nella certificazione della robustezza.

3. Contributi Chiave

1. Riformulazione analitica: Introduzione dell'LBS, che sostituisce il campionamento MC nello spazio di input ad alta dimensionalità con un efficiente campionamento Dirichlet a bassa dimensionalità tramite un ponte Gaussiano–Dirichlet.
2. Fondamento teorico: Derivazione di una mappatura in forma chiusa dalle statistiche gaussiane dei logit linearizzati ai parametri Dirichlet, stabilendo la validità della distribuzione surrogata e delimitando l'errore di approssimazione.
3. Capacità post-hoc: Dimostrazione che l'LBS ottiene una robustezza certificata forte senza richiedere addestramento con aumento del rumore, permettendo di certificare modelli standard addestrati su dati puliti.
4. Dispiegamento su dispositivi edge: Validazione del metodo su hardware con risorse limitate, dimostrando la sua fattibilità per applicazioni di AI edge nel mondo reale.

4. Risultati Sperimentali

Gli autori hanno valutato l'LBS su CIFAR-10 e ImageNet utilizzando varie architetture (ResNet, ViT, DenseNet, EfficientNet) e lo hanno confrontato con varianti RS dello stato dell'arte.

• Accuratezza certificata: LBS ottiene una robustezza certificata più forte rispetto al RS standard e ad altri metodi di accelerazione (ad esempio, ISS, ADRE, Betting CS) su molteplici raggi $\ell_2$. In modo notevole, mantiene un'alta accuratezza anche senza addestramento con aumento del rumore, dove altri metodi spesso falliscono o richiedono riaddestramento.
• Efficienza computazionale:
  • Lato server: LBS riduce il tempo di certificazione di quasi un ordine di grandezza (ad esempio, ~0,7s contro ~9,8s per campione su CIFAR-10).
  • Dispositivi edge: L'accelerazione è drammatica su hardware vincolato.
    • NVIDIA Jetson Orin Nano: Fino a 33× di accelerazione.
    • Raspberry Pi 4: Fino a 494× di accelerazione (riducendo il tempo di certificazione da ~690s a ~1,4s per SqueezeNet).
• Generalizzazione: Il metodo è stato testato anche su modelli di minaccia $\ell_1$ e $\ell_\infty$, mostrando prestazioni coerenti e stabilità su diverse norme e architetture di modelli.

5. Significato

Questo lavoro rappresenta un significativo passo avanti nella robustezza certificata, risolvendo il compromesso "efficienza vs. accuratezza" che ha afflitto il Randomized Smoothing.

• Dispiegamento pratico: Riducendo il carico computazionale da $O(n \cdot C_f)$ (dove $n$ è il numero di campioni e $C_f$ è il costo del passaggio in avanti) a $O(K + N)$, l'LBS rende le garanzie di robustezza formale fattibili per applicazioni in tempo reale e su dispositivo (ad esempio, veicoli autonomi, robotica, dispositivi medici) dove i metodi precedenti erano troppo lenti.
• Fattibilità post-hoc: Disaccoppiando la certificazione dall'addestramento con aumento del rumore, l'LBS ripristina la natura "post-hoc" del RS, permettendo alle organizzazioni di certificare modelli esistenti e pronti per la produzione senza il costo e la penalità di accuratezza del riaddestramento.
• Scalabilità: L'approccio analitico elimina la necessità di un massiccio parallelismo, rendendo la robustezza certificata accessibile su computer monoscheda a basso consumo energetico.