Laplace-Bridged Randomized Smoothing for Fast Certified Robustness

1. Probleemstelling

Het artikel adresseert twee kritieke knelpunten die de praktische implementatie van Randomized Smoothing (RS) belemmeren, een toonaangevende methode voor het bieden van formele $\ell_2$-robustheidsgaranties voor diepe neurale netwerken:

1. Afhankelijkheid van Noise-Augmented Training: Hoewel RS theoretisch model-agnostisch is, vereist het behalen van niet-triviale gecertificeerde robustheid in de praktijk doorgaans dat de basisclassificator wordt getraind met noise-augmentatie. Dit verhoogt de trainingskosten, degradeert vaak de schone nauwkeurigheid en ondermijnt de waarde van RS als een "post-hoc" verdediging (d.w.z. het certificeren van kant-en-klare modellen zonder hertraining).
2. Rekenkundige Inefficiëntie: Standaard RS vertrouwt op Monte Carlo (MC) sampling in de hoogdimensionale invoerruimte. Om statistisch geldige certificaten te verkrijgen, zijn tienduizenden ruisige forward passes per invoer vereist. Dit maakt certificering onbetaalbaar duur voor grote datasets en onmogelijk om te implementeren op middelen-beperkte randapparaten (zoals Raspberry Pi, Jetson Nano) waar geheugen en rekenkracht beperkt zijn.

2. Methodologie: Laplace-Bridged Smoothing (LBS)

De auteurs stellen Laplace-Bridged Smoothing (LBS) voor, een analytische herformulering van RS die de stochastische schatting verschuift van de hoogdimensionale invoerruimte naar een laagdimensionale waarschijnlijkheidsruimte.

Kernmechanisme:

1. Lokale Linearisatie & Gaussische Benadering:

   • In plaats van invoer $x + \epsilon$ te sample, analyseert LBS de verdeling van de logits ($z$) van het model onder ruis.
   • Het gaat ervan uit dat de feature extractor $\phi(x)$ lokaal kan worden gelineariseerd via een Taylor-expansie van de eerste orde: $\phi(x+\epsilon) \approx \phi(x) + J_\phi(x)\epsilon$.
   • Door dit te combineren met een Laplace-benadering (LA) van de posterior-verdeling van de gewichten van de laatste laag, wordt de resulterende logit-verdeling $Z$ benaderd als een multivariate Gaussische verdeling: $Z \sim \mathcal{N}(\mu_z, \Sigma_z)$.
   • Het gemiddelde $\mu_z$ en de covariantie $\Sigma_z$ worden analytisch afgeleid met behulp van de Jacobiaan van de feature extractor en de inverse Hessian van de verliesfunctie (die de onzekerheid van de gewichten vastlegt).

2. Gaussisch–Dirichlet-brug (Laplace Bridge):

   • De gesmoothde classifier voorspelt de klasse met de hoogste waarschijnlijkheid na het toepassen van Softmax op de ruisige logits: $p = \text{softmax}(Z)$.
   • Direct samplen uit de verdeling van $\text{softmax}(Z)$ is moeilijk. LBS maakt gebruik van de Laplace-brug (LB) om de Gaussische logit-verdeling af te beelden op een Dirichlet-verdeling op het waarschijnlijkheidssimplex: $p \sim \text{Dir}(\alpha)$.
   • De Dirichlet-parameters $\alpha$ worden in gesloten vorm berekend met behulp van de Gaussische parameters ($\mu_z, \Sigma_z$) via een pseudo-inverse afbeelding.

3. Efficiënte Certificering:

   • Sampling: In plaats van het neurale netwerk duizenden keren te draaien, trekt LBS $N$ samples direct uit de laagdimensionale Dirichlet-verdeling (dimensie $K$, waarbij $K$ het aantal klassen is).
   • Boven- en Ondergrenzen: Het schat de ondergrens van de waarschijnlijkheid van de top-klasse ($p_A$) met behulp van een eenzijdig Beta-kwantiel (Clopper-Pearson-interval) op de Dirichlet-samples.
   • Radiusberekening: Deze ondergrens wordt ingevoerd in de standaard RS-radiusformule: $R = \sigma \Phi^{-1}(p_A)$.

Theoretische Garantie:
Het artikel biedt een theoretische analyse (Stelling 4.2) die aantoont dat de Kullback-Leibler (KL)-divergentie tussen de ware gesmoothde verdeling en de Dirichlet-surrogaat lineair schaalt met de logit-covariantie-norm ($\|\Sigma_z\|_F$). Dit zorgt ervoor dat de benadering nauwkeurig is wanneer de posterior geconcentreerd is of de softmax-afbeelding lokaal vlak is – omstandigheden die typerend zijn voor robuuste certificering.

3. Belangrijkste Bijdragen

1. Analytische Herformulering: Introductie van LBS, dat hoogdimensionale MC-sampling in de invoerruimte vervangt door efficiënte laagdimensionale Dirichlet-sampling via een Gaussisch–Dirichlet-brug.
2. Theoretische Fundering: Afleiding van een gesloten-formule afbeelding van gelineariseerde Gaussische logit-statistieken naar Dirichlet-parameters, waarmee de geldigheid van de surrogaatverdeling wordt vastgesteld en de benaderingsfout wordt begrensd.
3. Post-Hoc Capaciteit: Aangetoond dat LBS sterke gecertificeerde robustheid bereikt zonder noise-augmented training, waardoor het standaardmodellen die op schone data zijn getraind kan certificeren.
4. Implementatie op Randapparatuur: Validering van de methode op middelen-beperkte hardware, waarmee de levensvatbaarheid voor real-world edge AI-toepassingen wordt bewezen.

4. Experimentele Resultaten

De auteurs hebben LBS geëvalueerd op CIFAR-10 en ImageNet met verschillende architecturen (ResNet, ViT, DenseNet, EfficientNet) en het vergeleken met state-of-the-art RS-varianten.

• Gecertificeerde Nauwkeurigheid: LBS bereikt sterkere gecertificeerde robustheid dan standaard RS en andere versnellingsmethoden (zoals ISS, ADRE, Betting CS) over meerdere $\ell_2$-stralen. Opvallend is dat het hoge nauwkeurigheid behoudt, zelfs zonder noise-augmented training, waarbij andere methoden vaak falen of hertraining vereisen.
• Rekenkundige Efficiëntie:
  • Serverzijde: LBS reduceert de certificeringstijd met bijna een orde van grootte (bijv. ~0,7s vs. ~9,8s per sample op CIFAR-10).
  • Randapparaten: De snelheidswinst is dramatisch op beperkte hardware.
    • NVIDIA Jetson Orin Nano: Tot 33× snelheidswinst.
    • Raspberry Pi 4: Tot 494× snelheidswinst (reductie van certificeringstijd van ~690s naar ~1,4s voor SqueezeNet).
• Generalisatie: De methode is ook getest op $\ell_1$- en $\ell_\infty$-bedreigingsmodellen, waarbij consistente prestaties en stabiliteit over verschillende normen en modelarchitecturen werden aangetoond.

5. Betekenis

Dit werk vertegenwoordigt een significante sprong voorwaarts in gecertificeerde robustheid door de "efficiëntie versus nauwkeurigheid"-afweging die Randomized Smoothing heeft geplaagd, op te lossen.

• Praktische Implementatie: Door de rekenkundige last te reduceren van $O(n \cdot C_f)$ (waarbij $n$ het aantal samples is en $C_f$ de kosten van een forward pass) naar $O(K + N)$, maakt LBS formele robustheidsgaranties haalbaar voor real-time, op-apparatuur toepassingen (zoals autonome voertuigen, robotica, medische apparaten) waar eerdere methoden te traag waren.
• Post-Hoc Levensvatbaarheid: Door certificering te ontkoppelen van noise-augmented training, herstelt LBS het "post-hoc" karakter van RS, waardoor organisaties bestaande, productieklaar modellen kunnen certificeren zonder de kosten en nauwkeurigheidsstraf van hertraining.
• Schaalbaarheid: De analytische aanpak elimineert de noodzaak voor massale parallelisatie, waardoor gecertificeerde robustheid toegankelijk wordt op low-power, single-board computers.