Dual Randomized Smoothing: Beyond Global Noise Variance

Deze paper introduceert "Dual Randomized Smoothing", een raamwerk dat de beperking van een vaste globale ruisvariatie doorbreekt door per invoer een geoptimaliseerde variatie te voorspellen, waardoor zowel bij kleine als grote stralen aanzienlijk betere gecertificeerde robuustheid wordt bereikt dan met eerdere methoden.

De kern

Titel: De Slimme Twee-Handen Methode voor Veilige AI

Stel je voor dat je een zeer slimme, maar soms wat nerveuze robot hebt die foto's moet herkennen (bijvoorbeeld: is dit een kat of een hond?). Deze robot is echter heel kwetsbaar. Als iemand een heel klein, bijna onzichtbaar stukje "ruis" of verstoring op de foto plakt, kan de robot in paniek raken en denken dat het een auto is. Dit noemen we een "adversarial attack".

Om deze robot veilig te maken, gebruiken wetenschappers een techniek die Randomized Smoothing (Willekeurige Verruiming) heet.

Het Probleem: De "Eén Maat Past Alles" Dilemma

De huidige manier om deze robot veilig te maken werkt als volgt: je gooit een beetje "nevel" (ruis) over de foto voordat de robot hem bekijkt. Als de robot nog steeds hetzelfde antwoord geeft, ondanks de nevel, dan weten we dat hij veilig is.

Maar hier zit een groot probleem, zoals beschreven in dit paper:

• Voor kleine verstoringen (een heel klein stukje nevel) wil je weinig nevel toevoegen. Als je te veel nevel toevoegt, wordt de foto wazig en kan de robot de details niet meer zien (hij wordt onnauwkeurig).
• Voor grote verstoringen (een flinke wolk nevel) moet je veel nevel toevoegen om de robot te beschermen. Als je te weinig nevel toevoegt, kan de verstoring de robot nog steeds gek maken.

De oude methode gebruikte één vaste hoeveelheid nevel voor alle foto's. Dat is als proberen met één schoenmaat iedereen tevreden te stellen: voor kleine voeten is hij te groot, voor grote voeten te klein. Je kunt niet tegelijkertijd perfect zijn voor kleine én grote verstoringen.

De Oplossing: Dual Randomized Smoothing (De Twee-Handen Methode)

De auteurs van dit paper (Sun, Mao en Vechev) hebben een slimme oplossing bedacht: Dual Randomized Smoothing. In plaats van één vaste hoeveelheid nevel, laten ze de hoeveelheid nevel afhankelijk zijn van de foto zelf.

Ze gebruiken een twee-staps proces, alsof je een team van twee experts hebt:

1. De Schattingsspecialist (De Variance Estimator):
   Deze robot kijkt eerst naar de foto en zegt: "Hé, deze foto ziet eruit als een kat. Voor katten werken we het beste met een beetje nevel (kleine variatie). Maar die andere foto is een hond, die heeft juist veel nevel nodig om veilig te zijn."
   Deze specialist voorspelt dus voor elke foto de perfecte hoeveelheid nevel.

2. De Beslissingsrobot (De Classifier):
   Deze robot krijgt nu de foto, maar met precies de hoeveelheid nevel die de specialist heeft aangeraden. Hij maakt de definitieve keuze: "Dit is een kat!"

De Magische Regel:
Om te bewijzen dat dit veilig is, hebben de auteurs een wiskundig bewijs gevonden. Ze zeggen: "Het maakt niet uit als de hoeveelheid nevel per foto verschilt, zolang die hoeveelheid maar lokaal constant blijft."
Met andere woorden: Als je de foto een heel klein beetje verschuift, moet de specialist nog steeds zeggen: "Oh, dit is nog steeds een kat-achtige foto, dus we houden dezelfde hoeveelheid nevel vast." Zolang dat waar is, is het systeem veilig.

Waarom is dit zo geweldig?

• De "Router": Je kunt je dit voorstellen als een slimme portier in een club. De portier (de specialist) kijkt naar de gast (de foto) en beslist of de gast naar de "stille kamer" (weinig nevel) of de "drukte kamer" (veel nevel) moet. Zo krijgt elke gast precies de behandeling die hij nodig heeft.
• Resultaat: Het systeem werkt nu uitstekend voor zowel kleine als grote verstoringen. Het is alsof je nu schoenen hebt die zich aanpassen aan de voet van elke persoon.
• Snelheid: Het kost slechts een beetje extra tijd (ongeveer 60% meer dan de oude methode), maar de winst in veiligheid en nauwkeurigheid is enorm.

De Vergelijking met Eerdere Methodes

Vroeger probeerden andere methodes dit ook, maar ze hadden grote nadelen:

• Sommige methodes moesten alle foto's uit het verleden onthouden (te traag).
• Andere methodes waren te star en konden niet echt aanpassen.
• Soms gaven ze te veel nevel, wat de robot onnodig dom maakte.

Deze nieuwe methode ("Dual RS") is de eerste die snel, flexibel en wiskundig veilig is. Ze hebben het getest op bekende datasets (zoals CIFAR-10 en ImageNet) en het werkt veel beter dan alles wat er voorheen was, vooral bij de moeilijke, grote verstoringen.

Conclusie

Kort samengevat: De auteurs hebben een manier bedacht om AI-robots veiliger te maken door de "beschermingslaag" (de nevel) slim en dynamisch aan te passen aan elke afbeelding, in plaats van één vaste maat te gebruiken. Ze hebben bewezen dat dit veilig is, en het werkt in de praktijk fantastisch. Het is alsof je van een "gietijzeren" schild bent gegaan naar een "slim, adaptief" schild dat zich aanpast aan elke aanval.

Technische samenvatting

Probleemstelling

Randomized Smoothing (RS) is een toonaangevende techniek voor het certificeren van de robuustheid van neurale netwerken tegen adversariale aanvallen (met name $\ell_2$-norm verstoringen). De methode werkt door Gaussisch ruis toe te voegen aan de invoer en de meerderheidsstemming van de voorspellingen te nemen.

Een fundamentele beperking van de bestaande RS-methode is het gebruik van een globale ruisvariatie ($\sigma$) die voor alle invoerdata gelijk is. Dit leidt tot een onvermijdelijke afweging tussen nauwkeurigheid en robuustheid:

• Een kleine $\sigma$ is nodig voor hoge nauwkeurigheid bij kleine stralen (kleine verstoringen), maar resulteert in een lage gecertificeerde straal.
• Een grote $\sigma$ is nodig voor een grote gecertificeerde straal, maar verlaagt de nauwkeurigheid bij kleine stralen aanzienlijk.

Bestaande pogingen om dit op te lossen door invoer-afhankelijke ruisvariaties te gebruiken, kampen met nadelen zoals testtijd-memorization (het opslaan van resultaten voor specifieke inputs), beperkte adaptiviteit, of systematische overschatting van de optimale variatie. Er bestaat momenteel geen enkele globale variatie die zowel bij kleine als bij grote stralen sterke prestaties levert.

Methodologie: Dual Randomized Smoothing (Dual RS)

De auteurs introduceren een nieuw kader, Dual Randomized Smoothing, dat invoer-afhankelijke ruisvariaties mogelijk maakt zonder de theoretische garanties van RS te verliezen.

1. Theoretische Generalisatie
Het kerninzicht is dat RS-certificatie geldig blijft zolang de ruisvariatie lokaal constant is binnen het gecertificeerde gebied, in plaats van globaal constant over alle inputs.

• Stelling 4.1: Als $\sigma(x)$ constant is binnen een $\ell_2$-bol rondom een input $x_0$, dan blijft de gecertificeerde robuustheid geldig voor alle punten binnen die bol.
• Stelling 4.2 (Probabilistische Garantie): Zelfs als $\sigma(x)$ niet deterministisch constant is, maar met een hoge waarschijnlijkheid ($1-\beta$) lokaal constant is, blijft de classificatie geldig met een aangepaste zekerheidsmarge. Dit elimineert de noodzaak voor testtijd-memorization.

2. Het Dual RS Kader
Het framework bestaat uit twee hoofdcomponenten die samenwerken:

• Variatie-estimator ($g_e$): Een model dat voor elke invoer $x$ de optimale ruisvariatie $\sigma_c(x)$ voorspelt. Om de eis van lokale constantie te garanderen, wordt deze estimator zelf ook getraind en gecertificeerd via Randomized Smoothing (met een globale $\sigma_e$).
• Classificator ($g_c$): Een standaard RS-classificator die de voorspelde variatie $\sigma_c(x)$ gebruikt om de uiteindelijke classificatie en certificatie uit te voeren.

3. Trainingsstrategie

• Dataset Bouw: Er wordt een dataset gegenereerd waarbij voor elke input de optimale $\sigma$ wordt bepaald door de gecertificeerde straal te maximaliseren over een kandidaatset $\Sigma$.
• Soft Labels: In plaats van harde labels, gebruiken de auteurs "soft labels" gebaseerd op de exponentiële verdeling van de gecertificeerde stralen. Dit helpt het model om suboptimale (maar nog steeds robuuste) variaties te accepteren, wat de stabiliteit verbetert.
• Consistentie Regularisatie: Er wordt consistentieregulering toegepast om de robuustheid van de variatie-estimator zelf te vergroten.
• Alternatief Trainingsschema: Het proces omvat het trainen van de estimator en het finetunen van de classificator op de geschatte variaties.
• Routing Perspectief: Het framework kan ook worden opgevat als een router die verschillende vooraf getrainde "expert" RS-modellen selecteert op basis van de invoer, wat de flexibiliteit verder vergroot.

Belangrijkste Bijdragen

1. Theoretische Generalisatie: Het bewijs dat RS geldig blijft bij lokaal constante, invoer-afhankelijke ruisvariaties, waardoor de fundamentele beperking van globale variatie wordt doorbroken.
2. Dual RS Framework: Een nieuw architectonisch kader met een variatie-estimator en een classifier, ondersteund door een iteratief trainingsproces dat beide componenten optimaliseert.
3. Efficiënte Implementatie: De methode introduceert slechts een 60% rekenkundige overhead tijdens inferentie in vergelijking met standaard RS, wat aanzienlijk lager is dan eerdere benaderingen met invoer-afhankelijke ruis.
4. Routing voor Robuustheid: Een nieuw perspectief waarbij de variatie-estimator fungeert als een router voor een pool van expert-modellen, wat de afweging tussen nauwkeurigheid en robuustheid verder verbetert.

Resultaten

Uitgebreide experimenten op CIFAR-10 en IMAGENET tonen aan dat Dual RS de prestaties van eerdere methoden overtreft:

• CIFAR-10:

  • Dual RS levert sterke prestaties op zowel kleine als grote stralen, een prestatie die met globale variatie onmogelijk is.
  • Relatieve verbeteringen ten opzichte van de state-of-the-art (Multiscale) zijn: 15,6% bij straal 0,5, 20,0% bij straal 0,75 en 15,7% bij straal 1,0.
  • De methode behoudt een vaste inferentietijd, in tegenstelling tot methoden die meerdere certificeringsrondes nodig hebben voor kleine stralen.

• IMAGENET:

  • Dual RS blijft effectief over alle stralen.
  • Prestatieverbeteringen van 8,6% (straal 0,5), 17,1% (straal 1,0) en 9,1% (straal 1,5) ten opzichte van Multiscale.

• Efficiëntie:

  • De extra rekentijd is beperkt (ongeveer 22,58 seconden per input vs. 14,07 voor standaard RS op een RTX 4090), wat de methode praktisch toepasbaar maakt.

Betekenis

Deze paper is een doorbraak in het veld van proefbare adversariale robuustheid. Het lost een decennialang bestaand fundamenteel probleem op: de onmogelijkheid om met één globale parameter zowel hoge nauwkeurigheid als grote robuustheidsstralen te bereiken. Door de theoretische basis van Randomized Smoothing uit te breiden naar lokaal constante variaties, biedt Dual RS een schaalbare, efficiënte en superieure oplossing. Het introduceert bovendien een nieuw paradigma voor het combineren van gespecialiseerde modellen (routing) binnen een gecertificeerd kader, wat nieuwe wegen opent voor de ontwikkeling van nog robuustere AI-systemen.