Improving Adversarial Robustness via Activation Amplification and Attenuation

Technische Samenvatting: Verbeteren van Adversariële Robuustheid via Activatie-amplificatie en -attenuatie

Probleemstelling
Diepe neurale netwerken (DNN's) zijn kwetsbaar voor adversariële voorbeelden—inputs met nauwelijks waarneembare perturbaties die ontworpen zijn om de voorspellingen van het model te misleiden. Deze kwetsbaarheid wordt vaak toegeschreven aan de aanwezigheid van "niet-robuuste kenmerken" binnen de interne representaties van het netwerk. Hoewel eerdere verdedigingsstrategieën hebben geprobeerd dit te mitigeren via pruning, masking of feature-recalibratie, kampen deze benaderingen vaak met trade-offs. Sommige methoden verwijderen niet-robuuste kenmerken volledig, wat potentieel nuttige informatie kan doen verliezen, terwijl andere complexe plug-in modules introduceren met aanzienlijke parameter-overhead en verminderde interpreteerbaarheid. Bov�elijk zijn bestaande activatieschaaltechnieken die ontworpen zijn voor Out-of-Distribution (OOD) detectie vaak afhankelijk van niet-differentieerbare operaties (bijv. top-k selectie) of exponentiële formuleringen die gradiëntverzadiging kunnen veroorzaken, waardoor ze ongeschikt zijn voor end-to-end adversariële training.

Methodologie: Activatie-amplificatie en -attenuatie (A3)
De auteurs stellen A3 voor, een lichtgewicht plug-in module die de adversariële robuustheid verbetert door middel van een gecontroleerd herschalingsmechanisme. A3 wordt geïntegreerd in het backbone-netwerk (bijv. na specifieke ResNet-blokken) en opereert op intermediaire activaties ($z$).

1. Leerbare Maskering en Schaling:
   In plaats van harde pruning berekent A3 een kanaalsgewijze binaire maskering ($m$) met behulp van een leerbare projectie en een Gumbel-Softmax trick om differentieerbaarheid te garanderen. Deze maskering identificeert kanalen op basis van de distributie van de oorspronkelijke activatiemagnitudes.
   De module berekent twee statistieken uit de activaties: de totale magnitude ($s_1$) en de magnitude van de gemaskeerde subset ($s_2$). Met behulp hiervan afleidt het twee schalingsfactoren ($f_m$ en $f_{1m}$) via een logaritmische formulering:
   $$f_m = \frac{\ln(1 + s_2)}{\ln(1 + s_1)}, \quad f_{1m} = 1 - f_m$$
   Deze logaritmische benadering is gekozen boven exponentiële formuleringen om stabiele gradiënten te waarborgen en numerieke instabiliteit tijdens adversariële training te voorkomen.

2. Dubbele Modi (Amplificatie en Attenuatie):
   A3 gebruikt dezelfde leerbare parameters om twee verschillende outputs te produceren door het teken van de schalingsoperatie om te keren:

   • Attenuatie ($z_{att}$): $z \cdot [1 - \text{Scale}(z, m)]$. Deze modus onderdrukt de invloed van niet-robuuste kenmerken.
   • Amplificatie ($z_{amp}$): $z \cdot [1 + \text{Scale}(z, m)]$. Deze modus vergroot de activatiepatronen, wat effectief dient als een "negatieve referentie".

3. Nieuwe Doelfuncties:
   Het trainingsproces maakt gebruik van beide modi om nieuwe loss-functies te definiëren:

   • Cross-Entropy Ranking Loss ($L_{rank}$): Een hinge loss die afdwingt dat de geattenueerde activaties een lagere cross-entropy loss opleveren dan de geamplificeerde activaties. Dit creëert een competitief optimalisatieproces waarbij het model leert de voorspellingen in amplificatiemodus te verslechteren en de voorspellingen in attenuatiemodus te verbeteren.
   • Contrastive Logit Loss ($L_{cl}$): Een triplet-stijl loss die de afstand tussen schone en adversariële logits in de attenuatiemodus minimaliseert en de afstand tussen geattenueerde en geamplificeerde logits maximaliseert.

De uiteindelijke doelstelling combineert de standaard adversariële trainingsloss (bijv. AT, TRADES, MART) met deze voorgestelde componenten. Tijdens de inferentie wordt alleen de geattenueerde modus ($z_{att}$) gebruikt.

Belangrijkste Bijdragen

• A3 Module: Een lichtgewicht plug-in die de robuustheid verbetert met minimale computationele en geheugenoverhead, vertrouwend op een eenvoudig schalingsmechanisme in plaats van extra netwerkcapaciteit.
• Dubbel Modus-mechanisme: Een nieuwe aanpak die signalen tegelijkertijd leert te versterken en te verzwakken met dezelfde parameters. De paper demonstreert dat het leren om de voorspellingen in de amplificatiemodus te verslechteren, tegelijkertijd de robuustheid in de attenuatiemodus verbetert.
• Differentieerbare Schaling: De vervanging van niet-differentieerbare top-k operaties (gebruikelijk in OOD-detectie) door een leerbaar, differentieerbaar masker en logaritmische schaling om gradiënt-obfuscatie te voorkomen en stabiliteit te garanderen.
• Nieuwe Loss-functies: De introductie van contrastieve en ranking losses die geamplificeerde activaties als negatieve referenties gebruiken om het robuustheidsleerproces te sturen.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op CIFAR-10, CIFAR-100 en Tiny ImageNet met ResNet-18 en WideResNet-34-10 backbones, geïntegreerd met AT, TRADES en MART trainingsstrategieën.

• Prestaties: A3 presteerde consequent beter dan bestaande plug-in defensies (bijv. CAS, CIFS, FSR, FPCM, EMFF) over diverse typen aanvallen (FGSM, PGD-20/100, C&W, AutoAttack). Bijvoorbeeld, op ResNet-18 met AT op CIFAR-10, behaalde A3 een verbetering van 4,99% in ensemble-nauwkeurigheid ten opzichte van de vanilla backbone.
• Efficiëntie: A3 introduceert verwaarloosbare overhead. Vergeleken met de baseline voegt het slechts ~0,27M parameters en ~0,0021G FLOPs toe voor ResNet-18, aanzienlijk minder dan andere masking-gebaseerde methoden zoals FTA2C.
• Ablatie-studies:
  • Modus-analyse: De attenuatie-modus presteert significant beter dan de amplificatie-modus en harde onderdrukkingstrategieën, wat bevestigt dat selectieve attenuatie superieur is aan het volledig weggooien van features.
  • Loss-componenten: Zowel de ranking loss als de contrastieve loss zijn essentieel; het verwijderen ervan of het vervangen van de hinge-formulering door standaard cross-entropy leidt tot prestatievermindering.
  • Schalingsformulering: De voorgestelde logaritmische schalingsfactoren ($f_m$) presteerden beter dan lineaire, kwadratische en exponentiële alternatieven.
  • Distributieverschuiving: Analyse van activatiedistributies laat zien dat A3 een duidelijke scheiding induceert tussen schone en adversariële voorbeelden in de attenuatie-modus, terwijl de amplificatie-modus de distributies doet overlappen, wat de rol van amplificatie als negatieve referentie valideert.

Betekenis
De paper beweert dat A3 een veelbelovende richting biedt voor het bouwen van robuuste en interpreteerbare modellen door zich te richten op feature-gebaseerde defensie met weinig trainbare parameters. Door aan te tonen dat het leren om de voorspellingen in de ene modus te verslechteren de robuustheid in een andere modus verbetert, daagt dit werk de opvatting uit dat defensies uitsluitend moeten focussen op onderdrukking. De methode bereikt een state-of-the-art robuustheid onder plug-in modules terwijl de hoge schone nauwkeurigheid behouden blijft en er een verwaarloosbare computationele kosten worden geïntroduceerd, wat het een praktische en efficiënte oplossing maakt om DNN's te beveiligen tegen adversariële aanvallen.