Improving Adversarial Robustness via Activation Amplification and Attenuation

Technische Zusammenfassung: Verbesserung der adversariellen Robustheit durch Aktivierungsverstärkung und -abschwächung

Problemstellung
Tiefe neuronale Netze (DNNs) sind anfällig für adversarielle Beispiele – Eingaben mit imperzeptiblen Störungen, die darauf ausgelegt sind, die Vorhersagen des Modells zu täuschen. Diese Anfälligkeit wird oft auf das Vorhandensein von „nicht-robusten Merkmalen“ innerhalb der internen Repräsentationen des Netzwerks zurückgeführt. Während bisherige Verteidigungsstrategien versucht haben, dies durch Pruning, Maskierung oder Merkmalsrekalibrierung zu mildern, stehen diese Ansätze oft vor Kompromissen. Einige Methoden verwerfen nicht-robuste Merkmale vollständig, was potenziell nützliche Informationen verlieren lässt, während andere komplexe Plug-in-Module mit erheblichem Parameter-Overhead und reduzierter Interpretierbarkeit einführen. Darüber hinaus verlassen sich bestehende Techniken zur Aktivierungsskalierung, die für die Out-of-Distribution (OOD)-Detektion entwickelt wurden, oft auf nicht-differenzierbare Operationen (z. B. Top-k-Selektion) oder exponentielle Formulierungen, die Gradientensättigung verursachen können, was sie für ein End-to-End-Adversarial Training ungeeignet macht.

Methodik: Aktivierungsverstärkung und -abschwächung (A3)
Die Autoren schlagen A3 vor, ein leichtgewichtiges Plug-in-Modul, das die adversarielle Robustheit durch einen kontrollierten Rescaling-Mechanismus verbessert. A3 wird in das Backbone-Netzwerk integriert (z. B. nach spezifischen ResNet-Blöcken) und operiert auf den intermediären Aktivierungen ($z$).

1. Lernbare Maskierung und Skalierung:
   Anstatt hartes Pruning anzuwenden, berechnet A3 eine kanalspezifische binäre Maske ($m$) mittels einer lernbaren Projektion und eines Gumbel-Softmax-Tricks, um Differenzierbarkeit zu gewährleisten. Diese Maske identifiziert Kanäle basierend auf der Verteilung der ursprünglichen Aktivierungsamplituden.
   Das Modul berechnet zwei Statistiken aus den Aktivierungen: die Gesamtamplitude ($s_1$) und die Amplitude der maskierten Teilmenge ($s_2$). Unter Verwendung dieser Werte leitet es zwei Skalierungsfaktoren ($f_m$ und $f_{1m}$) über eine logarithmische Formulierung ab:
   $$f_m = \frac{\ln(1 + s_2)}{\ln(1 + s_1)}, \quad f_{1m} = 1 - f_m$$
   Dieser logarithmische Ansatz wurde gegenüber exponentiellen Formulierungen gewählt, um stabile Gradienten zu gewährleisten und numerische Instabilitäten während des adversariellen Trainings zu verhindern.

2. Dual-Modi (Verstärkung und Abschwächung):
   A3 nutzt dieselben lernbaren Parameter, um zwei unterschiedliche Ausgaben zu erzeugen, indem das Vorzeichen der Skalierungsoperation umgekehrt wird:

   • Abschwächung (Attenuation, $z_{att}$): $z \cdot [1 - \text{Scale}(z, m)]$. Dieser Modus unterdrückt den Einfluss nicht-robuster Merkmale.
   • Verstärkung (Amplification, $z_{amp}$): $z \cdot [1 + \text{Scale}(z, m)]$. Dieser Modus übertreibt die Aktivierungsmuster, was effektiv als „negativer Referenzwert“ dient.

3. Neuartige Zielfunktionen:
   Der Trainingsprozess nutzt beide Modi, um neue Verlustfunktionen zu definieren:

   • Cross-Entropy Ranking Loss ($L_{rank}$): Ein Hinge-Loss, der erzwingt, dass die abgeschwächten Aktivierungen einen geringeren Cross-Entropy-Verlust liefern als die verstärkten Aktivierungen. Dies schafft einen kompetitiven Optimierungsprozess, bei dem das Modell lernt, die Vorhersagen im Verstärkungsmodus zu verschlechtern und im Abschwächungsmodus zu verbessern.
   • Contrastive Logit Loss ($L_{cl}$): Ein Triplet-ähnlicher Loss, der die Distanz zwischen sauberen (clean) und adversariellen Logits im Abschwächungsmodus minimiert und gleichzeitig die Distanz zwischen abgeschwächten und verstärkten Logits maximiert.

Die finale Zielfunktion kombiniert den Standard-Adversarial-Training-Loss (z. B. AT, TRADES, MART) mit diesen vorgeschlagenen Komponenten. Während der Inferenz wird nur der Abschwächungsmodus ($z_{att}$) verwendet.

Wesentliche Beiträge

• A3-Modul: Ein leichtgewichtiges Plug-in, das die Robustheit mit minimalem Rechen- und Speicheraufwand verbessert, indem es auf einen einfachen Skalierungsmechanismus anstelle von zusätzlicher Netzwerkkapazität setzt.
• Dual-Mode-Mechanismus: Ein neuartiger Ansatz, der Signale durch dieselben Parameter sowohl verstärkt als auch abschwächt. Die Arbeit zeigt, dass das Lernen zur Verschlechterung von Vorhersagen im Verstärkungsmodus gleichzeitig die Robustheit im Abschwächungsmodus verbessert.
• Differenzierbare Skalierung: Der Ersatz von nicht-differenzierbaren Top-k-Operationen (üblich in der OOD-Detektion) durch eine lernbare, differenzierbare Maske und logarithmische Skalierung, um Gradientenverschleierung (Gradient Obfuscation) zu vermeiden und Stabilität zu gewährleisten.
• Neue Verlustfunktionen: Die Einführung von Kontrastiv- und Ranking-Losses, die verstärkte Aktivierungen als negative Referenzen nutzen, um den Robustheitslernprozess zu steuern.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden auf CIFAR-10, CIFAR-100 und Tiny ImageNet mit ResNet-18 und WideResNet-34-10 Backbones durchgeführt, integriert mit AT, TRADES und MART Trainingsstrategien.

• Performance: A3 übertraf konsistent bestehende Plug-in-Verteidigungen (z. B. CAS, CIFS, FSR, FPCM, EMFF) über verschiedene Angriffstypen hinweg (FGSM, PGD-20/100, C&W, AutoAttack). Beispielsweise erreichte A3 bei ResNet-18 mit AT auf CIFAR-10 eine Verbesserung der Ensemble-Genauigkeit um 4,99 % gegenüber dem Vanilla-Backbone.
• Effizienz: A3 führt einen vernachlässigbaren Overhead ein. Im Vergleich zum Baseline-Modell fügt es nur ca. 0,27M Parameter und ~0,0021G FLOPs für ResNet-18 hinzu, was signifikant weniger ist als bei anderen Maskierungs-basierten Methoden wie FTA2C.
• Ablationsstudien:
  • Modus-Analyse: Der Abschwächungsmodus schneidet deutlich besser ab als der Verstärkungsmodus und Hard-Suppression-Strategien, was bestätigt, dass selektive Abschwächung einer vollständigen Merkmalsverwerfung überlegen ist.
  • Loss-Komponenten: Sowohl der Ranking- als auch der Contrastive-Loss sind essenziell; das Entfernen dieser oder das Ersetzen der Hinge-Formulierung durch Standard-Cross-Entropy führt zu einer Verschlechterung der Performance.
  • Skalierungsformulierung: Die vorgeschlagenen logarithmischen Skalierungsfaktoren ($f_m$) schnitten besser ab als lineare, quadratische oder exponentielle Alternativen.
  • Verteilungsverschiebung: Die Analyse der Aktivierungsverteilungen zeigt, dass A3 im Abschwächungsmodus eine klare Trennung zwischen sauberen und adversariellen Beispielen induziert, während der Verstärkungsmodus dazu führt, dass sich die Verteilungen überschneiden, was die Rolle der Verstärkung als negative Referenz validiert.

Bedeutung
Das Paper behauptet, dass A3 eine vielversprechende Richtung für den Aufbau robuster und interpretierbarer Modelle bietet, indem es sich auf merkmalsbasierte Verteidigung mit wenigen trainierbaren Parametern konzentriert. Durch die Demonstration, dass das Lernen zur Verschlechterung von Vorhersagen in einem Modus die Robustheit in einem anderen Modus verbessert, stellt die Arbeit die Annahme infrage, dass Verteidigungen ausschließlich auf Unterdrückung fokussiert sein müssen. Die Methode erreicht eine State-of-the-Art-Robustheit unter den Plug-in-Modulen bei gleichzeitig hoher Clean-Accuracy und vernachlässigbaren Rechenkosten, was sie zu einer praktischen und effizienten Lösung für die Absicherung von DNNs gegen adversarielle Angriffe macht.