Improving Adversarial Robustness via Activation Amplification and Attenuation

Résumé Technique : Amélioration de la Robustesse Adversaire par l'Amplification et l'Atténuation des Activations

Énoncé du Problème
Les réseaux de neurones profonds (DNN) sont vulnérables aux exemples adverses — des entrées avec des perturbations imperceptibles conçues pour tromper les prédictions du modèle. Cette vulnérabilité est souvent attribuée à la présence de « caractéristiques non robustes » au sein des représentations internes du réseau. Bien que les stratégies de défense antérieures aient tenté d'atténuer cela via l'élagage (pruning), le masquage ou le recalibrage de caractéristiques, ces approches font souvent face à des compromis. Certaines méthodes rejettent entièrement les caractéristiques non robustes, perdant potentiellement des informations utiles, tandis que d'autres introduisent des modules plug-in complexes avec un surcoût important en paramètres et une interprétabilité réduite. De plus, les techniques de mise à l'échelle d'activation existantes conçues pour la détection de données hors distribution (OOD) reposent souvent sur des opérations non différentiables (par exemple, la sélection top-k) ou des formulations exponentielles qui peuvent provoquer une saturation du gradient, les rendant inappropriées pour un entraînement adversaire de bout en bout.

Méthodologie : Amplification et Atténuation des Activations (A3)
Les auteurs proposent A3, un module plug-in léger conçu pour améliorer la robustesse adversaire grâce à un mécanisme de mise à l'échelle contrôlé. A3 est intégré au réseau de base (par exemple, après des blocs ResNet spécifiques) et opère sur les activations intermédiaires ($z$).

1. Masquage et Mise à l'Échelle Apprenables :
   Au lieu d'un élagage brutal, A3 calcule un masque binaire par canal ($m$) en utilisant une projection apprenable et une astuce Gumbel-Softmax pour assurer la différentiabilité. Ce masque identifie les canaux en fonction de la distribution des magnitudes d'activation originales.
   Le module calcule deux statistiques à partir des activations : la magnitude totale ($s_1$) et la magnitude du sous-ensemble masqué ($s_2$). À l'aide de celles-ci, il dérive deux facteurs de mise à l'échelle ($f_m$ et $f_{1m}$) via une formulation logarithmique :
   $$f_m = \frac{\ln(1 + s_2)}{\ln(1 + s_1)}, \quad f_{1m} = 1 - f_m$$
   Cette approche logarithmique est choisie par rapport aux formulations exponentielles pour garantir des gradients stables et éviter l'instabilité numérique lors de l'entraînement adversaire.

2. Modes Duaux (Amplification et Atténuation) :
   A3 utilise les mêmes paramètres apprenables pour produire deux sorties distinctes en inversant le signe de l'opération de mise à l'échelle :

   • Atténuation ($z_{att}$) : $z \cdot [1 - \text{Scale}(z, m)]$. Ce mode supprime l'influence des caractéristiques non robustes.
   • Amplification ($z_{amp}$) : $z \cdot [1 + \text{Scale}(z, m)]$. Ce mode exagère les motifs d'activation, servant efficacement de « référence négative ».

3. Fonctions d'Objectif Nouvelles :
   Le processus d'entraînement exploite les deux modes pour définir de nouvelles fonctions de perte :

   • Perte de Classement de l'Entropie Croisée ($L_{rank}$) : Une perte de type hinge qui impose aux activations atténuées de produire une perte d'entropie croisée plus faible que les activations amplifiées. Cela crée un processus d'optimisation compétitif où le modèle apprend à dégrader les prédictions en mode amplification tout en améliorant les prédictions en mode atténuation.
   • Perte de Logit Contrastive ($L_{cl}$) : Une perte de type triplet qui minimise la distance entre les logits propres et adverses en mode atténuation tout en maximisant la distance entre les logits atténués et amplifiés.

L'objectif final combine la perte d'entraînement adversaire standard (ex: AT, TRADES, MART) avec ces composantes proposées. Lors de l'inférence, seul le mode atténué ($z_{att}$) est utilisé.

Contributions Clés

• Module A3 : Un module plug-in léger qui améliore la robustesse avec un surcoût de calcul et de mémoire minimal, reposant sur un simple mécanisme de mise à l'échelle plutôt que sur une capacité de réseau supplémentaire.
• Mécanisme à Double Mode : Une approche novatrice qui apprend conjointement à amplifier et à atténuer les signaux en utilisant les mêmes paramètres. L'article démontre que l'apprentissage de la dégradation des prédictions en mode amplification améliore simultanément la robustesse en mode atténuation.
• Mise à l'Échelle Différentiable : Le remplacement des opérations top-k non différentiables (courantes dans la détection OOD) par un masque apprenable et une mise à l'échelle logarithmique pour éviter l'obscurcissement du gradient et assurer la stabilité.
• Nouvelles Fonctions de Perte : L'introduction de pertes de contraste et de classement qui utilisent les activations amplifiées comme références négatives pour guider l'apprentissage de la robustesse.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur CIFAR-10, CIFAR-100 et Tiny ImageNet en utilisant des backbones ResNet-18 et WideResNet-34-10, intégrés avec des stratégies d'entraînement AT, TRADES et MART.

• Performance : A3 a systématiquement surpassé les défenses plug-in existantes (ex: CAS, CIFS, FSR, FPCM, EMFF) à travers divers types d'attaques (FGSM, PGD-20/100, C&W, AutoAttack). Par exemple, sur ResNet-18 avec AT sur CIFAR-10, A3 a obtenu une amélioration de 4,99 % de l'exactitude d'ensemble par rapport au backbone vanilla.
• Efficacité : A3 introduit un surcoût négligeable. Comparé au baseline, il n'ajoute que ~0,27M de paramètres et ~0,0021G FLOPs pour ResNet-18, ce qui est nettement inférieur aux autres méthodes basées sur le masquage comme FTA2C.
• Études d'Ablation :
  • Analyse des Modes : Le mode atténuation surpasse significativement le mode amplification et les stratégies de suppression dure, confirmant qu'une atténuation sélective est supérieure à l'élimination complète des caractéristiques.
  • Composantes de la Perte : La perte de classement et la perte contrastive sont toutes deux essentielles ; les supprimer ou remplacer la formulation hinge par une entropie croisée standard entraîne une dégradation des performances.
  • Formulation de Mise à l'Échelle : Les facteurs de mise à l'échelle logarithmiques proposés ($f_m$) ont surpassé les alternatives linéaires, quadratiques et exponentielles.
  • Décalage de Distribution : L'analyse des distributions d'activation montre que A3 induit une séparation claire entre les exemples propres et adverses en mode atténuation, tandis que le mode amplification fait chevaucher les distributions, validant le rôle de l'amplification comme référence négative.

Signification
L'article affirme que A3 offre une direction prometteuse pour la construction de modèles robustes et interprétables en se concentrant sur une défense basée sur les caractéristiques avec peu de paramètres entraînables. En démontrant que l'apprentissage de la dégradation des prédictions dans un mode améliore la robustesse dans un autre, ce travail remet en question l'idée que les défenses doivent uniquement se concentrer sur la suppression. La méthode atteint une robustesse de pointe parmi les modules plug-in tout en maintenant une exactitude propre élevée et en introduisant un coût computationnel négligeable, ce qui en fait une solution pratique et efficace pour sécuriser les DNN contre les attaques adverses.