Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape

Résumé Technique : La robustesse de la classification et la robustesse de l'explication sont-elles réellement fortement corrélées ?

Énoncé du problème
Dans le déploiement de systèmes d'apprentissage automatique fiables pour des domaines à enjeux élevés (par exemple, le diagnostic médical, les véhicules autonomes), il est crucial que les modèles maintiennent à la fois des prédictions précises sous des attaques adverses (robustesse de la classification) et des raisonnements cohérents et interprétables (robustesse de l'explication). Un paradigme prédominant dans le domaine postule une forte corrélation positive entre ces deux propriétés : l'amélioration de la robustesse de la classification améliore intrinsèquement la robustesse de l'explication. Cet article remet en question ce paradigme, en étudiant si les mécanismes qui aplatissent le paysage de perte d'entrée pour améliorer la robustesse de la classification s'appliquent également à la robustesse de l'explication. Plus précisément, les auteurs se demandent si un paysage de perte d'entrée plus plat par rapport à la perte d'explication est une condition nécessaire pour des explications robustes, et si les deux formes de robustesse sont intrinsèquement liées.

Méthodologie
Les auteurs emploient un cadre systématique combinant l'analyse du paysage de perte, l'évaluation basée sur le partitionnement (clustering) et un nouvel algorithme d'entraînement pour découpler les deux dimensions de robustesse.

1. Analyse du paysage de perte : L'étude visualise le paysage de perte d'entrée par rapport à la perte d'explication ($L_e$) en ajoutant du bruit aléatoire aux images victimes et en mesurant le changement de perte. Cela est contrasté avec l'observation bien établie qu'un paysage plus plat dans la perte de classification ($L_{sc}$) est corrélé à une plus grande robustesse de la classification.
2. Échantillonnage par partitionnement pour l'évaluation : Pour évaluer efficacement la robustesse de l'explication sans l'infaisabilité computationnelle d'un appariement de paires d'échantillons quadratique, les auteurs proposent une méthode d'échantillonnage basée sur le partitionnement. Les images sont regroupées (par exemple, via K-means sur les caractéristiques de ResNet18) pour garantir la cohérence sémantique. Des ensembles d'évaluation sont construits à partir de paires intra-clusters et inter-clusters pour mesurer la « perte d'attaque » nécessaire pour manipuler une explication d'une image victime vers une image cible.
3. Cadre TRADES : Les auteurs utilisent le cadre TRADES pour générer des modèles présentant différents niveaux de robustesse de classification (contrôlés par le paramètre $\alpha$) afin d'observer comment les changements de robustesse de la classification affectent la robustesse de l'explication et le paysage de perte associé.
4. SEP (Separate Explanation Robustness via PGD) : Pour tester explicitement la relation, les auteurs proposent une nouvelle méthode d'entraînement, SEP. Cette méthode introduit un terme de régularisation ($L_{SEP} = \|I(x + \zeta) - I(x)\|^2$) à la fonction de perte d'entraînement, où $\zeta$ est un bruit aléatoire et $I$ est la méthode d'explication.
   • SEPpos ($\lambda > 0$) : Guide le paysage de perte pour qu'il devienne plus plat par rapport à la perte d'explication.
   • SEPneg ($\lambda < 0$) : Guide le paysage de perte pour qu'il devienne plus abrupt (sharper).
     Cela permet aux auteurs de manipuler l'aplatissement du paysage de perte de l'explication indépendamment de la robustesse de la classification.

Principaux résultats et conclusions
Les expériences, menées sur plusieurs jeux de données (MNIST, FMNIST, CIFAR-10, CIFAR-100, TinyImageNet) et architectures (ConvNet, ResNet18, Wide ResNet, MobileNetV2), produisent les résultats suivants :

• Découplage de la robustesse : Les modèles entraînés avec SEPpos et SEPneg présentent une robustesse de classification similaire (mesurée par la précision adversaire, $Acc_{adv}$) mais des robustesses d'explication significativement différentes (mesurées par la perte finale d'attaque d'explication, $L_{end}^e$). Plus précisément, SEPneg (paysage plus abrupt) atteint une plus grande robustesse d'explication, tandis que SEPpos (paysage plus plat) atteint une plus faible robustesse d'explication.
• Contradiction avec la robustesse de la classification : Contrairement au comportement de la robustesse de la classification, où un paysage de perte plus plat indique une meilleure robustesse, les auteurs constatent que l'aplatissement du paysage de perte d'entrée pour la perte d'explication diminue en réalité la robustesse de l'explication.
• Mécanisme de la robustesse de l'explication : L'analyse suggère que la robustesse de l'explication est pilotée non pas par un paysage de perte plat, mais par une perte initiale élevée ($L_{start}^e$) au début d'une attaque. Les modèles ayant des distances initiales plus grandes entre l'explication victime et l'explication cible sont plus difficiles à attaquer, indépendamment de l'aplatissement du paysage.
• Généralisation : Ces conclusions se vérifient à travers différentes méthodes d'explication (Gradient, Guided Backpropagation, DeepLift, Integrated Gradients) et différents protocoles d'entraînement adversarial (Madry AT, TRADES).

Principales contributions

1. Évaluation efficace : Introduction d'une méthode d'échantillonnage basée sur le partitionnement pour évaluer l'explication de la robustesse de manière efficace et complète.
2. Contradiction empirique : Démonstration que l'augmentation de la robustesse de l'explication n'aplatit pas le paysage de perte d'entrée par rapport à la perte d'explication, contredisant le comportement observé pour la robustesse de la classification.
3. Nouvelle méthode d'entraînement (SEP) : Développement d'un algorithme d'entraînement qui contrôle explicitement l'aplatissement du paysage de perte de l'explication, prouvant que la robustesse de l'explication peut être manipulée indépendamment de la robustesse de la classification.
4. Aperçu théorique : Preuve que les mécanismes régissant la robustesse de la classification et la robustesse de l'explication sont fondamentalement différents, remettant en question l'hypothèse de leur corrélation inhérente.

Signification
L'article conclut que la robustesse de la classification et la robustesse de l'explication ne sont pas fortement corrélées. Cette conclusion a des implications significatives pour la sécurité et la fiabilité des systèmes d'IA. Elle suggère que se reposer sur les techniques de robustesse de la classification (comme l'entraînement adversarial) pour garantir des explications dignes de confiance est insuffisant. Les auteurs soutiennent plutôt la nécessité de considérer et d'optimiser séparément la robustesse de l'explication, particulièrement dans les applications critiques où la précision prédictive et l'interprétabilité sont toutes deux requises sous des conditions adverses. Ce travail ouvre de nouvelles voies pour comprendre la relation entre les paysages de perte et la perte d'explication, dépassant l'hypothèse qu'une seule métrique de robustesse ou stratégie d'entraînement peut garantir les deux.