Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape

Technische Samenvatting: Zijn Classificatie-robuustheid en Verklaring-robuustheid Echt Sterk Gecorreleerd?

Probleemstelling
Bij de inzet van betrouwbare machine learning-systemen in kritieke domeinen (bijv. medische diagnostiek, autonome voertuigen) is het cruciaal dat modellen zowel nauwkeurige voorspellingen behouden onder adversariële aanvallen (classificatie-robuustheid) als consistente, interpreteerbare rationale (verklaring-robuustheid). Een heersende aanname in het vakgebied stelt dat er een sterke positieve correlatie bestaat tussen deze twee eigenschappen: dat het verbeteren van classificatie-robuustheid inherent de verklaring-robuustheid verbetert. Dit artikel daagt dat paradigma uit door te onderzoeken of de mechanismen die het input-verlieslandschap afvlakken om classificatie-robuustheid te verbeteren, ook van toepassing zijn op verklaring-robuustheid. In het bijzonder vragen de auteurs zich af of een platter input-verlieslandschap met betrekking tot de verklaring-verliesfunctie een noodzakelijke voorwaarde is voor robuuste verklaringen, en of de twee vormen van robuustheid inherent aan elkaar verbonden zijn.

Methodologie
De auteurs hanteren een systematisch kader dat landschap-analyse, clustering-gebaseerde evaluatie en een nieuw trainingsalgoritme combineert om de twee dimensies van robuustheid te ontkoppelen.

1. Verlieslandschap-analyse: De studie visualiseert het input-verlieslandschap met betrekking tot de verklaring-verliesfunctie ($L_e$) door willekeurige ruis toe te voegen aan slachtofferbeelden en de verandering in verlies te meten. Dit wordt gecontrasteerd met de goed gevestigde observatie dat vlakkere landschappen in de classificatie-verliesfunctie ($L_{sc}$) correleren met hogere classificatie-robuustheid.
2. Cluster-gebaseerde bemonstering voor evaluatie: Om de computationele onhaalbaarheid van kwadratische steekproefparing te vermijden, stellen de auteurs een clustering-gebaseerde bemonsteringsmethode voor om de verklaring-robuustheid efficiënt te evalueren. Beelden worden geclusterd (bijv. met K-means op ResNet18-features) om semantische consistentie te waarborgen. Evaluatiesets worden geconstrueerd uit intra-cluster en inter-cluster paren om de "aanval-verlies" te meten die nodig is om een verklaring van een slachtofferbeeld naar een doelbeeld te manipuleren.
3. TRADES-framework: De auteurs gebruiken het TRADES-framework om modellen te genereren met variërende niveaus van classificatie-robuustheid (gecontroleerd door de parameter $\alpha$) om te observeren hoe veranderingen in classificatie-robuustheid effect hebben op de verklaring-robuustheid en het bijbehorende verlieslandschap.
4. SEP (Separate Explanation Robustness via PGD): Om de relatie expliciet te testen, stellen de auteurs een nieuwe trainingsmethode voor, SEP. Deze methode introduceert een regularisatieterm ($L_{SEP} = \|I(x + \zeta) - I(x)\|^2$) aan de trainingsverliesfunctie, waarbij $\zeta$ willekeurige ruis is en $I$ de verklaring-methode.
   • SEPpos ($\lambda > 0$): Stuurt het verlieslandschap aan om vlakker te worden met betrekking tot de verklaring-verliesfunctie.
   • SEPneg ($\lambda < 0$): Stuurt het verlieslandschap aan om scherper te worden.
     Dit stelt de auteurs in staat om de vlakheid van het verklaring-verlieslandschap onafhankelijk van de classificatie-robuustheid te manipuleren.

Belangrijkste Bevindingen en Resultaten
De experimenten, uitgevoerd over meerdere datasets (MNIST, FMNIST, CIFAR-10, CIFAR-100, TinyImageNet) en architecturen (ConvNet, ResNet18, Wide ResNet, MobileNetV2), leveren de volgende resultaten op:

• Ontkoppeling van Robuustheid: Modellen getraind met SEPpos en SEPneg vertonen vergelijkbare classificatie-robuustheid (gemeten als adversariële nauwkeurigheid, $Acc_{adv}$) maar significant verschillende verklaring-robuustheid (gemeten als uiteindelijke verklaring-aanval-verlies, $L_{end}^e$). Specifiek bereikt SEPneg (scherper landschap) een hogere verklaring-robuustheid, terwijl SEPpos (vlakker landschap) een lagere verklaring-robuustheid bereikt.
• Tegenstrijdigheid met Classificatie-robuustheid: In tegenstelling tot het gedrag van classificatie-robuustheid, waarbij een platter verlieslandschap duidt op betere robuustheid, stellen de auteurs vast dat het afvlakken van het input-verlieslandschap voor de verklaring-verliesfunctie de verklaring-robuustheid juist verlaagt.
• Mechanisme van Verklaring-robuustheid: De analyse suggereert dat verklaring-robuustheid niet wordt gedreven door een vlak verlieslandschap, maar door een hoog initiëel verlies ($L_{start}^e$) aan het begin van een aanval. Modellen met grotere initiële afstanden tussen de slachtoffer- en doelverklaringen zijn moeilijker aan te vallen, ongeacht de vlakheid van het landschap.
• Generalisatie: Deze bevindingen houden stand bij verschillende verklaring-methoden (Gradient, Guided Backpropagation, DeepLift, Integrated Gradients) en verschillende adversariële training-protocollen (Madry AT, TRADES).

Belangrijkste Bijdragen

1. Efficiënte Evaluatie: Introductie van een clustering-gebaseerde bemonsteringsmethode om verklaring-robuustheid efficiënt en uitgebreid te evalueren.
2. Empirische Tegenstrijdigheid: Demonstratie dat het vergroten van de verklaring-robuustheid niet het input-verlieslandschap afvlakt met betrekking tot de verklaring-verliesfunctie, wat in tegenspraak is met het gedrag dat wordt waargenomen bij classificatie-robuustheid.
3. Nieuwe Trainingsmethode (SEP): Ontwikkeling van een trainingsalgoritme dat de vlakheid van het verklaring-verlieslandschap expliciet controleert, waarmee wordt bewezen dat verklaring-robuustheid onafhankelijk van classificatie-robuustheid kan worden gemanipuleerd.
4. Theoretisch Inzicht: Bewijs dat de mechanismen die classificatie-robuustheid en verklaring-robuustheid beheersen fundamenteel verschillend zijn, wat de aanname van hun inherente correlatie uitdaagt.

Betekenis
Het artikel concludeert dat classificatie-robuustheid en verklaring-robuustheid niet sterk gecorreleerd zijn. Deze bevinding heeft belangrijke implicaties voor de veiligheid en betrouwbaarheid van AI-systemen. Het suggereert dat vertrouwen op technieken voor classificatie-robuustheid (zoals adversariële training) om betrouwbare verklaringen te garanderen, onvoldoende is. In plaats daarvan pleiten de auteurs voor de noodzaak om apart te kijken naar en te optimaliseren voor verklaring-robuustheid, vooral in kritieke toepassingen waar zowel voorspellende nauwkeurigheid als interpreteerbaarheid vereist zijn onder adversariële omstandigheden. Het werk opent nieuwe paden voor het begrijpen van de relatie tussen verlieslandschappen en verklaring-verlies, voorbij de aanname dat een enkele robuustheidsmeting of trainingsstrategie beide kan garanderen.