Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape

Sintesi Tecnica: La robustezza della classificazione e la robustezza della spiegazione sono davvero fortemente correlate?

Definizione del Problema
Nella distribuzione di sistemi di apprendimento automatico affidabili in domini ad alto rischio (ad es., diagnostica medica, veicoli autonomi), è fondamentale che i modelli mantengano sia previsioni accurate sotto attacchi avversari (robustezza della classificazione) sia razionali coerenti e interpretabili (robustezza della spiegazione). Un paradigma prevalente nel campo postula una forte correlazione positiva tra queste due proprietà: che il miglioramento della robustezza della classificazione incrementi intrinsecamente la robustezza della spiegazione. Questo articolo mette in discussione tale paradigma, indagando se i meccanismi che appiattiscono il panorama del loss di input per migliorare la robustezza della classificazione si applichino allo stesso modo alla robustezza della spiegazione. Nello specifico, gli autori si chiedono se un panorama di loss di input più piatto rispetto alla loss della spiegazione sia una condizione necessaria per spiegazioni robuste, e se le due forme di robustezza siano intrinsecamente legate.

Metodologia
Gli autori impiegano un framework sistematico che combina l'analisi del panorama della loss, la valutazione basata sul clustering e un nuovo algoritmo di addestramento per disaccoppiare le due dimensioni della robustezza.

1. Analisi del Panorama della Loss: Lo studio visualizza il panorama della loss di input rispetto alla loss della spiegazione ($L_e$) aggiungendo rumore casuale alle immagini vittima e misurando la variazione della loss. Ciò viene contrastato con l'osservazione ben consolidata secondo cui panorami più piatti nella loss di classificazione ($L_{sc}$) correlano con una maggiore robustezza della classificazione.
2. Campionamento Basato su Cluster per la Valutazione: Per valutare efficientemente la robustezza della spiegazione senza l'infeasibilità computazionale del pairing quadratica di campioni, gli autori propongono un metodo di campionamento basato sul clustering. Le immagini vengono raggruppate (ad es., utilizzando K-means sulle feature di ResNet18) per garantire la coerenza semantica. I set di valutazione sono costruiti da coppie intra-cluster e inter-cluster per misurare la "loss di attacco" necessaria per manipolare una spiegazione da un'immagine vittima a un'immagine target.
3. Framework TRADES: Gli autori utilizzano il framework TRADES per generare modelli con diversi livelli di robustezza della classificazione (controllati dal parametro $\alpha$) per osservare come i cambiamenti nella robustezza della classificazione influenzino la robustezza della spiegazione e il relativo panorama della loss.
4. SEP (Separate Explanation Robustness via PGD): Per testare esplicitamente la relazione, gli autori propongono un nuovo metodo di addestramento, SEP. Questo metodo introduce un termine di regolarizzazione ($L_{SEP} = \|I(x + \zeta) - I(x)\|^2$), dove $\zeta$ è rumore casuale e $I$ è il metodo di spiegazione.
   • SEPpos ($\lambda > 0$): Guida il panorama della loss affinché diventi più piatto rispetto alla loss della spiegazione.
   • SEPneg ($\lambda < 0$): Guida il panorama della loss affinché diventi più appuntito (sharp).
     Ciò consente agli autori di manipolare la piattezza del panorama della loss della spiegazione indipendentemente dalla robustezza della classificazione.

Risultati Chiave e Conclusioni
Gli esperimenti, condotti su molteplici dataset (MNIST, FMNIST, CIFAR-10, CIFAR-100, TinyImageNet) e architetture (ConvNet, ResNet18, Wide ResNet, MobileNetV2), producono i seguenti risultati:

• Disaccoppiamento della Robustezza: I modelli addestrati con SEPpos e SEPneg esibiscono una robustezza della classificazione simile (misurata tramite accuratezza avversaria, $Acc_{adv}$) ma una robustezza della spiegazione significativamente diversa (misurata tramite la loss finale dell'attacco alla spiegazione, $L_{end}^e$). Nello specifico, SEPneg (panorama più appuntito) ottiene una maggiore robustezza della spiegazione, mentre SEPpos (panorama più piatto) ottiene una minore robustezza della spiegazione.
• Contraddizione con la Robustezza della Classificazione: Contrariamente al comportamento della robustezza della classificazione, dove un panorama della loss più piatto indica una migliore robustezza, gli autori scoprono che appiattire il panorama della loss di input per la loss della spiegazione in realtà diminuisce la robustezza della spiegazione.
• Meccanismo della Robustezza della Spiegazione: L'analisi suggerisce che la robustezza della spiegazione è guidata non da un panorama della loss piatto, ma da una alta loss iniziale ($L_{start}^e$) all'inizio di un attacco. I modelli con distanze iniziali maggiori tra la spiegazione vittima e quella target sono più difficili da attaccare, indipendentemente dalla piattezza del panorama.
• Generalizzazione: Questi risultati valgono per diversi metodi di spiegazione (Gradient, Guided Backpropagation, DeepLift, Integrated Gradients) e per diversi protocolli di addestramento avversario (Madry AT, TRADES).

Contributi Chiave

1. Valutazione Efficiente: Introduzione di un metodo di campionamento basato sul clustering per valutare in modo efficiente e completo la robustezza della spiegazione.
2. Contraddizione Empirica: Dimostrazione che l'aumento della robustezza della spiegazione non appiattisce il panorama della loss di input rispetto alla loss della spiegazione, contraddicendo il comportamento osservato nella robustezza della classificazione.
3. Nuovo Metodo di Addestramento (SEP): Sviluppo di un algoritmo di addestramento che controlla esplicitamente la piattezza del panorama della loss della spiegazione, provando che la robustezza della spiegazione può essere manipolata indipendentemente dalla robustezza della classificazione.
4. Intuizione Teorica: Evidenza che i meccanismi che governano la robustezza della classificazione e la robustezza della spiegazione sono fondamentalmente differenti, sfidando l'assunzione della loro intrinseca correlazione.

Significatività
L'articolo conclude che la robustezza della classificazione e la robustezza della spiegazione non sono fortemente correlate. Questa scoperta ha implicazioni significative per la sicurezza e l'affidabilità dei sistemi di IA. Suggerisce che fare affidamento sulle tecniche di robustezza della classificazione (come l'addestramento avversario) per garantire spiegazioni affidabili è insufficiente. Gli autori sostengono quindi la necessità di considerare e ottimizzare separatamente la robustezza della spiegazione, specialmente in applicazioni critiche dove sono richiesti sia l'accuratezza predittiva che l'interpretabilità in condizioni avversarie. Il lavoro apre nuove strade per comprendere la relazione tra i panorami della loss e la loss della spiegazione, andando oltre l'assunzione che una singola metrica di robustezza o strategia di addestramento possa garantire entrambe.