On the Disagreement in Perturbation-based xAI -- Benchmarking Perturbation Choices for Flood Detection from SAR Images

Sintesi Tecnica: Disaccordo nella xAI basata su perturbazione per il rilevamento delle inondazioni da immagini SAR

Problema
I metodi di Intelligenza Artificiale Spiegabile (xAI) basati sulla perturbazione sono ampiamente utilizzati per interpretare i modelli di deep learning, alterando le regioni di input e misurando le variazioni nelle probabilità di classe per generare mappe di rilevanza. Tuttavia, questi metodi sono altamente sensibili ai parametri di progettazione. Ricerche precedenti indicano che le variazioni nelle impostazioni di perturbazione — come la geometria della regione o gli schemi di sostituzione — possono portare a un "disaccordo", in cui diverse scelte di parametri producono mappe di rilevanza contraddittorie per la stessa previsione. Questa variabilità mina l'affidabilità delle spiegazioni, in particolare in applicazioni critiche come l'osservazione della Terra. Sebbene studi esistenti abbiano notato questa sensibilità, manca una caratterizzazione sistematica su come specifiche scelte di perturbazione modellino le attribuzioni, specialmente nel contesto delle immagini SAR, dove i valori di sostituzione portano un significato fisico (ad esempio, l'intensità del backscatter).

Metodologia
Gli autori conducono uno studio di benchmarking completo basato sul caso d'uso del rilevamento delle inondazioni da immagini SAR utilizzando un modello U-Net addestrato sul dataset Sen1Floods11. Lo studio investiga sistematicamente due parametri chiave della pipeline di perturbazione:

1. Geometria del Patch: La dimensione e la forma delle regioni perturbate. Gli autori confrontano finestre quadrate di varie dimensioni (8×8, 32×32, 128×128 pixel) con diversi stride (sovrapposti vs non sovrapposti) rispetto a segmenti basati su superpixel (generati tramite SLIC) che si allineano con le strutture dell'immagine.
2. Tipo di Perturbazione: Lo schema di sostituzione utilizzato per alterare l'input. Vengono valutate cinque strategie:
   • Minimo per canale: Sostituisce i patch con il valore minimo del canale.
   • Media della classe: Sostituisce i patch con il valore medio di una classe definita dall'utente (sfondo).
   • Sostituzione costante stocastica: Campiona un valore costante da una distribuzione di vicinato locale.
   • Sostituzione di patch: Sostituisce i patch con patch casuali provenienti da altre immagini del dataset.
   • Pixel shuffling: Rimescola casualmente i pixel all'interno della regione perturbata, preservando le statistiche di intensità ma distruggendo l'organizzazione spaziale.

La stima della rilevanza segue un processo in quattro fasi: (I) generazione di immagini localmente perturbate e inferenza delle probabilità di classe; (II) calcolo delle mappe di differenza di probabilità; (III) definizione di un'area di attribuzione (tipicamente la regione d'acqua predetta); (IV) calcolo dei punteggi di rilevanza per patch mediando le differenze sull'area di attribuzione.

Per valutare i risultati, gli autori impiegano:

• Analisi della Distribuzione della Rilevanza: Utilizzando trasformate di distanza con segno rispetto ai bordi dell'acqua per visualizzare dove si accumula la rilevanza (acqua vs sfondo) attraverso diversi istogrammi 2D.
• Valutazione della Fedeltà (Correttezza): Un approccio basato sulla delezione in cui le regioni di input vengono progressivamente rimosse (sostituite con medie condizionali alla classe per simulare l'assenza) secondo la loro classifica di rilevanza. L'impatto sul punteggio Dice viene monitorato per determinare se le regioni ad alta rilevanza siano realmente critiche per la decisione.

Risultati Chiave
Lo studio rivela un significativo disaccordo nelle mappe di rilevanza basato sulle scelte dei parametri:

• Impatto della Geometria del Patch:
  • Dimensione: I patch più grandi producono punteggi di rilevanza di magnitudo maggiore a causa di spostamenti di previsione più ampi, ma producono mappe grossolane e frammentate che oscurano i dettagli fini. I patch più piccoli offrono una risoluzione più alta e una migliore localizzazione di strutture specifiche, ma risultano in punteggi di magnitudo inferiori.
  • Forma: I segmenti basati su superpixel, che seguono i bordi dell'immagine, riducono l' "effetto aggregazione" osservato nei patch quadrati (dove un singolo patch copre classi miste) e producono mappe di rilevanza che si allineano più strettamente alle strutture sottostanti dell'immagine.
• Impatto del Tipo di Perturbazione:
  • Minimo per Canale: Agisce come un outlier estremo (basso backscatter), spesso sopprimendo i segnali informativi dell'acqua e amplificando il contrasto con lo sfondo. Ciò porta a mappe di rilevanza dominate dalle regioni di sfondo, indipendentemente dal reale contenuto d'acqua, risultando in una bassa fedeltà (un alto AUC nelle curve di delezione indica che il modello non si affida alle regioni con il ranking più alto).
  • Media della Classe, Costante Stocastica e Sostituzione di Patch: Queste strategie agiscono come surrogati dello sfondo. Mostrano un comportamento dipendente dalla scena; in cluster ricchi d'acqua, possono invertire i segni di rilevanza (l'acqua diventa supportiva vs distraente). La loro fedeltà varia con la composizione della scena ma generalmente segue la dipendenza del modello da texture e segnali di contrasto.
  • Pixel Shuffling: Preserva le statistiche dei pixel ma interrompe la coerenza spaziale. Evidenzia costantemente i confini tra acqua e sfondo piuttosto che l'interno delle classi. Sebbene produca un'alta rilevanza per corpi idrici frammentati, ciò può riflettere la sensibilità del modello alla perturbazione dei bordi piuttosto che alla classe acqua stessa, portando potenzialmente a interpretazioni fuorvianti della fedeltà.
• Analisi dei Cluster: I punti dati si raggruppano naturalmente in cinque gruppi basati sulla copertura d'acqua e sulla composizione del corpo idrico. Lo studio trova che gli effetti della perturbazione non sono uniformi; ad esempio, il pixel shuffling degrada severamente le previsioni per l'acqua frammentata (Cluster III-V) distruggendo la separazione delle classi, mentre ha un effetto modesto sui corpi idrici omogenei (Cluster I-II).

Significatività e Rivendicazioni
L'articolo sostiene che il design della perturbazione non è meramente un dettaglio tecnico ma un fattore determinante nella stima della rilevanza. Gli autori dimostrano che:

1. Dipendenza dai Parametri: Diverse scelte di perturbazione possono guidare le mappe di rilevanza verso spiegazioni contraddittorie (ad esempio, evidenziando lo sfondo rispetto all'acqua, o i bordi rispetto agli interni).
2. Sensibilità Contestuale: La scelta "corretta" della perturbazione dipende dai vincoli specifici del dataset e dalle caratteristiche della scena (ad esempio, proprietà del backscatter SAR, frammentazione dell'acqua).
3. Rigore Metodologico: Lo studio sottolinea che le scelte di perturbazione devono essere attentamente ispezionate, valutate e giustificate come parte integrante del processo di spiegazione. Trattarle come parametri fissi o arbitrari rischia di generare spiegazioni ambigue o non fedeli.
4. Limitazioni della Valutazione: Gli autori notano che le metriche di fedeltà standard (come le curve di delezione) possono talvolta validare le spiegazioni per i motivi sbagliati (ad esempio, il pixel shuffling appare fedele perché interrompe i bordi su cui il modello si basa, anche se l'obiettivo primario del modello è il rilevamento dell'acqua).

In definitiva, il lavoro sottolinea la necessità di una comprensione robusta di come le impostazioni di perturbazione influenzino il comportamento del modello per garantire che le spiegazioni xAI in domini critici come il rilevamento delle inondazioni siano affidabili e degne di fiducia.