💻 computer science

Adversarial Evasion Attacks on Computer Vision using SHAP Values

Il documento presenta un attacco di evasione in modalità white-box per modelli di visione artificiale che utilizza i valori SHAP per generare perturbazioni impercettibili, dimostrando come tale metodo sia più robusto del Fast Gradient Sign Method, specialmente in scenari di occultamento del gradiente.

Autori originali: Frank Mollard, Marcus Becker, Florian Roehrbein

Pubblicato 2026-04-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Frank Mollard, Marcus Becker, Florian Roehrbein

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🕵️‍♂️ Il Trucco per Ingannare l'Intelligenza Artificiale: SHAP vs. FGSM

Immagina di avere un cane da guardia digitale (un modello di Intelligenza Artificiale) che deve riconoscere se una foto è di un gatto o di un cane. Questo cane è molto intelligente, ma ha un difetto: è troppo sicuro di sé e si fida ciecamente di certi "indizi" che vede nella foto.

Gli autori di questo studio hanno scoperto un modo per ingannare questo cane da guardia senza che l'occhio umano se ne accorga. Lo hanno fatto usando un nuovo tipo di "lente magica" chiamata SHAP, che si è rivelata molto più potente dei metodi tradizionali (come il famoso FGSM).

Ecco come funziona, spiegato con delle metafore:

1. Il Problema: Come ingannare la macchina?

Esistono due modi principali per attaccare queste macchine:

L'attacco "a forza bruta" (FGSM): Immagina di prendere un pennarello e colorare tutta la foto di un colore leggermente diverso, un po' come se avessi un filtro "rumore" su Instagram. Funziona, ma spesso la macchina si accorge che qualcosa non va, oppure l'attacco fallisce se la macchina è molto brava a ignorare quel rumore. È come cercare di spingere un muro spingendo ovunque con la stessa forza: inefficiente.
L'attacco "di precisione" (SHAP): Qui gli autori usano una lente speciale. Invece di toccare tutta la foto, questa lente dice loro: "Ehi, guarda qui! Questo piccolo punto sul muso del gatto è ciò che fa dire alla macchina 'Questo è un gatto'!".

2. La Lente Magica: Cosa sono i valori SHAP?

I valori SHAP sono come un termometro della responsabilità.
Quando la macchina guarda una foto, ogni singolo pixel (il puntino dell'immagine) contribuisce alla decisione.

Alcuni pixel dicono: "Sì, è un gatto!" (Valore positivo).
Altri dicono: "No, non sembra un gatto" (Valore negativo).
Altri ancora dicono: "Non importa" (Valore zero).

La lente SHAP ti mostra esattamente quali pixel stanno urlando più forte. È come se avessi una mappa del tesoro che ti dice esattamente dove scavare per cambiare il risultato.

3. La Strategia: Il "Gioco del Neutralizzatore"

Gli autori hanno scoperto una cosa curiosa guardando queste mappe: c'è una zona neutra (come una zona grigia).

Se un pixel è molto rosso (forte indizio di gatto) o molto blu (forte indizio di non-gatto), la macchina ci fa molto caso.
Se sposti quel pixel nella "zona grigia" (il mezzo), la macchina smette di fidarsi di quell'indizio.

L'attacco SHAP funziona così:

Guarda la foto.
Usa la lente SHAP per trovare i pixel che dicono "È un gatto!" e quelli che dicono "Non è un gatto!".
Sposta delicatamente questi pixel nella zona grigia neutra.
Risultato? La macchina è confusa. Non vede più gli indizi forti. Non sa più se è un gatto o un cane, e spesso sbaglia la classificazione.

È come se, per confondere un detective, togliessi sia le impronte digitali positive che quelle negative, lasciando solo un ambiente "neutro" dove non si può decidere nulla.

4. Perché SHAP è meglio di FGSM?

Il metodo vecchio (FGSM) è come sparare a caso in una stanza sperando di colpire qualcosa. Funziona a volte, ma spesso fallisce se il "nemico" (il modello) ha delle difese nascoste (chiamate gradient masking, ovvero nasconde le sue debolezze).

Il metodo SHAP è come un chirurgo:

Sa esattamente dove tagliare.
Non tocca le parti inutili della foto (quindi l'immagine rimane perfetta agli occhi umani).
È molto più difficile da difendere per la macchina, perché non attacca la "matematica" della macchina, ma la sua "logica" di interpretazione.

5. I Risultati: Chi vince?

Gli autori hanno fatto degli esperimenti con foto di animali, volti umani e numeri scritti a mano.

FGSM: Ha fallito spesso o ha avuto successo solo nel 50-70% dei casi.
SHAP: Ha fallito raramente, ottenendo tassi di successo fino al 98% (quasi sempre riesce a ingannare la macchina).

Inoltre, l'immagine modificata con SHAP è invisibile all'occhio umano. Sembra esattamente la stessa foto di prima, ma per la macchina è diventata un enigma.

🎓 La Conclusione in Pillole

Questo studio ci dice due cose importanti:

Le macchine sono fragili: Anche i modelli più intelligenti possono essere ingannati spostando pochi pixel in punti specifici, usando la logica SHAP.
La spiegazione è un'arma: Gli strumenti che usiamo per spiegare come pensa un'AI (come SHAP) possono essere usati anche per romperla.

Il futuro? Dobbiamo costruire macchine che non si basino su un solo "indizio" (un solo pixel importante), ma che guardino l'immagine nel suo insieme, in modo che togliere un pezzo neutro non le faccia perdere la testa.

In sintesi: SHAP è la chiave che apre le serrature dell'AI, mostrandoci quanto sono facili da forzare.

Titolo: Attacchi di Evasione Adversarial alla Visione Artificiale tramite Valori SHAP

1. Il Problema

Il paper affronta la vulnerabilità dei modelli di deep learning (in particolare le reti neurali artificiali per la visione artificiale) agli attacchi adversarial di evasione.

Natura della minaccia: Questi attacchi mirano a ingannare il modello modificando leggermente i dati di input (aggiungendo perturbazioni impercettibili all'occhio umano) durante la fase di inferenza. L'obiettivo è ridurre la confidenza dell'output o indurre errori di classificazione.
Limiti degli approcci attuali: Il metodo più noto, il Fast Gradient Sign Method (FGSM), si basa sui gradienti della funzione di perdita. Tuttavia, FGSM presenta diverse criticità:
- Priorizza la velocità rispetto all'efficienza, portando spesso a fallimenti.
- Assume che l'intensità dell'attacco ( $\epsilon$ ) sia uniforme per tutti i pesi, ignorando che i gradienti possono variare significativamente.
- È suscettibile al fenomeno del "gradient masking" (mascheramento dei gradienti), dove i gradienti diventano non informativi, stocastici o vanishing, rendendo l'attacco inefficace o addirittura controproducente (aumentando la confidenza del modello invece di ridurla).

2. Metodologia

Gli autori propongono un nuovo attacco in modalità white-box che sostituisce l'uso dei gradienti con i valori SHAP (SHapley Additive exPlanations).

Concetto di Base: I valori SHAP quantificano il contributo marginale di ogni variabile di input (in questo caso, ogni pixel dell'immagine) all'output del modello. A differenza dei gradienti, che indicano solo la direzione di massima pendenza, i valori SHAP forniscono una misura dell'importanza reale e della magnitudine dell'influenza di un pixel sulla decisione finale.
Analisi del Comportamento SHAP:
- Gli autori hanno osservato un pattern ricorrente ("pattern a farfalla") nella relazione tra il valore del pixel e il suo valore SHAP attraverso diversi dataset (Animali, Umani, MNIST) e architetture (CNN semplici, EfficientNetB7).
- Esiste una "zona neutrale" (solitamente intorno a 0.3 - 0.4 per immagini normalizzate 0-1) dove i valori SHAP sono vicini a zero. I pixel con valori estremi (molto chiari o molto scuri) hanno un'influenza maggiore.
Algoritmo di Attacco SHAP:
L'obiettivo è spostare i pixel influenti verso la zona neutrale per "neutralizzare" la loro capacità di guidare la classificazione. La formula proposta per modificare l'immagine $x$ $x$ in $x'$ $x^{'}$ è:
$x' = x + \epsilon \cdot \begin{cases} -|\phi| & \text{se } x \ge 1-h \land V \\ |\phi| & \text{se } x \le h \land V \end{cases}$
Dove:
- $\phi$ è il valore SHAP del pixel.
- $V$ è una soglia che seleziona solo i pixel con influenza forte ( $\phi \ge v$ o $\phi \le -v$ ).
- $h$ è una soglia per selezionare solo i pixel con valori assoluti elevati (es. 0.2-0.3).
- $\epsilon$ è l'intensità dell'attacco, calcolata in base alla deviazione standard dei valori SHAP ( $\sigma_\phi$ ).

3. Contributi Chiave

Nuovo Vettore di Attacco: Introduzione di un metodo di attacco adversarial basato sull'interpretabilità (SHAP) invece che sull'ottimizzazione del gradiente.
Robustezza contro il Gradient Masking: Dimostrazione che gli attacchi SHAP sono meno sensibili ai problemi di gradienti non informativi o vanishing, poiché operano direttamente sul comportamento dell'output del modello rispetto alle variabili, indipendentemente dalla funzione di perdita.
Efficienza Selettiva: L'attacco SHAP modifica solo i pixel che hanno un impatto significativo sulla classificazione, lasciando inalterate le aree irrilevanti. Questo rende l'attacco più sottile e mirato rispetto a FGSM, che applica perturbazioni uniformi basate sul segno del gradiente.
Validazione Multi-Settore: Il metodo è stato testato su quattro dataset molto diversi (Faccia di animali, Gatti e cani filtrati, MNIST, Faccia umana) e su architetture di profondità variabile, confermando la generalizzabilità del pattern "a farfalla" e dell'efficacia dell'attacco.

4. Risultati

Il paper confronta l'attacco SHAP con l'attacco FGSM (iterativo) su diversi dataset, mantenendo le perturbazioni impercettibili all'occhio umano.

Tassi di Misclassificazione:
- Animal Faces: FGSM 52% vs SHAP 73%.
- Cats and Dogs Filtered: FGSM 98% vs SHAP 89% (in questo caso specifico FGSM ha performato meglio, ma con un $\epsilon$ molto basso).
- MNIST: FGSM 34% vs SHAP 60%.
- Woman and Man Faces: FGSM 69% vs SHAP 98%.
Analisi della Confidenza: Mentre FGSM spesso fallisce nel ridurre la confidenza del modello (talvolta aumentandola a causa di gradienti errati), l'attacco SHAP riduce consistentemente la probabilità della classe target.
Invisibilità: Entrambi gli attacchi mantengono un livello di impercettibilità simile per l'occhio umano, ma l'attacco SHAP risulta più efficace nel generare errori di classificazione, specialmente in scenari complessi o con gradienti instabili.

5. Significato e Conclusioni

Vulnerabilità dei Modelli: Lo studio evidenzia che i modelli di visione artificiale sono estremamente sensibili a manipolazioni sottili basate sull'importanza delle feature, non solo sui gradienti.
Doppio Uso della SHAP: Il paper sottolinea il ruolo duale dei valori SHAP: sono strumenti potenti per l'interpretabilità del modello, ma la loro stessa natura li rende strumenti efficaci per identificare e sfruttare le debolezze del modello.
Implicazioni per la Difesa: La ricerca suggerisce che le difese attuali basate sulla regolarizzazione dei gradienti potrebbero essere insufficienti. È necessario sviluppare modelli più generalizzati dove l'influenza dei singoli pixel sia più bilanciata e meno dipendente da feature specifiche.
Limitazioni Pratiche: L'attacco SHAP richiede risorse computazionali elevate (a causa del calcolo dei valori SHAP su power set di variabili) e l'accesso ai dati di inferenza, il che potrebbe limitarne l'applicazione in tempo reale su video ad alta risoluzione o modelli complessi senza hardware di alto livello.

In sintesi, il paper dimostra che l'utilizzo dei valori SHAP per generare esempi adversarial rappresenta un approccio più robusto e affidabile rispetto ai metodi basati sui gradienti tradizionali, specialmente in scenari dove i gradienti del modello non sono affidabili.