EnsembleSHAP: Faithful and Certifiably Robust Attribution for Random Subspace Method

1. Il Problema

Il Metodo dei Sottospazi Casuali (Random Subspace Method - RSM) è una tecnica di apprendimento ensemble ampiamente utilizzata in ambito di sicurezza informatica. Funziona generando previsioni su sottoinsiemi casuali delle feature di un input e aggregandole (solitamente tramite voto a maggioranza) per ottenere una previsione finale. È fondamentale per:

• Fornire difese certificate contro attacchi avversari e backdoor.
• Migliorare la robustezza dei Large Language Models (LLM) contro attacchi di "jailbreaking".

Tuttavia, l'interpretabilità di questo metodo è carente. Le tecniche di attribuzione delle feature esistenti (come i valori di Shapley e LIME) presentano due gravi svantaggi quando applicate al RSM:

1. Costo Computazionale Proibitivo: Applicare Shapley o LIME al RSM richiederebbe un numero enorme di query al modello base. Per ogni input perturbato, il modello dovrebbe valutare $N$ varianti sottocampionate. Con $M$ perturbazioni e $N$ sottocampionamenti, il costo totale è $M \times N$, rendendo il processo impraticabile (spesso $N, M > 1000$).
2. Mancanza di Garanzie di Sicurezza: Le attuali metodi non offrono garanzie teoriche contro gli attacchi di preservazione dell'interpretazione (explanation-preserving attacks). In questi attacchi, un avversario modifica l'input per causare una classificazione errata, ma manipola le feature in modo tale che l'interpretazione (spiegazione) rimanga invariata, nascondendo così l'attacco.

2. Metodologia: EnsembleSHAP

Gli autori propongono EnsembleSHAP, un metodo di attribuzione delle feature intrinsecamente fedele e sicuro, progettato specificamente per riutilizzare i sottoprodotti computazionali già generati dal processo di previsione del RSM.

Design dell'Algoritmo

• Idea Centrale: Invece di perturbare l'input e rieseguire l'intero ensemble (come farebbero Shapley/LIME), EnsembleSHAP calcola l'importanza di una feature $x_i$ basandosi sulle previsioni già ottenute per i $N$ gruppi di feature sottocampionati ($z_j$) durante la fase di inferenza standard.
• Formula di Punteggio di Importanza: Il punteggio di importanza $\alpha_i$ per una feature $i$ e un'etichetta prevista $\hat{y}$ è definito come:
  $$\alpha_i(x, h, k) = \frac{1}{k} \mathbb{E}_{z \sim U(x,k)} [I(x_i \in z) \cdot I(h(z) = \hat{y})]$$
  Questo rappresenta la probabilità che un gruppo di feature casuale contenga $x_i$ e che il modello base predica $\hat{y}$ su quel gruppo.
• Approssimazione Monte Carlo con Normalizzazione: Per evitare distorsioni dovute alla frequenza irregolare di apparizione delle feature nei sottocampionamenti (specialmente quando $N$ è piccolo), il metodo introduce una normalizzazione basata sulla frequenza di apparizione effettiva:
  $$\alpha_i \approx \frac{1}{d} \cdot \frac{\sum_{j=1}^N I(x_i \in z_j) \cdot I(h(z_j) = \hat{y})}{\sum_{j=1}^N I(x_i \in z_j)}$$
  dove $d$ è il numero totale di feature.

Proprietà Teoriche

EnsembleSHAP soddisfa tre proprietà chiave:

1. Accuratezza Locale: La somma dei punteggi di importanza di tutte le feature corrisponde alla probabilità di previsione dell'ensemble.
2. Simmetria: Feature che contribuiscono allo stesso modo a tutti i sottoinsiemi ricevono lo stesso punteggio.
3. Coerenza d'Ordine con Shapley: Se il valore di Shapley classifica una feature come più importante di un'altra, EnsembleSHAP mantiene lo stesso ordinamento. Questo garantisce che, sebbene semplifichi il calcolo rimuovendo alcune proprietà complesse di Shapley (come la linearità e la dummy property), mantenga la gerarchia di importanza cruciale per l'interpretazione.

Certificazione di Robustezza

Il contributo teorico principale è la dimostrazione che EnsembleSHAP è certificabilmente robusto contro gli attacchi di preservazione dell'interpretazione.

• Gli autori derivano un limite inferiore (certificato) per la dimensione dell'intersezione tra le feature modificate dall'avversario e le feature riportate come "importanti" dal metodo.
• Teorema 1: Dimostra che se un avversario modifica al massimo $T$ feature per cambiare la previsione, il metodo garantirà che almeno $D(x, T)$ di queste feature modificate appariranno tra le prime $e$ feature più importanti. Questo rende impossibile nascondere l'attacco mantenendo la spiegazione invariata.

3. Risultati Sperimentali

Gli autori hanno valutato EnsembleSHAP su diversi scenari di sicurezza:

• Dataset: SST-2, IMDB, AGNews (per difesa certificata) e dataset di comportamenti dannosi (per jailbreaking).
• Attacchi Testati:
  • Backdoor (BadNets).
  • Attacchi Avversari (TextFooler).
  • Attacchi di Jailbreaking su LLM (GCG, AutoDAN, DAN).
• Metriche:
  • Fedeltà (Faithfulness): Percentuale di inversione dell'etichetta quando le feature più importanti vengono rimosse.
  • Predizione delle Parole Chiave: Precisione e Recall nell'identificare le trigger word (backdoor) o le query dannose (jailbreaking).
  • Tasso di Rilevamento Certificato: Percentuale di feature avversarie rilevate teoricamente garantita.

Risultati Chiave:

1. Efficienza: EnsembleSHAP aggiunge un costo computazionale trascurabile (circa 0.03 secondi per campione) riutilizzando i dati esistenti, mentre Shapley e LIME richiederebbero migliaia di volte più tempo.
2. Fedeltà Superiore: In tutti gli scenari (senza attacco, backdoor, avversario, jailbreaking), EnsembleSHAP supera significativamente Shapley, LIME e ICL (In-Context Learning) nella capacità di identificare le feature critiche. Ad esempio, su IMDB con attacco avversario, rimuovere il 10% delle feature identificate da EnsembleSHAP ha causato un cambio di etichetta nel 98% dei casi (vs 10-16% per i baselines).
3. Rilevamento di Attacchi: Il metodo è in grado di identificare con alta precisione le parole trigger nei backdoor e le query dannose nei prompt di jailbreaking, superando i metodi basati su Shapley applicati al modello base.
4. Robustezza Certificata: Le simulazioni mostrano che il tasso di rilevamento certificato aumenta con la fiducia della previsione del modello e diminuisce all'aumentare del numero di feature modificate dall'avversario, confermando la validità teorica.
5. Applicabilità: Il metodo è stato esteso con successo anche al dominio delle immagini per la difesa contro attacchi di patch.

4. Contributi Chiave

1. Primo metodo di attribuzione efficiente per RSM: Risolve il collo di bottiglia computazionale permettendo l'uso di attribuzioni fedeli senza costi aggiuntivi significativi.
2. Prima robustezza certificata contro gli attacchi di preservazione dell'interpretazione: Fornisce una garanzia matematica che un avversario non può modificare l'input per ingannare il modello senza che il metodo di spiegazione lo rilevi.
3. Validazione Empirica Estesa: Dimostrazione pratica dell'efficacia in scenari reali di sicurezza, inclusi backdoor, attacchi avversari e jailbreaking di LLM.

5. Significato e Impatto

Questo lavoro colma un vuoto critico nell'intersezione tra spiegabilità (XAI) e sicurezza dell'IA.

• Per la Sicurezza: Consente agli utenti e ai difensori di capire perché un sistema di difesa certificato o un LLM ha fallito o ha bloccato un input, identificando esattamente le parole o le patch manipolate.
• Per la Teoria: Stabilisce un nuovo standard per la robustezza delle spiegazioni, dimostrando che è possibile avere attribuzioni sia efficienti che teoricamente sicure.
• Praticità: Essendo basato su sottoprodotti computazionali già esistenti, può essere integrato immediatamente in sistemi di produzione che utilizzano il Random Subspace Method per la difesa, rendendo l'interpretabilità accessibile senza sacrificare le prestazioni o la sicurezza.

In sintesi, EnsembleSHAP trasforma il Random Subspace Method da una "scatola nera" robusta ma incomprensibile in un sistema trasparente, efficiente e verificabile, fondamentale per la fiducia nell'IA sicura.