EnsembleSHAP: Faithful and Certifiably Robust Attribution for Random Subspace Method

1. Problemstellung

Die Random Subspace Method (RSM) ist eine Ensemble-Learning-Technik, die in der Sicherheitsforschung zunehmend an Bedeutung gewonnen hat. Sie wird eingesetzt, um zertifizierte Abwehrmechanismen gegen Adversarial Attacks (z. B. Text-Manipulationen) und Backdoor-Attacks zu schaffen sowie Large Language Models (LLMs) robuster gegen Jailbreaking-Attacks zu machen. Das Verfahren funktioniert, indem es Vorhersagen auf zufälligen Teilmengen der Eingabemerkmale trifft und diese durch Mehrheitsvoting aggregiert.

Trotz ihres Erfolgs in der Sicherheitsanwendung fehlt es an adäquaten Methoden, um die Entscheidungen dieser Ensemble-Modelle zu erklären (Feature Attribution). Bestehende State-of-the-Art-Methoden wie Shapley Values und LIME stoßen bei der Anwendung auf RSM auf zwei kritische Probleme:

1. Rechenineffizienz: Herkömmliche Methoden erfordern eine große Anzahl von Abfragen ($M$) an das Modell mit gestörten Eingaben. Da das Ensemble-Modell für jede gestörte Eingabe selbst $N$ Sub-Samples benötigt, entsteht ein rechnerischer Aufwand von $M \times N$. Bei typischen Werten ($N, M > 1000$) ist dies praktisch nicht durchführbar.
2. Fehlende Sicherheitsgarantien: Bestehende Methoden bieten keine theoretischen Garantien gegen sogenannte Explanation-Preserving Attacks. Dabei manipuliert ein Angreifer die Eingabe so, dass die Klassifikation fehlschlägt (z. B. von „harmlos" zu „schädlich"), die Erklärung (welche Merkmale waren wichtig) jedoch unverändert bleibt. Dies ermöglicht es Angreifern, ihre Manipulationen zu verschleiern.

2. Methodik: EnsembleSHAP

Die Autoren stellen EnsembleSHAP vor, eine intrinsisch treue und sichere Feature-Attributionsmethode, die speziell für Random Subspace Methods entwickelt wurde und deren Berechnungsnebenprodukte wiederverwendet.

Kernidee:
Anstatt neue Modellabfragen zu generieren, nutzt EnsembleSHAP die bereits während der Vorhersage des Ensemble-Modells generierten Vorhersagen der Basis-Modelle für die Sub-Samples.

Definition der Wichtigkeitsscores:
Für ein Eingabe-Feature $x_i$ und die vorhergesagte Klasse $\hat{y}$ wird der Wichtigkeitsscore $\alpha_i^{\hat{y}}$ definiert als die Wahrscheinlichkeit, dass eine zufällig gezogene Feature-Gruppe $z$ (Größe $k$) das Feature $x_i$ enthält und das Basis-Modell für diese Gruppe die Klasse $\hat{y}$ vorhersagt:

$$\alpha_i^{\hat{y}}(x, h, k) = \frac{1}{k} \mathbb{E}_{z \sim U(x,k)} [ \mathbb{I}(x_i \in z) \cdot \mathbb{I}(h(z) = \hat{y}) ]$$

In der Praxis wird dies durch Monte-Carlo-Schätzung approximiert. Um Verzerrungen durch ungleiche Auftrittshäufigkeiten von Features in den Sub-Samples zu vermeiden, wird eine Normalisierung eingeführt:

$$\alpha_i^{\hat{y}}(x, h, k) \approx \frac{1}{d \cdot N} \sum_{j=1}^{N} \mathbb{I}(x_i \in z_j) \cdot \mathbb{I}(h(z_j) = \hat{y}) \cdot \frac{d}{\sum_{j=1}^{N} \mathbb{I}(x_i \in z_j)}$$

Dabei ist $d$ die Gesamtzahl der Features und $N$ die Anzahl der Sub-Samples.

Theoretische Eigenschaften:
EnsembleSHAP erfüllt drei wesentliche Eigenschaften:

1. Lokale Genauigkeit (Local Accuracy): Die Summe aller Wichtigkeitsscores entspricht der Wahrscheinlichkeit der vorhergesagten Klasse durch das Ensemble.
2. Symmetrie: Features mit identischem Beitrag erhalten identische Scores.
3. Ordnungskonsistenz mit Shapley-Werten: Wenn ein Feature im Shapley-Wert höher bewertet wird, erhält es auch bei EnsembleSHAP einen höheren Score. Dies garantiert, dass die relative Rangfolge der Wichtigkeit erhalten bleibt, auch wenn die Dummy-Eigenschaft des Shapley-Werts relaxiert wird.

Zertifizierte Detektion (Theorem 1):
Das Paper leitet eine mathematische Untergrenze für die zertifizierte Detektionsgröße $D(x, T)$ her. Dies ist die garantierte Anzahl von manipulierten Features (die vom Angreifer geändert wurden), die in den Top-$e$ wichtigsten Features der Erklärung erscheinen müssen, wenn das Ensemble-Modell durch eine Änderung von maximal $T$ Features getäuscht wurde. Dies bietet eine formale Sicherheit gegen Explanation-Preserving Attacks.

3. Wichtige Beiträge

1. Effiziente Attribution: EnsembleSHAP ist rechnerisch extrem effizient, da es keine zusätzlichen Modellabfragen benötigt (nur ca. 0,03 Sekunden Overhead pro Sample), indem es die bereits für die Ensemble-Vorhersage berechneten Sub-Sample-Ergebnisse nutzt.
2. Erste beweisbare Robustheit: Dies ist die erste Arbeit, die eine beweisbare Robustheit gegen Explanation-Preserving Attacks für Feature-Attributionsmethoden etabliert. Sie liefert eine mathematische Garantie, dass bei erfolgreichen Angriffen die manipulierten Features in der Erklärung sichtbar sein müssen.
3. Umfassende Evaluation: Die Methode wurde in verschiedenen Sicherheitskontexten getestet, einschließlich zertifizierter Abwehr gegen Backdoor- und Adversarial-Attacks sowie Abwehr von Jailbreaking-Attacks bei LLMs.

4. Ergebnisse

Die Evaluierung erfolgte auf Textklassifizierungsdatensätzen (SST-2, IMDB, AGNews) und einem Datensatz für schädliches Verhalten (für LLMs).

• Faithfulness (Treue): EnsembleSHAP übertrifft Baselines (Shapley, LIME, ICL) signifikant. Wenn die als wichtig identifizierten Wörter entfernt werden, ändert sich die Vorhersage des Modells in einem viel höheren Prozentsatz der Fälle als bei anderen Methoden.
  • Beispiel: Bei Adversarial-Attacks auf IMDB führte das Entfernen der Top-10% der von EnsembleSHAP identifizierten Wörter zu einer Label-Änderung in 98% der Fälle (verglichen mit 84% bei Shapley).
• Erkennung von Angriffen (Key Word Prediction): Bei Backdoor- und Adversarial-Attacks konnte EnsembleSHAP die Trigger-Wörter oder manipulierten Wörter mit höherer Präzision und Recall identifizieren als Shapley oder LIME.
  • Beispiel: Bei Backdoor-Attacks auf IMDB erreichte EnsembleSHAP einen Recall von 0,892 (Top-5), während Shapley nur 0,491 erreichte.
• Jailbreaking-Abwehr: Bei LLMs (Vicuna-7B) konnte die Methode erfolgreich die schädlichen Abfragen innerhalb von Jailbreaking-Prompts identifizieren, die zu einer Ablehnung führten.
• Zertifizierte Detektion: Die theoretisch abgeleiteten Grenzen für die Detektionsrate wurden empirisch bestätigt. Die Detektionsrate steigt mit der Anzahl der gemeldeten wichtigen Features ($e$) und sinkt mit der Anzahl der vom Angreifer änderbaren Features ($T$).
• Rechenkosten: Die Berechnung der Attribution und der zertifizierten Detektion dauert weniger als 0,5 Sekunden pro Sample, was im Vergleich zu anderen Methoden vernachlässigbar ist.

5. Bedeutung und Ausblick

EnsembleSHAP schließt eine kritische Lücke zwischen der Robustheit von Ensemble-Methoden und der Erklärbarkeit ihrer Entscheidungen.

• Sicherheitsrelevanz: Es ermöglicht Nutzern und Verteidigern nicht nur zu wissen, dass ein Modell sicher ist, sondern auch warum es eine Entscheidung trifft und welche spezifischen Eingabeteile bei einem Angriff manipuliert wurden.
• Vertrauenswürdigkeit: Durch die Zertifizierung der Robustheit der Erklärung selbst wird verhindert, dass Angreifer ihre Manipulationen durch das „Verstecken" hinter einer stabilen Erklärung verschleiern können.
• Anwendbarkeit: Da die Methode nur Black-Box-Zugriff benötigt und auf beliebigen Basis-Modellen funktioniert, ist sie universell einsetzbar, auch für zukünftige Anwendungen im Bereich des maschinellen Unlearning oder der Differential Privacy.

Zusammenfassend bietet EnsembleSHAP einen effizienten, theoretisch fundierten und praktisch überlegenen Ansatz, um die Entscheidungsfindung von Random Subspace Ensembles zu erklären und gleichzeitig deren Sicherheit gegen fortgeschrittene Angriffe zu gewährleisten.