Robust Ensemble of Selectively Strengthened and Augmented Predictors

Technisches Resümee: Robustes Ensemble aus selektiv verstärkten und augmentierten Prädiktoren (RESSAP)

Problemstellung
Maschinelle Lernklassifikatoren sind zwar in verschiedenen Domänen erfolgreich, besitzen jedoch inhärente „blinde Flecken“ in ihren Entscheidungsgrenzen, die durch adversarielle Evasion-Angriffe (Vermeidungsangriffe) ausgenutzt werden können. Bei diesen Angriffen manipulieren Akteure die Eingabedaten zur Laufzeit der Inferenz, um eine Fehlklassifizierung zu verursachen, ohne den Trainingsprozess zu verändern. Bestehende Verteidigungsmechanismen leiden oft unter begrenzter Generalisierbarkeit, erfordern signifikante architektonische Änderungen oder schränken die Wahl der Lernalgorithmen ein. Zudem werden viele Abwehrmethoden unter engen Szenarien evaluiert und bieten keine systematische Robustheit gegenüber vielfältigen Bedrohungen. Es besteht ein kritischer Bedarf an einem modellagnostischen Framework, das die Robustheit gegen Evasion-Angriffe erhöht und gleichzeitig eine hohe Genauigkeit auf benignen Daten beibehält sowie sich nahtlos in bestehende ML-Pipelines (z. B. SecDevOps) integrieren lässt.

Methodik
Die Autoren schlagen RESSAP (Robust Ensemble of Selectively Strengthened and Augmented Predictors) vor, ein Framework, das einen einzelnen vortrainierten Klassifikator ($clf_0$) in ein Ensemble spezialisierter Submodelle transformiert. Die Methodik besteht aus vier primären Komponenten:

1. Merkmalsauswahl und Subset-Generierung:
   Das Framework führt eine zusammengesetzte Resilienz-Metrik ($FSRI$) ein, um die Merkmalsauswahl zu steuern. Diese Metrik kombelt zwei distinkte Scores für jedes Merkmal $j$:

   • Merkmalsrelevanz ($FSI$): Berechnet mittels Permutationswichtigkeit (Permutation Importance), welche den Abfall der Basisgenauigkeit misst, wenn die Merkmalswerte permutiert werden.
   • Merkmalsrobustheit ($FSR$): Berechnet durch die Messung der Sensitivität der Basisgenauigkeit gegenüber kleinen, zufälligen Rauschperturbationen, die dem Merkmal hinzugefügt werden.
   • Resilienz ($FSRI$): Definiert als die Summe aus normalisiertem $FSI$ und $FSR$.

   Unter Verwendung dieser Metriken generiert das Framework $t$ diverse Merkmals-Subsets ($s_l$). Um Diversität zu gewährleisten, werden die Subsets durch die Auswahl der am besten bewerteten Merkmale basierend auf drei Strategien konstruiert: Die Hälfte der Subsets priorisiert $FSRI$ (Resilienz), ein Viertel priorisiert $FSI$ (Relevanz) und das verbleibende Viertel priorisiert $FSR$ (Robustheit).

2. Datenaugmentation:
   Für jedes Merkmals-Subset wird der entsprechende Trainingsdatensatz vertikal geschnitten. Anschließend wird eine rauschbasierte Datenaugmentation auf diese Subsets angewendet, indem Gaußsches Rauschen ($\epsilon \sim N(0, \sigma)$) hinzugefügt wird. Dieser Prozess simuliert natürliche Variationen und geringfügige adversarielle Perturbationen, was die Submodelle dazu ermutigt, stabilere und generalisierbarere Entscheidungsgrenzen zu erlernen.

3. Ensemble-Training:
   Ein schwacher Klassifikator ($f_l$) wird unabhängig auf jedem augmentierten Merkmals-Subset trainiert. Dies erzeugt ein Ensemble aus $t$ Klassifikatoren, von denen jeder in einem distinkten, resilienten Merkmalsraum operiert.

4. Randomisierte Inferenz:
   Zur Inferenzzeit wird nicht das gesamte Ensemble verwendet. Stattdessen wird eine zufällige Auswahl von $k$ Klassifikatoren getroffen, um das Vorhersageset $P$ zu bilden. Die endgültige Vorhersage wird durch die Aggregation der Wahrscheinlichkeitsvektoren der ausgewählten Klassifikatoren abgeleitet, wobei die Klasse mit der maximalen aggregierten Wahrscheinlichkeit gewählt wird. Diese Randomisierung erhöht die Unvorhersehbarkeit des Systems und zwingt Angreifer dazu, das System häufiger abzufragen (Queries), um die Entscheidungsgrenzen zu kartieren.

Zentrale Beiträge
Das Paper skizziert drei primäre Beiträge:

1. RESSAP-Framework: Eine neuartige Ensemble-Architektur, die die adversarielle Robustheit durch die Integration von Merkmals-Diversität und Klassifikator-Randomisierung erhöht und als Post-Training-Verbesserungsschritt fungiert.
2. Resilienz-basierte Merkmalsauswahl: Ein neuer Ansatz zur Merkmalsauswahl, der Permutationswichtigkeit und Robustheit in einer einzigen Metrik ($FSRI$) vereint, um die Bildung diverser und resilienter Merkmals-Subsets zu steuern.
3. Empirische Validierung: Experimentelle Validierung auf synthetischen Datensätzen, die zeigt, dass das Framework die Resistenz gegen Evasion-Angriffe signifikant verbessert, während die Genauigkeit auf sauberen Daten erhalten bleibt.

Ergebnisse
Die Autoren evaluierten RESSAP auf einem synthetischen Datensatz ($n=600$ Instanzen, $d=10$ Merkmale) unter Verwendung einer Multi-Line-Search (MLS) Angriffsstrategie. Die Ergebnisse wurden mit einer Baseline-Support-Vector-Machine (SVM) und ablagierten Versionen von RESSAP verglichen:

• Attack Success Rate (Angriffserfolgsrate): Das vollständige RESSAP-Modell reduzierte die Erfolgsrate eines adversariellen Angriffs auf 32,49 %, was eine signifikante Verbesserung gegenüber der Baseline-SVM (100 %) und den ablagierten Varianten (zwischen 35,63 % und 51,45 %) darstellt.
• Clean Accuracy (Genauigkeit auf sauberen Daten): RESSAP behielt eine hohe Genauigkeit auf sauberen Daten (96,5 %) bei, vergleichbar mit der Baseline (94,2 %) und anderen Varianten.
• Query Cost (Abfragekosten): Das Framework erhöhte signifikant die Anzahl der erforderlichen Abfragen, die ein Angreifer benötigt, um erfolgreich eine Vorhersage des Modells zu manipulieren. In 78,08 % der Fälle erforderte das vollständige RESSAP-Modell mehr Abfragen, um eine Vorhersage zu kippen, als die Baseline-SVM.
• Ablationsanalyse: Das Entfernen einer einzelnen Komponente (Merkmalsauswahl, zufällige Klassifikatorwahl oder Datenaugmentation) führte konsistent zu einer geringeren Robustheit, was bestätigt, dass jeder Mechanismus zur Gesamtabwehr beiträgt.

Bedeutung und Ansprüche
Das Paper behauptet, dass RESSAP eine skalierbare und flexible, modellagnostische Verteidigungsstrategie bietet. Seine Bedeutung liegt in der Fähigkeit, die Sicherheit maschineller Lernsysteme zu erhöhen, ohne massive Änderungen an bestehenden Architekturen oder Trainingsverfahren vornehmen zu müssen. Durch die Transformation eines einzelnen Modells in ein randomisiertes Ensemble erhöht RESSAP die „Abfragekosten“ (Query Cost) für Angreifer, was das Erstellen erfolgreicher Evasion-Beispiele rechenintensiver und schwieriger macht. Die Autoren betonen, dass dieser Ansatz den Trade-off zwischen Robustheit und Klassifizierungsgenauigkeit ausbalanciert und damit eine zentrale Limitation aktueller Verteidigungsmechanismen adressiert.

Die Autoren räumen bescheiden Einschränkungen ein und merken an, dass die aktuelle Evaluierung auf einem synthetisch generierten Datensatz basiert und noch nicht gegen andere, spezifisch für adversarielle Settings entwickelte robuste Architekturen verglichen wurde. Sie identifizieren zukünftige Arbeiten mit dem Fokus auf diverse reale Datensätze und einer weiteren Verfeinerung des Merkmalsauswahlprozesses.