RMF: A Risk Measurement Framework for Machine Learning Models

Technisches Resümee: RMF: Ein Risikomessungs-Framework für Machine-Learning-Modelle

Problemstellung
Maschinelle Lernmodelle (ML), insbesondere Deep-Learning-Systeme, werden zunehmend in sicherheits- und sicherheitskritischen Anwendungen wie dem autonomen Fahren und der medizinischen Diagnose eingesetzt. Diese Proliferation führt zu erheblichen Risiken durch Adversarial Machine Learning, bei dem neuronale Netze (NNs) böswillig beeinflusst werden. Speziell adressiert das Paper die Herausforderung, das mit Poisoning-Angriffen (einer Untergruppe von Backdoor-Angriffen) verbundenen Risiko zu quantifizieren, die dazu führen, dass NNs während der Inferenz Bildetiketten falsch klassifizieren. Während die Existenz dieser Bedrohungen gut dokumentiert ist, mangelt es an standardisierten Methoden, um das Ausmaß des Schadens einer Attacke und den Aufwand, den ein Angreifer zur Ausführung benötigt, zu messen. Die Autoren argumentieren, dass ohne solche Messungen die Sicherheitsleistung von ML-Systemen nur schwer objektiv bewertet oder aussagekräftige Risikowerte abgeleitet werden können.

Methodik
Das Paper schlägt ein Risk Measurement Framework (RMF) vor, das auf dem Standard ISO/IEC 27004:2016 für die Messung der Informationssicherheit basiert. Die Methodik folgt einem strukturierten Prozess:

1. Attributdefinition: Das Framework definiert spezifische Attribute zur Messung des Risikos, die in zwei Hauptgruppen unterteilt sind:

   • Aufwand des Angreifers (Attacker's Effort): Umfasst Wissen des Angreifers (White-Box vs. Black-Box), Ziel des Angreifers (Schritte zum Erreichen des Ziels), Angriffsspezifität (Schritte zur gezielten oder zufälligen Zielsetzung von Labels) sowie Angriffszeit (Trainings- und Inferenzdauer) und Rechenressourcen (CPU/GPU-Auslastung).
   • Ausmaß des Schadens (Extent of Damage): Gemessen anhand von Standard-ML-Metriken einschließlich Accuracy, F1-Score, Average Precision und Average Recall.

2. Messprozess:

   • Datenerhebung: Das Framework nutzt das Adversarial Robustness Toolbox (ART), um Backdoor-Angriffe auf ein Ziel-NN auszuführen.
   • Basismaße: Das System zeichnet Rohdaten während des Angriffs auf, wie z. B. die Trainingszeit, den Verbrauch der Hardware-Ressourcen und die Anzahl der vom Angreifer durchlaufenen prozeduralen Schritte.
   • Abgeleitete Maße: Messfunktionen aggregieren diese Basismaße.
     • Schadensberechnung: Um den Schaden zu quantifizieren, invertiert das Framework die ML-Metriken (z. B. wenn die Accuracy auf 0,06 sinkt, wird dies in 0,94 umgewandelt). Diese Invertierung stellt sicher, dass eine niedrigere ursprüngliche Metrik (höherer Schaden) zu einem höheren Schadenswert führt. Diese invertierten Werte werden dann integriert, um einen zusammengesetzten „Extent of Damage“ zu bilden.
     • Aufwandsberechnung: Das Framework aggregiert die Angriffszeit, die Rechenressourcen und die Gesamtzahl der Schritte (abgeleitet aus Wissen, Ziel und Spezifität), um einen zusammengesetzten „Attacker's Effort“ zu bilden.

3. Risikointerpretation: Das Framework kombiniert Schaden und Aufwand nicht zu einem einzigen skalaren Risikowert. Stattdessen behandelt es diese als vier distinkte Werte (Damage, Time, Resources, Steps), die einzeln interpretiert werden müssen. Die Autoren merken an, dass eine Standardisierung des Aufwands derzeit aufgrund der Variabilität der Einheiten (Sekunden, MB, natürliche Zahlen) und des Fehlens vergleichbarer Baseline-Daten für verschiedene Angriffsarten unmöglich ist.

Fallstudie und Ergebnisse
Das Framework wurde mittels einer Fallstudie evaluiert, die ein Convolutional Neural Network (CNN) umfasst, das auf einem Datensatz von 133.000 deutschen Straßenschildern (70 Labels) trainiert wurde.

• Setup: Ein Clean-Label-Backdoor-Angriff wurde durchgeführt, indem 50 % der Trainingsdaten vergiftet wurden, um zufällige Bilder auf ein spezifisches Ziel-Label (Label 10) fehlzuklassifizieren.
• Hardware: Das Experiment lief auf einer AMD Ryzen 7 5800X CPU und einer NVIDIA GeForce RTX 3060 Ti GPU.
• Ergebnisse:
  • Schaden: Der Angriff verursachte eine drastische Reduktion der Performance. Die ursprüngliche Accuracy sank von 0,94 auf 0,06. Der berechnete zusammengesetzte „Extent of Damage“ betrug 4,62.
  • Aufwand: Der Angriff erforderte 21 Gesamtschritte (Kombination aus Wissen, Ziel und Spezifität), dauerte 1037,23 Sekunden zur Ausführung und verbrauchte 9 % CPU sowie 8137,81 MB GPU Speicher.
  • Risikoklassifizierung: Basierend auf der Risikoklassifizierung des European Telecommunication Standards Institute (ETSI) wurden die Ergebnisse als kritisches Risiko eingestuft. Das Fehlen von Gegenmaßnahmen ermöglichte maximalen Schaden bei relativ geringem Aufwand des Angreifers.

Zentrale Beiträge
Das Paper leistet drei primäre Beiträge:

1. Attributvorschlag: Es schlägt eine Reihe quantitativer und qualitativer Attribute vor (einschließlich Rechenressourcen und spezifischer Angriffsschritte), die während der Messmethoden für ML-Sicherheit zu instanziieren sind.
2. Messfunktionen: Es entwickelt spezifische Funktionen zur Berechnung von Werten, die das Ausmaß des Schadens und den Aufwand des Angreifers repräsentieren, unter Einhaltung der Richtlinien von ISO/IEC 27004:2016.
3. Evaluierung und Interpretation: Es evaluiert diese berechneten Werte durch eine Fallstudie und demonstriert, wie das endgültige Risiko eines Angriffs interpretiert werden kann, ohne dabei spezifische Gegenmaßnahmen vorzuschlagen.

Bedeutung und Ansprüche
Die Autoren positionieren diese Arbeit als Werkzeug, um die Sicherheitsleistung zu verbessern, indem sie die Messung von Risiken während der Entwicklungsphase von NNs ermöglicht, noch vor deren Einsatz. Das Paper stellt explizit klar, dass es keine Gegenmaßnahmen vorschlägt; sein einziger Fokus liegt auf der Messung und Bewertung des Risikos.

Die Bedeutung des RMF liegt in seiner Fähigkeit:

• Das potenzielle Schadensausmaß von Adversarial Attacks auf standardisierte Weise zu quantifizieren.
• Objektiv zu messen, welche Ressourcen und Schritte ein Angreifer investieren muss.
• Aufzuzeigen, dass ohne Gegenmaßnahmen Backdoor-Angriffe zu kritischen Risiken führen können (z. B. die Fehlklassifizierung eines Stoppschilds als Geschwindigkeitsbegrenzung bei autonomen Fahrzeugen) bei gleichzeitig geringem Aufwand des Angreifers.

Die Autoren schließen bescheiden mit dem Hinweis, dass das Framework zwar das Risiko in einer kontrollierten Umgebung erfolgreich misst, die Fähigkeit, Risiken über verschiedene Angriffe hinweg zu vergleichen oder eine umfassende Risikomatrix zu erstellen, jedoch derzeit durch den Mangel an vergleichbaren Daten begrenzt ist. Zukünftige Arbeiten erfordern die Messung weiterer Angriffe, um einen Datensatz aufzubauen, der eine spezifischere Entwicklung von Gegenmaßnahmen und eine bessere Risikostandardisierung ermöglicht.