Robustness of neural networks to random noise perturbations of their inputs

Technische Zusammenfassung: Robustheit neuronaler Netze gegenüber zufälligen Rauschstörungen ihrer Eingaben

Problemstellung
Die vorliegende Arbeit befasst sich mit der Bewertung der Robustheit neuronaler Netze (NN), insbesondere hinsichtlich der Stabilität von Vorhersagen, wenn Eingabewerte durch zufälliges Rauschen gestört werden. Während die Genauigkeit (gemessen via Mean Squared Error (MSE) oder Multi-class Brier Score (MBS)) ein Standardmaß für die Modellqualität ist, berücksichtigt sie nicht die Stabilität unter Bedingungen wie etwa Gaußschem Zufallsrauschen. Die Autoren stellen fest, dass ein bekannter Zielkonflikt besteht, bei dem eine steigende Genauigkeit die Robustheit verringern kann. Die bestehende Forschung konzentriert sich oft auf die Modifikation von Netzwerkgewichten oder ist auf Klassifizierungsprobleme beschränkt; diese Arbeit behandelt das trainierte NN als „Black Box“ und konzentriert sich auf Eingabeperturbationen sowohl für Regressions- als auch für Klassifikationsaufgaben.

Methodik
Der vorgeschlagene Ansatz umfasst eine dreistufige Methodik:

1. Perturbation und Robustheitsmaß ($\theta$-Robustheit):
   Die Autoren definieren ein Robustheitsmaß, $\theta$, für ein trainiertes NN gegeben eine Standardabweichung $\sigma$ und ein Signifikanzniveau $\alpha$. Das Maß $\rho(\sigma, \alpha, NN)$ stellt die obere Schranke des MSE (oder MBS) des Netzwerks unter Eingabeperturbation $\epsilon \sim N(0, \sigma^2)$ mit einer Wahrscheinlichkeit von $1-\alpha$ dar.

• Berechnung: Dies wird mittels einer Monte-Carlo-Methode (Algorithmus 1) approximiert. Der Algorithmus generiert $m$ Zufallsrauschvektoren, berechnet den resultierenden MSE für jeden, sortiert diese und wählt den Wert am $(1-\alpha)m$-Perzentil als Robustheitsschranke $\theta$ aus.
• Umgang mit Eingaben: Für reale Datensätze mit gemischten Feature-Typen stört die Methode nur numerische Features. Die Rauschvarianz für ein spezifisches numerisches Feature wird durch dessen empirische Standardabweichung skaliert. Eine Wahrscheinlichkeit $p$ bestimmt, ob ein spezifisches numerisches Feature eines Datensatzes perturbiert wird.

2. Robustheitskurven:
   Um die Beziehung zwischen Perturbationsgröße und Fehler zu visualisieren, führen die Autoren „Robustheitskurven“ ein. Diese bilden das normalisierte Robustheitsverhältnis $\rho(\sigma, \alpha, NN) / \text{MSE}_0$ (wobei $\text{MSE}_0$ der Basisfehler ist) gegen die Standardabweichung des Rauschens $\sigma$ auf. Diese Normalisierung ermöglicht einen skalenfreien Vergleich über verschiedene Datensätze hinweg.

3. Modellierung mit der Gompertz-Funktion:
   Die Robustheitskurven werden an eine vierparametrige Gompertz-Funktion angepasst, eine sigmoide Kurve, die für Wachstums- und Sättigungsphänomene verwendet wird. Die Anpassung wird mittels des Bestimmtheitsmaßes ($R^2$) evaluiert. Wichtige Punkte auf der Kurve werden identifiziert:

• Kniepunkt (Knee Point): Der Punkt maximaler Krümmung vor dem Wendepunkt, der das Ende des linearen Regimes markiert, in dem der Fehler langsam ansteigt.
• Wendepunkt (Inflection Point): Der Punkt der maximalen Wachstumsrate.
• Halbe maximale Steigung (Half-Maximum Slope): Ein intermediärer Schwellenwert.

Basierend auf diesen Anpassungen definieren die Autoren einen Robustheitsindex ($G_i$). Durch die Normalisierung der Gompertz-Kurven zur Entfernung vertikaler Asymptoten vergleichen sie die „Wachstumsrate“ ($b$) und den „Wendepunkt“ ($c$) verschiedener Datensätze. Ein relativer Robustheitsindex ($R_{ij}$) wird berechnet, um den Anteil des Intervalls $[0, 1]$ zu bestimmen, in dem eine Kurve unter einer anderen liegt (was einen geringeren Fehler und höhere Robustheit anzeigt).

Experimenteller Aufbau und Ergebnisse
Die Methode wurde auf fünf realen Datensätzen validiert:

• Regression: „Deaths from Cancer“ und „Flu vaccination rates“ (kleine Datensätze, $n=31$).
• Klassifikation: „Heart disease“, „Wisconsin diagnostic Breast Cancer“ und „MNIST“ (handgeschriebene Ziffern).

Feedforward Neural Networks (FNNs) wurden auf diesen Datensätzen trainiert. Die Autoren verifizerten, dass ihre Baseline-Performance (MSE, RMSE, F1-Scores) mit Literaturstandards vergleichbar war.

• Kurvenanpassung: Die Gompertz-Funktion lieferte exzellente Anpassungen für alle Datensätze ($R^2 > 0,99$), was die S-förmige Degradation der Performance mit zunehmendem Rauschen bestätigt.
• Schwellenwertanalyse: Für Regressionsaufgaben fanden die Autoren heraus, dass ein benutzerdefinierter Schwellenwert von der zweifachen Baseline-MSE ($y=2$) ein sinnvolles Maß für die Robustheit ist. Für Klassifikationsaufgaben ist der „Kniepunkt“ der Kurve angemessener.
• Robustheitshierarchie: Unter Verwendung des berechneten Robustheitsindex ($G_i$) wurden die Datensätze nach ihrer Robustheit geordnet. Der Datensatz „Deaths from Cancer“ lieferte das robusteste Modell ($G_1 = 0,9866$), gefolgt von „Flu vaccination rates“, „Breast Cancer“, „Heart disease“ und schließlich „MNIST“ ($G_5 = 0,1708$). Die resultierende Hierarchie lautet:
  $$\text{Deaths from Cancer} > \text{Flu vaccination rates} > \text{Breast Cancer} > \text{Heart disease} > \text{MNIST}$$

Bedeutung und Ansprüche
Das Paper behauptet, eine einfache, effiziente und Black-Box-Methode zur Quantifizierung der Robustheit neuronaler Netze bereitzustellen, die keinen Zugriff auf interne Gewichte oder Architekturmodifikationen erfordert. Zu den Kernbeiträgen gehören:

1. Eine probabilistische obere Schranke: Eine Methode zur Schätzung einer oberen Schranke des MSE/MBS unter Gaußschem Rauschen mit einem spezifizierten Konfidenzniveau.
2. Robustheitskurven: Ein Visualisierungswerkzeug zur Analyse der Degradation der Modellperformance bei zunehmendem Rauschen, welches lineare Regime und Sättigungspunkte aufzeigt.
3. Vergleichendes Metrik: Die Einführung eines Robustheitsindex basierend auf Gompertz-Kurvenparametern, der den quantitativen Vergleich der Robustheit über verschiedene Datensätze und Modelle hinweg ermöglicht.

Die Autoren kommen zu dem Schluss, dass ihre Methode zwar für die getesteten Datensätze effektiv ist, zukünftige Arbeiten jedoch die Validierung auf zusätzlichen Datensätzen sowie die Erweiterung des Robustheitskonzepts auf generative Modelle wie Variational Autoencoders (VAEs) vorsehen sollten. Sie geben explizit an, dass die Methode auch für andere ML-Algorithmen gültig ist, sofern diese nach dem Training als deterministische Black Boxes behandelt werden können.