Robustness of neural networks to random noise perturbations of their inputs

Technische Samenvatting: Robuustheid van Neurale Netwerken tegen Willekeurige Ruisperturbaties van hun Inputs

Probleemstelling
Het artikel behandelt de evaluatie van de robuustheid van neurale netwerken (NN), specifiek met betrekking tot de stabiliteit van voorspellingen wanneer inputwaarden worden verstoord door willekeurige ruis. Hoewel nauwkeurigheid (gemeten via Mean Squared Error, MSE, of Multi-class Brier Score, MBS) een standaardmaatstaf is voor modelkwaliteit, houdt dit geen rekening met stabiliteit onder omstandigheden zoals willekeurige Gaussische ruis. De auteurs merken een bekende trade-off op waarbij het verhogen van de nauwkeurigheid de robuustheid kan verminderen. Bestaand onderzoek richt zich vaak op het wijzigen van netwerkgewichten of is beperkt tot classificatieproblemen; dit werk behandelt het getrainde NN als een "black box" en richt zich op inputperturbaties voor zowel regressie- als classificatietaken.

Methodologie
De voorgestelde aanpak omvat een driefasige methodologie:

1. Perturbatie en Robuustheidsmaat ($\theta$-robuustheid):
   De auteurs definiëren een robuustheidsmaat, $\theta$, voor een getraind NN gegeven een standaarddeviatie $\sigma$ en een significantieniveau $\alpha$. De maat $\rho(\sigma, \alpha, NN)$ vertegenwoordigt de bovengrens op de MSE (of MBS) van het netwerk onder inputperturbatie $\epsilon \sim N(0, \sigma^2)$ met een waarschijnlijkheid van $1-\alpha$.

   • Berekening: Dit wordt benaderd met een Monte Carlo-methode (Algoritme 1). Het algoritme genereert $m$ willekeurige ruisvectoren, berekent de resulterende MSE voor elke vector, sorteert deze en selecteert de waarde op het $(1-\alpha)m$-de percentiel als de robuustheidsgrens $\theta$.
   • Inputverwerking: Voor real-world datasets met gemengde featuretypes, perturbeert de methode alleen numerieke features. De ruisvariantie voor een specifieke numerieke feature wordt geschaald door de empirische standaarddeviatie ervan. Een waarschijnlijkheid $p$ bepaalt of een specifieke numerieke feature in een datapunt wordt geperturbeerd.

2. Robuustheidscurves:
   Om de relatie tussen de magnitude van de perturbatie en de fout te visualiseren, introduceren de auteurs "robuustheidscurves". Deze plotten de genormaliseerde robuustheidsratio $\rho(\sigma, \alpha, NN) / \text{MSE}_0$ (waarbij $\text{MSE}_0$ de baseline-fout is) tegen de standaarddeviatie van de ruis $\sigma$. Deze normalisatie maakt een schaalvrije vergelijking over verschillende datasets mogelijk.

3. Modellering met de Gompertz-functie:
   De robuustheidscurves worden gefit aan een vier-parametrische Gompertz-functie, een sigmoïdale curve die wordt gebruikt voor groei- en verzadigingsverschijnselen. De fit wordt geëvalueerd met de coëfficiënt van determinatie ($R^2$). Belangrijke punten op de curve worden geïdentificeerd:

   • Kniepunt (Knee Point): Het punt van maximale kromming vóór de inflexie, wat het einde markeert van het lineaire regime waar de fout langzaam groeit.
   • Inflexiepunt (Inflection Point): Het punt van maximale groeisnelheid.
   • Half-Maximum Helling (Half-Maximum Slope): Een intermediaire drempelwaarde.

   Op basis van deze fits definiëren de auteurs een Robuustheidsindex ($G_i$). Door de Gompertz-curves te normaliseren om verticale asymptoten te verwijderen, vergelijken zij de "groeisnelheid" ($b$) en het "inflexiepunt" ($c$) van verschillende datasets. Een relatieve robuustheidsindex ($R_{ij}$) wordt berekend om het deel van het interval $[0, 1]$ te bepalen waar de ene curve onder de andere ligt (wat duidt op een lagere fout en hogere robuustheid).

Experimentele Opzet en Resultaten
De methode werd gevalideerd op vijf real-world datasets:

• Regressie: "Deaths from Cancer" en "Flu vaccination rates" (kleine datasets, $n=31$).
• Classificatie: "Heart disease," "Wisconsin diagnostic Breast Cancer," en "MNIST" (handgeschreven cijfers).

Feedforward Neurale Netwerken (FNN's) werden getraind op deze datasets. De auteurs verifieerden dat hun baseline-prestaties (MSE, RMSE, F1-scores) vergelijkbaar waren met de standaarden in de literatuur.

• Curve Fitting: De Gompertz-functie leverde uitstekende fits voor alle datasets ($R^2 > 0,99$), wat de S-vormige degradatie van prestaties bij toenemende ruis bevestigt.
• Drempelwaalanalyse: Voor regressietaken vonden de auteurs dat een door de gebruiker gedefinieerde drempelwaarde van tweemaal de baseline MSE ($y=2$) een zinvolle metriek was voor robuustheid. Voor classificatietaken was het "kniepunt" van de curve geschikter.
• Robuustheidshiërarchie: Met behulp van de berekende Robuustheidsindex ($G_i$) werden de datasets gerangschikt op robuustheid. De dataset "Deaths from Cancer" leverde het meest robuuste model op ($G_1 = 0,9866$), gevolgd door "Flu vaccination rates," "Breast Cancer," "Heart disease," en tot slot "MNIST" ($G_5 = 0,1708$). De resulterende hiërarchie is:
  $$\text{Deaths from Cancer} > \text{Flu vaccination rates} > \text{Breast Cancer} > \text{Heart disease} > \text{MNIST}$$

Betekenis en Claims
Het artikel claimt een eenvoudige, efficiënte en black-box methode te bieden voor het kwantificeren van de robuustheid van neurale netwerken zonder toegang te vereisen tot interne gewichten of architectuurwijzigingen. Belangrijke bijdragen zijn onder meer:

1. Een Probabilistische Bovengrens: Een methode om een bovengrens op MSE/MBS te schatten onder Gaussische ruis met een gespecificeerd betrouwbaarheidsniveau.
2. Robuustheidscurves: Een visualisatietool om de degradatie van modelprestaties naarmate de ruis toeneemt te analyseren, waarbij lineaire regimes en verzadigingspunten worden onthuld.
3. Vergelijkbare Metriek: De introductie van een robuustheidsindex gebaseerd op Gompertz-curveparameters, wat een kwantitatieve vergelijking van robuustheid over verschillende datasets en modellen mogelijk maakt.

De auteurs concluderen dat hoewel hun methode effectief is voor de geteste datasets, toekomstig werk de methode op aanvullende datasets moet valideren en het concept van robuustheid moet uitbreiden naar generatieve modellen zoals Variational Autoencoders (VAEs). Zij geven expliciet aan dat de methode ook geldig is voor andere ML-algoritmen, mits deze na training als deterministische black boxes kunnen worden behandeld.