Robustness of neural networks to random noise perturbations of their inputs

Sintesi Tecnica: Robustezza delle Reti Neurali rispetto alle Perturbazioni di Rumore Casuale dei loro Input

Definizione del Problema
Il documento affronta la valutazione della robustezza delle reti neurali (NN), specificamente riguardante la stabilità delle predizioni quando i valori di input sono perturbati da rumore casuale. Sebbene l'accuratezza (misurata tramite l'Errore Quadratico Medio, MSE, o il Brier Score Multi-classe, MBS) sia una metrica standard per la qualità del modello, essa non tiene conto della stabilità in condizioni quali il rumore gaussiano casuale. Gli autori osservano un noto compromesso (trade-off) per cui l'aumento dell'accuratezza può diminuire la robustezza. La ricerca esistente si concentra spesso sulla modifica dei pesi della rete o è limitata ai problemi di classificazione; questo lavoro tratta la rete neurale addestrata come una "black box" e si concentra sulle perturbazioni dell'input sia per compiti di regressione che di classificazione.

Metodologia
L'approccio proposto prevede una metodologia in tre fasi:

1. Perturbazione e Misura di Robustezza ($\theta$-robustezza):
   Gli autori definiscono una misura di robustezza, $\theta$, per una rete neurale addestrata dato un valore di deviazione standard $\sigma$ e un livello di significatività $\alpha$. La misura $\rho(\sigma, \alpha, NN)$ rappresenta il limite superiore dell'MSE (o MBS) della rete sotto perturbazione dell'input $\epsilon \sim N(0, \sigma^2)$ con probabilità $1-\alpha$.

• Computazione: Questo viene approssimato utilizzando un metodo Monte Carlo (Algoritmo 1). L'algoritmo genera $m$ vettori di rumore casuale, calcola l'MSE risultante per ciascuno, li ordina e seleziona il valore al percentile $(1-\alpha)m$ come limite di robustezza $\theta$.
• Gestione dell'Input: Per dataset del mondo reale con tipi di feature misti, il metodo perturba solo le feature numeriche. La varianza del rumore per una specifica feature numerica è scalata dalla sua deviazione standard empirica. Una probabilità $p$ determina se una specifica feature numerica in un elemento dei dati viene perturbata.

2. Curve di Robustezza:
   Per visualizzare la relazione tra l'entità della perturbazione e l'errore, gli autori introducono le "curve di robustezza". Queste tracciano il rapporto di robustezza normalizzato $\rho(\sigma, \alpha, NN) / \text{MSE}_0$ (dove $\text{MSE}_0$ è l'errore di base) contro la deviazione standard del rumore $\sigma$. Questa normalizzazione consente un confronto indipendente dalla scala tra diversi dataset.

3. Modellazione con la Funzione di Gompertz:
   Le curve di robustezza vengono adattate a una funzione di Gompertz a quattro parametri, una curva sigmoidea utilizzata per fenomeni di crescita e saturazione. L'adattamento è valutato tramite il coefficiente di determinazione ($R^2$). I punti chiave sulla curva sono identificati come:

• Punto di Ginocchio (Knee Point): Il punto di massima curvatura prima dell'inflessione, che segna la fine del regime lineare dove l'errore cresce lentamente.
• Punto di Inflessione: Il punto di massima velocità di crescita.
• Pendenza al Semimassimale (Half-Maximum Slope): Una soglia intermedia.

Sulla base di questi adattamenti, gli autori definiscono un Indice di Robustezza ($G_i$). Normalizzando le curve di Gompertz per rimuovere gli asintoti verticali, essi confrontano il "tasso di crescita" ($b$) e il "punto di inflessione" ($c$) di diversi dataset. Un indice di robustezza relativa ($R_{ij}$) viene calcolato per determinare la frazione dell'intervallo $[0, 1]$ in cui una curva giace al di sotto di un'altra (indicando un errore inferiore e una maggiore robustezza).

Configurazione Sperimentale e Risultati
Il metodo è stato validato su cinque dataset reali:

• Regressione: "Deaths from Cancer" (Morti per cancro) e "Flu vaccination rates" (Tassi di vaccinazione antinfluenzale) (dataset piccoli, $n=31$).
• Classificazione: "Heart disease" (Malattia cardiaca), "Wisconsin diagnostic Breast Cancer" (Tumore al seno diagnostico del Wisconsin) e "MNIST" (cifre scritte a mano).

Reti Neurali Feedforward (FNN) sono state addestrate su questi dataset. Gli autori hanno verificato che le loro prestazioni di base (MSE, RMSE, punteggi F1) erano comparabili agli standard della letteratura.

• Curve di Adattamento: La funzione di Gompertz ha fornito ottimi adattamenti per tutti i dataset ($R^2 > 0.99$), confermando la degradazione della prestazione a forma di S all'aumentare del rumore.
• Analisi delle Soglie: Per i compiti di regressione, gli autori hanno scoperto che una soglia definita dall'utente di due volte l'MSE di base ($y=2$) è una metrica sensata per la robustezza. Per i compiti di classificazione, il "punto di ginocchio" della curva è più appropriato.
• Gerarchia di Robustezza: Utilizzando l'Indice di Robustezza ($G_i$) calcolato, i dataset sono stati classificati per robustezza. Il dataset "Deaths from Cancer" ha prodotto il modello più robusto ($G_1 = 0.9866$), seguito da "Flu vaccination rates", "Breast Cancer", "Heart disease" e infine "MNIST" ($G_5 = 0.1708$). La gerarchia risultante è:
  $$\text{Deaths from Cancer} > \text{Flu vaccination rates} > \text{Breast Cancer} > \text{Heart disease} > \text{MNIST}$$

Significatività e Rivendicazioni
Il documento sostiene di fornire un metodo semplice, efficiente e "black-box" per quantificare la robustezza delle reti neurali senza richiedere l'accesso ai pesi interni o modifiche all'architettura. I contributi chiave includono:

1. Un Limite Superiore Probabilistico: Un metodo per stimare un limite superiore dell'MSE/MBS sotto rumore gaussiano con un livello di confidenza specificato.
2. Curve di Robustezza: Uno strumento di visualizzazione per analizzare la degradazione della prestazione del modello all'aumentare del rumore, rivelando regimi lineari e punti di saturazione.
3. Metrica Comparativa: L'introduzione di un indice di robustezza basato sui parametri della curva di Gompertz, che consente il confronto quantitativo della robustezza tra diversi dataset e modelli.

Gli autori concludono che, sebbene il loro metodo sia efficace per i dataset testati, il lavoro futuro dovrà convalidarlo su ulteriori dataset ed estendere il concetto di robustezza a modelli generativi come i Variational Autoencoders (VAE). Essi dichiarano esplicitamente che il metodo è valido anche per altri algoritmi di Machine Learning, purché possano essere trattati come black box deterministici una volta addestrati.