Non-Parametric Probabilistic Robustness: A Conservative Risk Estimator under Unknown Perturbation Distributions

Riepilogo Tecnico: Robustezza Probabilistica Non Parametrica (NPPR)

1. Definizione del Problema

Si sa che i modelli di deep learning (DL) sono vulnerabili a piccole perturbazioni degli input. Mentre la Robustezza Avversaria (AR) affronta attacchi deterministici e peggiori (worst-case), la Robustezza Probabilistica (PR) è emersa come una metrica complementare per quantificare la probabilità che un modello mantenga un comportamento corretto sotto perturbazioni casuali e stocastiche (ad esempio, rumore dei sensori o attacchi brute-force).

Tuttavia, le formulazioni esistenti di PR soffrono di un limite critico: assumono che la distribuzione delle perturbazioni sia fissa e nota a priori (ad esempio, assumendo rumore Gaussiano o Uniforme). Negli scenari pratici, la vera distribuzione delle perturbazioni è raramente nota. Fare affidamento su una distribuzione arbitraria e predefinita può portare a una sottostima del rischio, poiché la distribuzione scelta potrebbe non rappresentare il comportamento stocastico "peggiore" all'interno del budget ammissibile. È necessario un metric di robustezza che non dipenda da assunzioni distributive predefinite, ma che derivi invece una stima conservativa direttamente dai dati.

2. Metodologia

Il documento propone la Robustezza Probabilistica Non Parametrica (NPPR), un framework che apprende una distribuzione di perturbazione ottimizzata dai dati per fornire una stima conservativa (limite inferiore) della robustezza.

Definizioni Core:

• Metrica NPPR: Formalmente definita come l'infimo della PR su un insieme di distribuzioni di perturbazione ammissibili ($\mathcal{P}_\epsilon$). A differenza della standard PR che utilizza un $\omega$ fisso, la NPPR cerca la distribuzione $\omega \in \mathcal{P}_\epsilon$ che minimizza la probabilità che il modello rimanga corretto:
  $$S_{NPPR}(x, y) \triangleq \inf_{\omega \in \mathcal{P}_\epsilon} \mathbb{E}_{\epsilon \sim \omega(\cdot|x)} [\mathbb{1}_{h(x+\epsilon)=y}]$$
• Limiti Teorici: Gli autori stabiliscono che $G_{AR} \le G_{NPPR} \le G_{PR}$, dove $G$ rappresenta la robustezza globale. La NPPR funge da misura più conservativa rispetto alla standard PR, ma è generalmente superiore alla AR worst-case.

Framework di Stima:
Per stimare la NPPR, gli autori sviluppano uno stimatore apprendibile basato su un Modello a Miscela Gaussiana (GMM):

1. Modellazione della Distribuzione: La distribuzione delle perturbazioni è approssimata da un GMM finito con $K$ componenti. I parametri (pesi, medie, covarianze) vengono appresi per minimizzare la robustezza del modello.
2. Scenari di Dipendenza: Il framework supporta quattro strutture di dipendenza tra perturbazioni e input/label:
   • Indipendente dall'input: Il rumore è statico per tutti gli input.
   • Dipendente dalla label: Il rumore varia in base alle etichette reali (ground-truth).
   • Dipendente dall'input: Il rumore varia in base alle caratteristiche dell'input.
   • Dipendenza congiunta: Una combinazione delle precedenti.
3. Ottimizzazione e Addestramento:
   • L'obiettivo è minimizzare la perdita attesa (margine del logit) sulla distribuzione appresa.
   • Poiché il GMM comporta un campionamento discreto (selezione di una componente), viene impiegata la tecnica Gumbel-Softmax per creare una rilassazione differenziabile, consentendo l'addestramento end-to-end tramite Stochastic Gradient Descent (SGD).
   • Architettura: Una testa MLP (Multi-Layer Perceptron) leggera parametrizza il GMM. Per gestire spazi di immagini ad alta dimensionalità, le perturbazioni sono modellate in uno spazio di caratteristiche a bassa dimensionalità e mappate nuovamente nello spazio di input tramite up-sampling bicubico.
   • Vincolo: Una mappatura tanh scalata assicura che le perturbazioni rimangano entro il budget della norma $L_p$ prescritto.

3. Contributi Chiave

1. Metrica Formale: Il documento estende il concetto di Robustezza Probabilistica a un contesto non parametrico, definendo formalmente la NPPR e relazionandola teoricamente ad AR e alla standard PR.
2. Sviluppo dello Stimatore: Viene sviluppato uno stimatore NPPR pratico utilizzando un GMM con rilassamento Gumbel-Softmax. Esso apprende una distribuzione di perturbazione conservativa senza assumere un prior fisso, con garanzie teoriche sulla convergenza dell'obiettivo rilassato.
3. Valutazione Completa: L'approccio è validato attraverso molteplici dataset (CIFAR-10, CIFAR-100, Tiny ImageNet) e architetture (ResNet18/50, WideResNet50, VGG16).
4. Open Source: Gli autori rilasciano l'implementazione completa e i dettagli sperimentali.

4. Risultati Sperimentali

Gli esperimenti dimostrano che la NPPR fornisce una stima della robustezza più realistica e conservativa rispetto ai metodi di PR standard che assumono distribuzioni fisse (Gaussiana, Uniforme, Laplace).

• Stime Conservative: In tutti i modelli e dataset testati, la stima della NPPR globale ($\hat{G}_{NPPR}$) è costantemente inferiore alle stime di PR derivate da distribuzioni fisse (ad esempio, su CIFAR-10 con ResNet18, $\hat{G}_{NPPR} \approx 76.29\%$ rispetto a $\hat{G}_{PR}^{Gaussian} \approx 95.28\%$), pur essendo superiore alla AR worst-case (ad esempio, $\approx 3.10\%$). Ciò valida il limite teorico $G_{AR} \le G_{NPPR} \le G_{PR}$.
• Impatto della Dipendenza: Lo studio mostra che permettere alla distribuzione di perturbazione di dipendere dagli input o dalle label (Dipendenza congiunta o dall'input) produce generalmente stime di robustezza più conservative (più basse) rispetto alle assunzioni indipendenti dall'input.
• Ablation: L'aumento del numero di componenti del GMM ($K$) migliora generalmente l'espressività della distribuzione appresa, portando a punteggi NPPR più bassi (più conservativi).
• Analisi Cross-Radius: Gli stimatori addestrati a raggi di perturbazione più grandi tendono a produrre stime leggermente più conservative quando valutati a raggi maggiori, dimostrando stabilità attraverso diversi vincoli di budget.

5. Significato e Rivendicazioni

Il documento posiziona la NPPR non come un nuovo metodo di attacco, ma come un estimatore di rischio conservativo per i valutatori. Il suo significato primario risiede nel colmare il divario della "distribuzione sconosciuta" nelle attuali valutazioni di robustezza.

• Praticità: Rimuovendo l'assunzione irrealistica di una distribuzione di perturbazione nota, la NPPR offre una metrica che è più implementabile in scenari reali dove le fonti di rumore (deriva dei sensori, rumore ambientale) sono complesse e sconosciute.
• Complementarità: Gli autori dichiarano esplicitamente che la NPPR non sostituisce AR o PR. Al contrario, le integra fornendo una stima del limite inferiore della robustezza probabilistica quando la natura esatta delle perturbazioni stocastiche è ignota.
• Sicurezza: Identificando la distribuzione stocastica "peggiore" all'interno di un insieme ammissibile, la NPPR aiuta a rispondere alla domanda critica: "Se l'input è soggetto a perturbazioni stocastiche sconosciute, quanto può essere robusto il modello, almeno?" Ciò fornisce un margine di sicurezza che le metriche di PR a distribuzione fissa potrebbero trascurare.