Sintesi Tecnica: Misurare la Robustezza del Modello tramite l'Informazione di Fisher

1. Definizione del Problema

Le reti neurali profonde (DNN) sono sempre più impiegate in applicazioni critiche per la sicurezza, eppure la loro vulnerabilità alle perturbazioni avversarie rimane una minaccia significativa. I metodi esistenti di valutazione della robustezza soffrono di due limitazioni primarie:

1. Dipendenza dall'Attacco: Le metriche empiriche (ad es., PGD, AutoAttack) dipendono da specifici algoritmi avversari. Sono computazionalmente costose, sensibili agli iperparametri e non riescono a rivelare le proprietà intrinseche del modello o a generalizzare verso modelli di minaccia sconosciuti.
2. Mancanza di Interpretabilità e Scalabilità: I limiti derivati teoricamente (ad es., costanti di Lipschitz, punteggi CLEVER) sono spesso agnostici rispetto all'attacco ma mancano di un'interpretazione probabilistica. Inoltre, sono difficili da scalare ad architetture moderne come i Transformer a causa di confini sfumati o di una complessità computazionale esponenziale.

Esiste un vuoto critico per un framework unificato e interpretabile che connetta la sensibilità geometrica con l'incertezza statistica per fornire una metrica di robustezza agnostica rispetto all'attacco.

2. Metodologia

Fondamento Teorico: FIM come Metrica di Robustezza

Gli autori propongono un framework basato sulla geometria dell'informazione. Essi stabiliscono una connessione fondamentale tra la divergenza di Kullback-Leibler (KL) delle distribuzioni di output e la Matrice dell'Informazione di Fisher (FIM).

• Teorema 1: La divergenza KL tra due distribuzioni condizionali $p(y|x)$ e $p(y|x')$ è approssimativamente uguale alla metà della distanza di Mahalanobis tra gli input, dove la matrice di covarianza è l'inversa della FIM.
  $$KL(p(y|x), p(y|x')) \approx \frac{1}{2}\delta^T F(x) \delta$$
  dove $\delta = x' - x$. Ciò implica che la direzione della massima divergenza KL (la perturbazione peggiore) si allinea con l'autovettore principale della FIM.

• Teorema 2: Per un modello di classificazione con uno strato di output softmax, la FIM è equivalente alla varianza della matrice Jacobiana di input, pesata dalle probabilità predittive del modello:
  $$F(x) = \text{var}(J_f(x))$$
  Ciò rivela che la FIM cattura non solo la sensibilità geometrica (tramite la Jacobiana) ma anche l'incertezza statistica del modello. Un'alta varianza nelle direzioni del gradiente pesata da una bassa confidenza indica un'alta vulnerabilità.

Definizione della Metrica di Robustezza

Basandosi sulla norma spettrale della FIM, $\|F(x)\|_2$ (il più grande autovalore), gli autori definiscono due metriche per un dataset $S$:

1. $R_{norm}(S)$: La norma spettrale media, positivamente correlata con la vulnerabilità.
2. $R_{spec}(S)$: L'inverso della norma spettrale media, fungendo da punteggio di robustezza.

Limiti Teorici e Analisi Architetturale

Il documento deriva limiti superiori a forma chiusa per i componenti architettonici comuni (Tabella 1) e analizza la loro propagazione attraverso reti profonde (Tabella 2):

• Componenti di Base: ReLU e Max Pooling hanno una norma spettrale di 1 (propagazione equidistante). L'Average Pooling riduce la norma ($1/k$). Il Batch/Layer Normalization può amplificare o sopprimere le perturbazioni in base ai fattori di scala. Gli strati lineari (Conv/FC) sono le fonti primarie di amplificazione della perturbazione.
• Classifica Architetturale: Analizzando il prodotto dei limiti dei componenti, gli autori derivano una classifica teorica di robustezza per le architetture comuni:
  $$\text{DenseNet121} \lesssim \text{VGG16} \lesssim \text{ResNet18} \lesssim \text{ViT-B-16}$$
  Ciò suggerisce che le architetture con connessioni residue e meccanismi di attenzione (come ViT) possiedono intrinsecamente limiti superiori della norma spettrale più bassi rispetto alle CNN dense o semplici.

Algoritmi Scalabili

Per affrontare il costo computazionale della stima della norma spettrale della FIM $d \times d$ (dove $d$ è la dimensione dell'input), gli autori sfruttano la struttura a basso rango della FIM ($F(x) = Q\Lambda Q^T$, dove il rango $\le K$, il numero di classi). Propongono tre algoritmi:

1. Decomposizione Autovale Diretta: Adatta per piccoli $K$. Complessità: $O(dK^2 + K^3)$.
2. Iterazione di Potenza (Power Iteration): Efficiente per modelli di media scala. Sfrutta la struttura $Q(\Lambda(Q^T b))$ per evitare la costruzione esplicita della matrice. Complessità: $O(TdK)$.
3. Approssimazione di Hutchinson: Progettata per contesti su larga scala e black-box. Stima l'autovalore principale utilizzando vettori casuali (Gaussiani o di Rademacher) e differenze finite per la stima del gradiente in scenari black-box. Complessità: $O(MdK)$.

3. Contributi Chiave

1. Prima Metrica di Robustezza Basata su FIM: Propone una metrica agnostica rispetto all'attacco e interpretabile basata sulla norma spettrale della FIM, fornendo una misura diretta della sensibilità nel caso peggiore fondata sulla teoria probabilistica.
2. Classifica Teorica della Robustezza: Deriva i limiti spettrali a forma chiusa per i componenti comuni e fornisce la prima classifica teorica di robustezza per le architetture VGG, ResNet, DenseNet e Transformer.
3. Algoritmi Scalabili: Progetta algoritmi efficienti (Power Iteration, Hutchinson) che supportano valutazioni sia white-box che black-box, consentendo l'applicazione a modelli su larga scala.
4. Validazione Empirica: Valida estensivamente la metrica attraverso molteplici dataset (CIFAR, ImageNet, Medical) e architetture, dimostrando una forte correlazione con la vulnerabilità avversaria.

4. Risultati Sperimentali

• Correlazione con gli Attacchi: Gli esperimenti mostrano una forte correlazione tra la norma spettrale della FIM proposta e le metriche basate su attacchi (PGD, CW, CLEVER). Ad esempio, i modelli con norme spettrali FIM inferiori mostrano generalmente una maggiore robustezza contro gli attacchi PGD e CW.
• Consistenza Architetturale: Le classifiche empiriche su dataset come CIFAR-10 si allineano ampiamente con i limiti teorici, confermando che DenseNet è meno robusta e ViT è più robusta tra i modelli testati.
• Capacità Black-Box: Il framework riesce a stimare la robustezza in contesti black-box utilizzando le differenze finite, ottenendo classifiche coerenti con le valutazioni white-box.
• Stabilità: Le metriche basate su FIM mostrano una varianza inferiore tra i diversi campioni di dati rispetto ai tassi di successo degli attacchi discreti (PGD/CW), che fluttuano significativamente a causa della loro natura non differenziabile.
• Efficienza Computazionale: Sebbene leggermente più lenti delle stime Lipschitz o CLEVER a causa della necessità di informazioni del secondo ordine (varianza), i algoritmi proposti sono significativamente più efficienti dell'esecuzione di attacchi avversari completi (ad es., PGD) e forniscono informazioni diagnostiche più ricche.

5. Significato e Impatto

Il documento sostiene di far avanzare la comprensione teorica e la valutazione pratica della robustezza del modello:

• Unificazione delle Prospettive: Unisce la sensibilità geometrica (Jacobiana) e l'incertezza probabilistica (FIM) in un unico framework interpretabile.
• Utilità Diagnostica: Funge da strumento per spiegare perché un modello è vulnerabile (ad es., alta varianza nelle direzioni del gradiente) piuttosto che solo quanto è robusto sotto un attacco specifico.
• Selezione del Modello: Offre un metodo fondato per confrontare le architetture e selezionare modelli con robustezza intrinseca, riducendo la dipendenza da costosi test avversari empirici.
• Applicazioni Critiche per la Sicurezza: Fornisce una metrica che non dipende da specifici algoritmi di attacco, contribuendo così alla progettazione di modelli più affidabili per sistemi autonomi, sanità e finanza.

Gli autori segnalano i limiti, tra cui la dipendenza dai dati (la metrica riflette sia le proprietà del modello che quelle dei dati) e l'overhead computazionale per modelli estremamente grandi (ad es., LLM con miliardi di parametri), suggerendo lavori futuri su limiti indipendenti dai dataset e campionamento distribuito.