Sharpness-Aware Minimization with Z-Score Gradient Filtering

1. Il Problema

Le reti neurali profonde (DNN) ottengono prestazioni elevate in molti domini, ma spesso soffrono di problemi di generalizzazione quando l'ottimizzazione è influenzata da componenti di gradiente piccole o rumorose.

• Minimi Acuti (Sharp Minima): La scarsa generalizzazione è spesso attribuita alla convergenza verso "minimi acuti", regioni del paesaggio di perdita ad alta curvatura dove piccole perturbazioni dei parametri causano grandi aumenti della perdita.
• Limiti dello Sharpness-Aware Minimization (SAM): SAM è una tecnica consolidata che migliora la generalizzazione perturbando i parametri nella direzione del gradiente per minimizzare la perdita nel caso peggiore all'interno di una sfera $\ell_2$. Tuttavia, SAM utilizza l'intero vettore del gradiente per costruire la direzione di ascesa.
  • Questo include molte componenti a bassa magnitudine che forniscono poca informazione sulla curvatura e riflettono principalmente il rumore del minibatch.
  • Poiché il gradiente viene normalizzato prima della perturbazione, anche coordinate rumorose e minuscole influenzano la direzione di ascesa tanto quanto quelle grandi e informative.
  • Questo distorce la perturbazione, la disallinea rispetto alle direzioni di curvatura significativa e amplifica la stocasticità negli spazi parametrici ad alta dimensionalità.

2. Metodologia: ZSharp

Gli autori propongono ZSharp (Z-Score Filtered Sharpness-Aware Minimization), un metodo che integra la normalizzazione Z-score e il filtraggio statistico all'interno del framework SAM.

• Idea Principale: Invece di utilizzare tutte le componenti del gradiente, ZSharp costruisce una maschera binaria per mantenere solo la percentuale superiore (es. top 5%) delle componenti con i valori assoluti di Z-score più elevati.
• Procedura Tecnica:
  1. Normalizzazione Z-score per Layer: Per ogni layer $\ell$, i gradienti $g^{(\ell)}$ vengono normalizzati indipendentemente calcolando la media $\mu$ e la deviazione standard $\sigma$ dei componenti del gradiente in quel layer.
     $$\Omega(g^{(\ell)})_i = \frac{g^{(\ell)}_i - \mu(g^{(\ell)})}{\sigma(g^{(\ell)})}$$
     Questo centra e ridimensiona i gradienti, enfatizzando le componenti che si discostano maggiormente dalla media statistica del layer.
  2. Filtraggio Percentilico: Viene calcolato un valore di soglia $q_{Q_p}$ corrispondente al percentile $Q_p$ dei valori assoluti dei gradienti normalizzati.
  3. Mascheramento: Viene creata una maschera binaria $m$ che mantiene le componenti dove $|\Omega(\nabla L(w))_j| > q_{Q_p}$.
  4. Perturbazione Selettiva: Il gradiente filtrato $\nabla L(w)_\Omega = \nabla L(w) \odot m$ viene utilizzato al posto del gradiente completo nella fase di ascesa di SAM per calcolare la perturbazione $\epsilon$. Se il gradiente filtrato è nullo, si ricade sul gradiente originale per stabilità numerica.
• Vantaggi: Questo approccio riduce l'influenza del rumore, focalizzando la ricerca su direzioni statisticamente significative che meglio riflettono la geometria locale della perdita, portando a minimi più piatti.

3. Contributi Chiave

1. Nuovo Algoritmo (ZSharp): Introduzione di un metodo di ottimizzazione che combina SAM con il filtraggio basato su Z-score, richiedendo un solo iperparametro aggiuntivo ($Q_p$, la soglia del percentile).
2. Analisi Teorica di Convergenza: Gli autori adattano la prova di convergenza standard di SAM al caso ZSharp. Dimostrano che, sotto le stesse ipotesi di smoothness ($\beta$-smoothness) e varianza limitata, ZSharp mantiene le garanzie di convergenza ai punti stazionari. Il filtraggio non ostacola la convergenza.
3. Compatibilità: Il metodo è compatibile con vari ottimizzatori di base (SGD, AdamW) e architetture (CNN, Transformer), senza richiedere modifiche strutturali alla rete.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CIFAR-10, CIFAR-100 e Tiny-ImageNet utilizzando architetture ResNet (56, 110), VGG-16/BN e Vision Transformers (ViT).

• Prestazioni: ZSharp supera costantemente o eguaglia SAM e le sue varianti (ASAM, Friendly-SAM) in termini di accuratezza di test (Top-1).
  • Su ResNet-56 con CIFAR-10, ZSharp raggiunge il 92.64% di accuratezza, superando SAM (91.60%) e ASAM (92.28%).
  • Su ViT, i miglioramenti sono particolarmente evidenti, indicando che il filtraggio è cruciale per modelli basati su Transformer.
• Trade-off Training/Test: Come previsto dalla teoria dei minimi piatti, ZSharp mostra spesso una loss di training leggermente più alta rispetto ad altri metodi, ma una accuratezza di test superiore. Questo conferma che il metodo evita l'overfitting cercando soluzioni più robuste.
• Sensibilità all'Iperparametro ($Q_p$): L'analisi mostra che un valore di $Q_p = 0.95$ (mantenendo solo il top 5% dei gradienti) offre le prestazioni ottimali. Valori più bassi (che mantengono più gradienti) si avvicinano al comportamento di SAM standard, riducendo i benefici.

5. Significato e Impatto

• Efficienza nella Generalizzazione: ZSharp dimostra che non è necessario utilizzare l'intero gradiente per stimare la "sharpness" (acutità) della perdita. Filtrare statisticamente il rumore permette di trovare direzioni di curvatura più affidabili.
• Semplicità: A differenza di altre varianti di SAM che possono richiedere calcoli di curvatura complessi o più iperparametri, ZSharp è semplice da implementare e richiede solo la definizione di una soglia percentilica.
• Rilevanza per Modelli Moderni: Il successo su Vision Transformers suggerisce che il filtraggio del gradiente è particolarmente utile per modelli moderni ad alta dimensionalità dove il rumore del gradiente è più pronunciato.

In sintesi, il paper propone una soluzione elegante ed efficace per migliorare la generalizzazione delle DNN, risolvendo il problema del rumore nei gradienti all'interno del framework SAM attraverso un semplice ma potente filtro statistico basato sugli Z-score.