Riepilogo Tecnico: Risolvere la Perdita, non il Raggio: Ripensare la Perturbazione Avversaria della Minimizzazione Consapevole della Sharpness

1. Enunciato del Problema

Le Reti Neurali Profonde (DNN) soffrono spesso di sovrapparametrizzazione e di paesaggi di perdita non convessi, portando a numerosi ottimi locali con diverse capacità di generalizzazione. L'ipotesi prevalente suggerisce che i "minimi piatti" (regioni con bassa curvatura) generalizzino meglio dei "minimi acuti". La Minimizzazione Consapevole della Sharpness (SAM) è stata proposta per affrontare questo problema minimizzando la perdita nel caso peggiore all'interno di un raggio fisso nello spazio dei parametri $\rho$.

Tuttavia, gli autori identificano un fondamentale mismatch a livello di meccanismo in SAM e nelle sue varianti:

• L'Ideale: La piattezza è intrinsecamente una proprietà del secondo ordine, caratterizzata dalla curvatura locale (Hessiana) del paesaggio di perdita.
• La Realtà: SAM costruisce il proprio obiettivo avversario utilizzando un'approssimazione lineare del primo ordine. All'interno di un raggio fisso $\rho$, la perturbazione è allineata alla direzione del gradiente. Di conseguenza, il segnale di apprendimento risultante è dominato dalla norma del gradiente ($\rho \|\nabla L(w)\|$) piuttosto che dalla curvatura.
• La Conseguenza: Poiché la norma del gradiente domina il segnale, l'efficacia di SAM è in gran parte rimandata alle fasi finali dell'addestramento, quando i gradienti diventano naturalmente abbastanza piccoli da rendere i termini di curvatura comparabili. Questo crea una discrepanza tra il meccanismo di addestramento e l'obiettivo di trovare minimi piatti durante l'intero processo di ottimizzazione.

2. Metodologia: SAM Equilibrato nella Perdita (LE-SAM)

Per risolvere questo mismatch, gli autori propongono il SAM Equilibrato nella Perdita (LE-SAM), una riformulazione a livello di meccanismo che inverte il paradigma tradizionale SAM. Invece di fissare il raggio di perturbazione nello spazio dei parametri, LE-SAM fissa un budget nello spazio della perdita $\sigma$.

Meccanismo Principale

Ispirato dal classico passo di Polyak, LE-SAM scalarizza la variazione di perdita del primo ordine.

1. Budget Fisso: Invece di fissare $\rho$, l'algoritmo fissa un aumento target della perdita $\sigma$ nello spazio della perdita.
2. Risoluzione Inversa del Raggio: Il raggio di perturbazione $\rho_t$ è calcolato dinamicamente per garantire che la variazione di perdita del primo ordine corrisponda al budget $\sigma$:
   $$\rho_t = \frac{\sigma}{\|\nabla L(w)\|_2 + \varrho}$$
   dove $\varrho$ è una piccola costante per la stabilità numerica.
3. Perdita Surrogata: Sostituendo questo raggio adattivo nell'espansione di Taylor della perdita, il termine del primo ordine diventa una costante scalare $\sigma$:
   $$L(w + \epsilon_t) \approx L(w) + \underbrace{\sigma}_{\text{costante scalare}} + \frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$$
   Poiché $\nabla_w \sigma = 0$, la penalità della norma del gradiente viene efficacemente rimossa dal segnale di ottimizzazione. Il segnale di apprendimento è spostato interamente verso il termine di curvatura del secondo ordine ($\frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$).

Strategie di Stabilizzazione

Per prevenire l'instabilità quando le norme dei gradienti sono piccole (il che potrebbe portare a $\rho_t$ eccessivamente grandi), LE-SAM impiega due salvaguardie:

• Limitazione del Raggio: Viene imposto un raggio massimo $\rho_{max}$.
• Annealing del Budget di Perdita: Il budget $\sigma$ viene gradualmente ridotto a 0 durante le fasi finali dell'addestramento (ad esempio, tramite decadimento coseno) per garantire una convergenza fluida.

3. Contributi Chiave

Il documento rivendica i seguenti contributi:

1. Identificazione del Mismatch degli Obiettivi: Gli autori dimostrano che la perturbazione avversaria nel SAM standard è generata tramite un surrogato linearizzato del primo ordine sotto un vincolo a raggio fisso, causando la dominanza del segnale di apprendimento dalla magnitudine del gradiente piuttosto che dalla curvatura del secondo ordine richiesta per i minimi piatti.
2. Proposta di LE-SAM: Una riformulazione a livello di meccanismo che fissa il budget di perdita invece del raggio. Questo scalarizza la variazione del primo ordine, rimuovendo la dominanza della norma del gradiente e spostando il segnale di ottimizzazione verso termini dominati dalla curvatura durante l'intero processo di addestramento.
3. Superiorità Empirica: Esperimenti estensivi mostrano che LE-SAM supera costantemente il SAM standard e le sue varianti (inclusi ASAM, ESAM, F-SAM e Eigen-SAM) su diversi benchmark, raggiungendo prestazioni all'avanguardia (SOTA).

4. Risultati Sperimentali

Gli autori hanno valutato LE-SAM su molteplici compiti e dataset:

• Addestramento da Zero:
  • CIFAR-10/100: Utilizzando ResNet-18, WideResNet-28-10 e PyramidNet-110, LE-SAM ha raggiunto la massima accuratezza tra tutte le varianti SAM. Su CIFAR-100, ha superato il SAM standard di 1,34-1,49 punti.
  • ImageNet: Addestrando ResNet-50 e ResNet-101 da zero, LE-SAM ha superato il SAM rispettivamente di 0,71 e 0,77 punti.
• Transfer Learning: Affinando un ViT-B-16 pre-addestrato su CIFAR-10/100, LE-SAM ha costantemente superato il SAM.
• Generalizzazione del Dominio (SDG): Sui dataset PACS e VLCS, LE-SAM ha migliorato l'accuratezza media rispettivamente di 2,18 e 0,84 punti rispetto al SAM.
• Robustezza: Sotto attacchi avversari PGD $L_2$ e $L_\infty$, LE-SAM ha dimostrato una robustezza superiore, superando il SAM fino a 2,47 punti.
• Apprendimento a Code Lunghe: Su CIFAR-100-LT, combinando LE-SAM con il metodo SOTA GLMC si sono ottenuti ulteriori miglioramenti rispetto a GLMC+SAM.

Analisi del Meccanismo

• Metriche di Piattezza: L'analisi della traccia dell'Hessiana e del massimo autovalore ha confermato che LE-SAM converge verso minimi più piatti (traccia dell'Hessiana e autovalore massimo inferiori) rispetto a SAM e SGD.
• Dinamiche di Addestramento: A differenza di SAM, che mostra guadagni significativi solo nella fase finale dell'addestramento, LE-SAM ha dimostrato gap di prestazioni sostanziali durante l'intero processo di addestramento, validando che il segnale di curvatura è attivo fin dall'inizio.
• Costo Computazionale: LE-SAM mantiene la stessa complessità asintotica di SAM (due passaggi in avanti-indietro per iterazione) con un sovraccarico trascurabile per il calcolo del raggio dinamico.

5. Significato e Rivendicazioni

Il documento sostiene che il limite principale dei metodi esistenti di Minimizzazione Consapevole della Sharpness sia la loro dipendenza da un'approssimazione del primo ordine a raggio fisso, che involontariamente privilegia la magnitudine del gradiente rispetto alla curvatura. "Risolvendo la perdita, non il raggio", LE-SAM ripensa fondamentalmente il meccanismo di perturbazione avversaria.

Gli autori rivendicano che questo approccio fornisce una visione unificata dell'apprendimento consapevole della sharpness che è intrinsecamente consapevole della curvatura. Disaccoppiando la dimensione della perturbazione dalla norma del gradiente, LE-SAM offre un percorso più diretto e robusto verso regioni piatte, risultando in prestazioni di generalizzazione superiori su varie architetture, dataset e scenari di addestramento (inclusi transfer learning e generalizzazione del dominio) senza incorrere in un significativo sovraccarico computazionale.