Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization

Sintesi Tecnica: Spiegazione della Regolarizzazione basata sulla $f$-Divergenza tramite la Curvatura Locale e la Minimizzazione Consapevole della Sharpness (SAM)

Definizione del Problema
Nel contesto degli agenti di apprendimento continuo (lifelong learning) e del deep learning generale, ottenere una generalizzazione robusta richiede il controllo dell'overfitting e della sensibilità locale. Due approcci prominenti per questo scopo sono la regolarizzazione basata sulla divergenza (che penalizza le discrepanze tra le distribuzioni predittive su input originali e perturbati) e la Minimizzazione Consapevole della Sharpness (SAM), che cerca parametri con paesaggi di perdita (loss landscapes) piatti. Sebbene entrambi i metodi siano motivati dalla robustezza alle perturbazioni, la loro relazione teorica rimane in gran parte inesplorata. Nello specifico, non è chiaro se la geometria locale indotta da un regolarizzatore di divergenza possa essere formalmente correlata alla struttura dell'Hessiana che SAM controlla implicitamente.

Metodologia
Il documento stabilisce un quadro teorico unificato analizzando la geometria locale del secondo ordine della regolarizzazione della $f$-divergenza. Gli autori procedono attraverso i seguenti passaggi:

1. Espansione Quadratica Locale: Derivano un'espansione del secondo ordine di Taylor per le $f$-divergenze quando la distribuzione predittiva del modello $P$ e una distribuzione perturbata $Q$ sono vicine. Dimostrano che, in questo regime locale, qualsiasi $f$-divergenza si riduce a una penalità quadratica scalata da $\phi''(1)/2$.
2. Interpretazione Geometrica:
   • Spazio dei Parametri: Quando le perturbazioni avvengono nello spazio dei parametri ($\theta \to \theta + \delta$), il regolarizzatore induce una penalità proporzionale a $\delta^\top F_x(\theta) \delta$, dove $F_x(\theta)$ è la matrice dell'informazione di Fisher.
   • Spazio di Input: Quando le perturbazioni avvengono nello spazio di input ($x \to T(x)$), il regolarizzatore induce una forma quadratica di "pullback" che coinvolge il gradiente della densità rispetto all'input.
3. Connessione con SAM: SAM viene mostrato come un'approssimazione locale di una penalità di curvatura spettrale proporzionale all'autovalore dominante dell'Hessiana ($\lambda_{\max}(H)$). Il documento dimostra che per obiettivi di log-verosimiglianza negativa (NLL) con distribuzioni di output appartenenti alla famiglia esponenziale (ad esempio, cross-entropy con softmax), la matrice di Fisher coincide con la matrice di Gauss-Newton Generalizzata (GGN), che cattura la componente semidefinita positiva dell'Hessiana. Pertanto, la regolarizzazione basata sulla divergenza e SAM diventano localmente comparabili attraverso una geometria di curvatura condivisa.
4. Test Empirico Controllato: Per validare queste affermazioni teoriche, gli autori utilizzano la famiglia della divergenza di Jensen-Shannon (JSD) asimmetrica $\alpha$-skew. Il coefficiente di curvatura locale per questa famiglia scala come $\alpha(1-\alpha)$, raggiungendo il massimo nel punto simmetrico $\alpha = 1/2$. Ciò consente un esperimento controllato in cui la forza della penalizzazione della curvatura viene variata senza alterare la struttura fondamentale del regolarizzatore.

Contributi Chiave

• Espansione Locale Unificata: Il documento deriva un'espansione del secondo ordine locale per la regolarizzazione della $f$-divergenza, dimostrando che induce penalità sensibili alla curvatura determinate dalla geometria di Fisher nello spazio dei parametri e da una metrica di pullback nello spazio di input.
• Legame Formale con SAM: Stabilisce che, sotto standard assunzioni probabilistiche di perdita (specificamente NLL con famiglie esponenziali), la geometria indotta dalla regolarizzazione della divergenza è localmente comparabile alle interpretazioni del secondo ordine di SAM attraverso la relazione Fisher/GGN/Hessiana.
• Framework di Perturbazione Generale: L'analisi si estende alle perturbazioni dello spazio di input, mostrando che la regolarizzazione basata sulla divergenza offre un framework di perturbazione più generale rispetto alla SAM standard (che è tipicamente definita tramite perturbazioni dei parametri) pur preservando la stessa interpretazione di sensibilità locale.
• Derivazione del Coefficiente di Curvatura: Per la famiglia JSD $\alpha$-skew asimmetrica, gli autori derivano esplicitamente che il coefficiente di curvatura locale è proporzionale a $\alpha(1-\alpha)$, identificando il caso simmetrico ($\alpha=1/2$) come il regime di massima penalizzazione della curvatura.

Risultati
La validazione empirica è stata condotta su quattro dataset benchmark (CIFAR-10, Fashion-MNIST, EMNIST e Oxford-IIIT Pet) utilizzando un modello EfficientNet-B2 con perturbazioni dello spazio di input (masking casuale).

• Trend delle Performance: In tutti i dataset, le performance del modello (misurate tramite accuratezza e log-verosimiglianza negativa) sono state costantemente migliori vicino al regime simmetrico $\alpha = 1/2$. Ciò si allinea con la previsione teorica che la più forte penalizzazione della curvatura locale (massimizzata a $\alpha=1/2$) produca una generalizzazione superiore.
• Visualizzazione del Paesaggio di Perdita: Le visualizzazioni del paesaggio di perdita su CIFAR-10 utilizzando ResNet-18 hanno rivelato che i modelli addestrati con la regolarizzazione della divergenza convergono verso minimi locali più piatti rispetto al baseline. Inoltre, il modello addestrato con l'impostazione simmetrica ($\alpha=0.5$) ha mostrato il bacino più piatto, corrispondente alla più alta penalizzazione della curvatura, mentre l'impostazione asimmetrica ($\alpha=0.9$) ha mostrato una piattezza intermedia.
• Metriche Statistiche: L'analisi quantitativa delle statistiche del paesaggio di perdita (perdita media, traccia dell'Hessiana al quadrato e autovalore massimo) ha confermato che l'impostazione simmetrica $\alpha=0.5$ ha prodotto la perdita media più bassa e ridotti parametri di curvatura rispetto sia al baseline che alle impostazioni altamente asimmetriche.

Significatività e Rivendicazioni
Il documento sostiene di chiarire la relazione tra la regolarizzazione basata sulla divergenza e la minimizzazione consapevole della sharpness da una prospettiva geometrica locale. Postula che, sebbene i due metodi non siano obiettivi identici, diventano localmente allineati attraverso una comune geometria di curvatura quando valgono specifiche assunzioni probabilistiche.

Gli autori inquadrano modestamente il loro contributo come primariamente analitico. Chiariscono quando la regolarizzazione della divergenza, la geometria di Fisher e gli obiettivi di minimizzazione della sharpness diventano localmente comparabili. Lo studio empirico si concentra sulla validazione della più ampia prospettiva di curvatura locale all'interno del contesto specifico della famiglia JSD $\alpha$-skew e delle perturbazioni dello spazio di input, piuttosto che rivendicare un'equivalenza sperimentale diretta alla SAM in ogni scenario. Il lavoro suggerisce che la forza della curvatura locale indotta è un fattore significativo nell'efficacia della regolarizzazione basata sulla divergenza, con il regime simmetrico che offre prestazioni ottimali negli scenari testati.