Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization

Technische Zusammenfassung: Erklärung der f-Divergenz-basierten Regularisierung über lokale Krümmung und Sharpness-Aware Minimization

Problemstellung
Im Kontext von Lifelong-Learning-Agenten und allgemeinem Deep Learning erfordert das Erreichen einer robusten Generalisierung die Kontrolle von Overfitting und lokaler Sensitivität. Zwei prominente Ansätze hierfür sind Divergenz-basierte Regularisierung (die Diskrepanzen zwischen prädiktiven Verteilungen auf Original- und perturbierten Eingaben bestraft) und Sharpness-Aware Minimization (SAM), welches nach Parametern mit flachen Verlustlandschaften sucht. Obwohl beide Methoden durch die Robustheit gegenüber Perturbationen motiviert sind, bleibt ihre theoretische Beziehung weitgehend unerforscht. Insbesondere ist unklar, ob die durch einen Divergenz-Regularisierer induzierte lokale Geometrie formal mit der Hessian-Struktur, die SAM implizit kontrolliert, in Beziehung gesetzt werden kann.

Methodik
Die Arbeit etabliert einen vereinheitlichten theoretischen Rahmen durch die Analyse der lokalen zweiten Ordnung der Geometrie von $f$-Divergenz-Regularisierung. Die Autoren gehen dabei wie folgt vor:

1. Lokale quadratische Expansion: Sie leiten eine Taylor-Expansion zweiter Ordnung für $f$-Divergenzen her, wenn die prädiktive Verteilung des Modells $P$ und eine perturbierte Verteilung $Q$ nah beieinander liegen. Sie zeigen, dass jede $f$-Divergenz in diesem lokalen Regime zu einem quadratischen Penalty reduziert, der durch $\phi''(1)/2$ skaliert wird.
2. Geometrische Interpretation:
   • Parameterraum: Wenn Perturbationen im Parameterraum auftreten ($\theta \to \theta + \delta$), induziert der Regularisierer einen Penalty, der proportional zu $\delta^\top F_x(\theta) \delta$ ist, wobei $F_x(\theta)$ die Fisher-Informationsmatrix darstellt.
   • Eingaberaum: Wenn Perturbationen im Eingaberaum auftreten ($x \to T(x)$), induziert der Regularisierer eine „Pullback“-quadratische Form, die den Gradienten der Dichte in Bezug auf den Input beinhaltet.
3. Verbindung zu SAM: Die Autoren vergleichen diesen Divergenz-induzierten Penalty mit SAM. Es wird gezeigt, dass SAM lokal eine spektrale Krümmungs-Penalty approximiert, die proportional zum dominanten Hessian-Eigenwert ($\lambda_{\max}(H)$) ist. Das Paper demonstriert, dass für Negative-Log-Likelihood-Objectives mit Exponentialfamilien-Ausgabeverteilungen (z. B. Cross-Entropy mit Softmax) die Fisher-Matrix mit der Generalized Gauss-Newton (GGN) Matrix übereinstimmt, welche die positiv-semidefiniten Komponenten des Hessians erfasst. Somit werden Divergenz-basierte Regularisierung und SAM lokal vergleichbar durch eine gemeinsame Krümmungsgeometrie.
4. Kontrollierter empirischer Testaufbau: Zur Validierung dieser theoretischen Ansprüche nutzen die Autoren die Familie der asymmetrischen $\alpha$-skew Jensen-Shannon-Divergenz (JSD). Der lokale Krümmungskoeffizient für diese Familie skaliert als $\alpha(1-\alpha)$ und erreicht sein Maximum am symmetrischen Punkt $\alpha = 1/2$. Dies ermöglicht ein kontrolliertes Experiment, bei dem die Stärke der Krümmungs-Bestrafung variiert wird, ohne die grundlegende Struktur des Regularisierers zu verändern.

Zentrale Beiträge

• Vereinheitlichte lokale Expansion: Das Paper leitet eine lokale zweite-Ordnung-Expansion für $f$-Divergenz-Regularisierung her und zeigt, dass diese eine krümmungssensible Penalty induziert, die durch die Fisher-Geometrie im Parameterraum und eine Pullback-Metrik im Eingaberaum bestimmt wird.
• Formale Verbindung zu SAM: Es stellt unter Standard-Wahrscheinlichkeits-Loss-Annahmen (speziell NLL mit Exponentialfamilien) eine Verbindung her, wonach die durch Divergenz-Regularisierung induzierte Geometrie lokal mit den Zweit-Ordnung-Interpretationen von SAM über die Fisher/GGN/Hessian-Beziehung vergleichbar ist.
• Generelles Perturbations-Framework: Die Analyse erweitert sich auf Eingaberaum-Perturbationen und zeigt, dass die Divergenz-basierte Regularisierung einen allgemeineren Perturbations-Rahmen bietet als das Standard-SAM (welches typischerweise über Parameter-Perturbationen definiert ist), während sie dieselbe lokale Sensitivitätsinterpretation beibehält.
• Ableitung des Krümmungskoeffizienten: Für die asymmetrische $\alpha$-skew JSD-Familie leiten die Autoren explizit her, dass der lokale Krümmungskoeffizient proportional zu $\alpha(1-\alpha)$ ist, wobei sie den symmetrischen Fall ($\alpha=1/2$) als Regime der maximalen Krümmungsbestrafung identifizieren.

Ergebnisse
Die empirische Validierung wurde auf vier Benchmark-Datensätzen (CIFAR-10, Fashion-MNIST, EMNIST und Oxford-IIIT Pet) unter Verwendung eines EfficientNet-B2-Modells mit Eingaberaum-Perturbationen (Random Masking) durchgeführt.

• Leistungstrends: Über alle Datensätze hinweg war die Modellleistung (gemessen an Accuracy und Negative Log-Likelihood) konsistent am besten nahe dem symmetrischen Regime $\alpha = 1/2$. Dies steht im Einklang mit der theoretischen Vorhersage, dass die stärkste lokale Krümmungs-Penalty (maximiert bei $\alpha=1/2$) eine überlegene Generalisierung liefert.
• Visualisierung der Loss-Landschaft: Visualisierungen der Loss-Landschaft auf CIFAR-10 unter Verwendung von ResNet-18 zeigten, dass Modelle, die mit Divergenz-Regularisierung trainiert wurden, im Vergleich zur Baseline zu flacheren lokalen Minima konvergieren. Zudem wies das Modell, das mit der symmetrischen Einstellung ($\alpha=0.5$) trainiert wurde, das flachste Becken auf, was der höchsten Krümmungsbestrafung entspricht, während die asymmetrische Einstellung ($\alpha=0.9$) eine intermediäre Flachheit zeigte.
• Statistische Metriken: Eine quantitative Analyse der Loss-Landschaft-Statistiken (durchschnittlicher Loss, Spur des quadrierten Hessians und maximaler Eigenwert) bestätigte, dass die symmetrische $\alpha=0.5$ Einstellung den niedrigsten durchschnittlichen Loss und reduzierte Krümmungswerte im Vergleich sowohl zur Baseline als auch zu den stark asymmetrischen Einstellungen aufwies.

Bedeutung und Ansprüche
Das Paper beansprucht für sich, die Beziehung zwischen Divergenz-basierter Regularisierung und Sharpness-Aware Minimization aus einer lokalen geometrischen Perspektive zu klären. Es postuliert, dass die beiden Methoden zwar nicht identische Objectives sind, aber lokal durch eine gemeinsame Krümmungsgeometrie aufeinander abgestimmt werden können, wenn spezifische probabilistische Annahmen gelten.

Die Autoren formulieren ihren Beitrag primär als analytisch. Sie klären, wann Divergenz-basierte Regularisierung, Fisher-Geometrie und Sharpness-Aware-Objectives lokal vergleichbar werden. Die empirische Studie konzentriert sich darauf, die breitere lokale Krümmungs-Perspektive innerhalb des spezifischen Kontextes der $\alpha$-skew JSD-Familie und der Eingaberaum-Perturbationen zu validieren, anstatt eine direkte experimentelle Äquivalenz zu SAM in allen Settings zu behaupten. Die Arbeit legt nahe, dass die Stärke der induzierten lokalen Krümmung ein bedeutsamer Faktor für die Effektivität der Divergenz-basierten Regularisierung ist, wobei das symmetrische Regime in den getesteten Szenarien die optimale Leistung bietet.