🤖 machine learning

Beyond $\ell_2$ -norm and $\ell_\infty$ -norm: A Curvature-Inspired $\ell_p$ -Norm Scheme for Deep Neural Networks

Diese Arbeit schlägt ein neuartiges, von Krümmung inspiriertes $\ell_p$ -Norm-Optimierungsschema mit einem dynamisch abfallenden $p$ -Parameter vor, der von der Unterdrückung der Dominanz hoher Krümmung zum Ermöglichen stabiler Updates übergeht, was zu den LPSGD- und LPSGDM-Optimierern führt, die eine $O(T^{-1/2})$ -Konvergenz und verbesserte Generalisierung über verschiedene tiefe neuronale Netzwerkarchitekturen und Datensätze hinweg erreichen.

Ursprüngliche Autoren: Jianhao Xu, Zhuang Yang

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jianhao Xu, Zhuang Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Durch eine sich verändernde Landschaft navigieren

Stellen Sie sich vor, Sie versuchen, einen schweren Karren einen Berg hinunterzusteuern, um das Tal (die perfekte Lösung für ein KI-Modell) zu erreichen. Das Gelände dieses Berges ist die „Loss-Landschaft“ eines Deep Neural Networks (DNN).

Das Problem ist, dass sich die Form dieses Berges verändert, während Sie reisen:

Am Gipfel (Frühes Training): Das Gelände ist wild und zerklüftet. Es gibt einige unglaublich steile Klippen (hohe Krümmung), aber auch sanfte, flache Hänge (niedrige Krümmung).
Am Boden (Spätes Training): Das Gelände glättet sich. Die Klippen verschwinden und der Boden wird relativ flach und gleichmäßig.

Das Paper argumentet, dass die Werkzeuge, die wir normalerweise verwenden, um den Karren zu führen (Optimierer), feststecken, weil sie nur eine einzige Art von Rad benutzen, die in einer Situation gut funktioniert, in der anderen jedoch versagt.

Das Problem: Zwei schlechte Räder

Die Autoren erklären, dass aktuelle KI-Trainingsmethoden im Allgemeinen auf einer von zwei „Geometrien“ beruhen (Weisen, Distanz und Richtung zu messen):

Die $\ell_2$ -Norm (Das Standard-Rad):
- Wie es funktioniert: Es behandelt jede Richtung gleich, basierend auf der Größe des Schubs.
- Der Fehler: Auf dem zerklüfteten Berggipfel bleibt dieses Rad stecken. Wenn es in eine Richtung eine steile Klippe gibt, bekommt das Rad Angst und bremst alles ab, um einen Sturz zu vermeiden. Es ignoriert die sanften, flachen Hänge, auf denen es eigentlich schnell vorankommen könnte. Es ist wie das Fahren eines Autos mit sehr empfindlichen Bremsen, die sofort blockieren, wenn man über einen einzelnen Hügel fährt, was verhindert, dass man auf den geraden Strecken beschleunigt.
Die $\ell_\infty$ -Norm (Das „Vorzeichen“-Rad):
- Wie es funktioniert: Es ignoriert die Größe des Schubs völlig und achtet nur auf die Richtung (links oder rechts, oben oder unten). Es macht Schritte der exakt gleichen Größe in jede Richtung.
- Der Fehler: Dies funktioniert hervorragend an den steilen Klippen, da es die Steilheit ignoriert; es marschiert einfach vorwärts. Sobald man jedoch das flache Tal erreicht, wird dieses Rad nutzlos. Da es überall den gleichen großen Schritt macht, beginnt es hin und her zu springen (oszillieren) und kann nicht sanft in den tiefsten Punkt des Tals einsinken.

Die Lösung: Das „Gestaltwandler“-Rad

Die Autoren schlagen eine neue Methode namens $\ell_p$ -Norm-Scheduling vor. Anstatt sich für ein einziges Rad zu entscheiden, haben sie ein gestaltwandelndes Rad gebaut, das seine Form ändert, je nachdem, wo Sie sich auf dem Berg befinden.

Die Strategie: Sie verwenden ein „Cosine Schedule“ (eine glatte, wellenartige Kurve), um die Form des Rades über die Zeit zu verändern.
- Die frühen Tage (Der zerklüftete Berg): Das Rad beginnt mit einer Form, die wie die $\ell_\infty$ -Norm wirkt. Es ignoriert die extreme Steilheit der Klippen und drückt effizient durch das raue Gelände, was das „Blockade“-Problem verhindert.
- Die späten Tage (Das flache Tal): Während des Trainings wandelt sich das Rad sanft in die Standard- $\ell_2$ -Norm-Form um. Da der Boden nun flach ist, kann es präzise, sanfte Schritte machen, um perfekt in den tiefsten Punkt einzusinken, ohne hin und her zu springen.

Stellen Sie sich das wie die Fußbekleidung eines Wanderers vor:

Zu Beginn trägt er robuste, stachelige Stiefel, um auf den felsigen, unebenen Klippen Halt zu finden und vorwärts zu kommen.
Wenn er die flache Wiese am Fuße des Berges erreicht, wechselt er zu weichen, flexiblen Hausschuhen, um leise zu gehen und die exakte Mitte des Feldes zu finden, ohne zu stolpern.

Wie sie bewiesen haben, dass es funktioniert

Das Paper rät nicht nur; die Autoren haben zwei Dinge getan:

Mathematischer Beweis: Sie haben mathematisch bewiesen, dass diese „gestaltwandelnde“ Methode garantiert schließlich den Boden des Tals findet, und sie haben genau berechnet, wie schnell sie dorthin gelangen wird.
Praxistests: Sie haben ihre neuen Optimierer (benannt als LPSGD und LPSGDM) auf berühmten Bilddatensätzen (wie CIFAR und ImageNet) unter Verwendung von Standard-KI-Modellen (wie ResNet) getestet.
- Das Ergebnis: Ihr „gestaltwandelndes“ Verfahren war den Standardmethoden konsequent überlegen. Es lernte zu Beginn schneller und erreichte am Ende eine höhere Genauigkeit. In einem Test verbesserte es die Genauigkeit beispielsweise um fast 2 % gegenüber den besten existierenden Methoden – was in der Welt der KI eine riesige Sache ist.

Zusammenfassung

Kurz gesagt sagt das Paper: „Verwenden Sie nicht ein einziges Werkzeug für die ganze Arbeit.“

Das Training einer KI ist wie eine Reise durch eine Landschaft, die sich von einem zerklüfteten Berg zu einer flachen Ebene verändert. Die Autoren haben einen smarten Optimierer geschaffen, der mit einem „Überall-hochklettern“-Modus beginnt und sanft in einen „Präzisionsgang“ übergeht. Dies ermöglicht es der KI, schneller zu lernen und ein intelligenteres, genaueres Modell zu erhalten, als wenn sie die ganze Zeit über eine einzige, unveränderliche Methode verwendet hätte.

Technisches Resümee: Jenseits der $\ell_2$ -Norm und $\ell_\infty$ -Norm: Ein von der Krümmung inspirierter $\ell_p$ -Norm-Ansatz für tiefe neuronale Netze

Problemstellung

Das Training tiefer neuronaler Netze (DNNs) wird häufig durch Krümmungsanisotropie behindert, ein Phänomen, bei dem die Verlustlandschaft über verschiedene Parameterdimensionen hinweg eine sehr unterschiedliche Krümmung aufweist. Die Arbeit identifiziert, dass bestehende Optimierer typischerweise auf festen geometrischen Annahmen beruhen, die der dynamischen Natur dieser Anisotropie während des Trainings nicht gerecht werden können:

$\ell_2$ -Norm-basierte Optimierer (z. B. SGD): Diese werden von Richtungen mit hoher Krümmung dominiert. In frühen Trainingsphasen, in denen die Krümmungsanisotropie stark ausgeprägt ist (charakterisiert durch große Ausreißer der Hessian-Eigenwerte), schränken $\ell_2$ -basierte Updates den Fortschritt entlang flacherer Richtungen ein, was zu einer langsameren Konvergenz führt.
$\ell_\infty$ -Norm-basierte Optimierer (z. B. zeichenbasierte Methoden wie Lion, signSGD): Diese aktualisieren Koordinaten mit der gleichen Magnitude basierend auf den Gradientenzeichen. Während sie in hoch-anisotropen Regionen effektiv sind, neigen sie in flacheren Regionen (späte Trainingsphasen) aufgrund des Fehlens einer Magnituden-Skalierung zu Oszillationen.

Jüngste Analysen der Verteilung der Hessian-Eigenwerte (z. B. in ResNet-18 auf CIFAR-10 und ResNet-50 auf ImageNet-1K) zeigen, dass sich die Verlustlandschaft von einem hochgradig anisotropen, nicht-konvexen Zustand mit extremen Eigenwerten in den frühen Epochen zu einer flacheren, schwach-anisotropen und annähernd konvexen Region in späteren Epochen entwickelt. Das zentrale Problem besteht darin, ob eine einzige feste Norm-Geometrie ( $\ell_2$ oder $\ell_\infty$ ) für den gesamten Trainingsprozess ausreichend ist oder ob ein dynamisches Schema erforderlich ist, um diese sich entwickelnden Krümmungsstrukturen abzubilden.

Methodik

Die Autoren schlagen ein Cosine $\ell_p$ -Norm-Schema vor, das den Norm-Parameter $p$ während des Trainings dynamisch anpasst, um mit der sich ändernden Krümmungsanisotropie zu korrespondieren.

1. Theoretische Motivation

Basierend auf dem $\ell_p$ -Glattheitsmodell beinhaltet die Update-Richtung des steilsten Abstiegs in einer $\ell_p$ -Geometrie einen koordinatenweisen Skalierungsfaktor von $|g^{(i)}|^{p-2}$ .

Wenn $p=2$ (Euklidisch), skaliert das Update linear mit der Gradientenmagnitude.
Wenn $p > 2$ , wird die Skalierung sublinear ( $\alpha = \frac{1}{p-1} < 1$ ), was das Richtungsungleichgewicht komprimiert und die Dominanz von Richtungen mit hoher Krümmung unterdrückt.
Wenn $p \to \infty$ , nähert sich das Update einer zeichenbasierten Form ( $\ell_\infty$ ) an, welche die Magnitude gänzlich ignoriert.

Die Autoren argumentieren, dass ein großes $p$ (z. B. $p > 2$ ) in der frühen Trainingsphase vorteilhaft ist, um starke Anisotropie zu bewältigen, während ein kleineres $p$ (gegen 2 gehend) in späteren Phasen bevorzugt wird, um stabile, verfeinerte Updates in flacheren Regionen zu gewährleisten.

2. Die vorgeschlagenen Algorithmen

Das Schema wird in den Stochastic Gradient Descent (SGD) und den SGD mit Momentum (SGDM) integriert, um zwei neue Optimierer zu schaffen: LPSGD und LPSGDM.

Dynamisches Scheduling: Der Norm-Parameter $p_s$ in Epoche $s$ wird mittels einer Cosinus-Annealing-Strategie geplant:
$p_s = 2 + (p_{\max} - 2) \cdot \frac{1 + \cos(\pi \frac{s-1}{S-1})}{2}$
wobei $p_{\max} \geq 2$ der anfängliche maximale Normwert ist und $S$ die Gesamtzahl der Epochen darstellt. Das Schema beginnt bei $p_{\max}$ und sinkt glatt auf 2 ab.
Update-Regel: Für einen stochastischen Gradienten $g_t$ (oder einen Momentum-Buffer $m_t$ in LPSGDM) wird die Update-Richtung $u_t$ über eine nichtlineare Skalierungsabbildung berechnet:
$u_t = \frac{g_t}{(|g_t| + \epsilon)^{\rho_s}}$
wobei $\rho_s = \frac{p_s - 2}{p_s - 1}$ und $\epsilon$ eine Stabilitätskonstante ist. Die Parameter werden dann als $\theta_{t+1} = \theta_t - \eta u_t$ aktualisiert (mit hinzugefügtem Weight Decay für LPSGDM).

3. Konvergenzanalyse

Das Paper liefert theoretische Garantien für die nicht-konvexe stochastische Optimierung:

Unter Standardannahmen ( $\ell_p$ -Glätte, erwartungstreue Gradienten, beschränkte Rauschwerte) beweisen die Autoren, dass sowohl LPSGD als auch LPSGDM eine Konvergenzrate von $O(T^{-1/2})$ für die erwartete quadratische Gradientennorm erreichen, wobei $T$ die Anzahl der Iterationen ist.
Die Analyse stützt sich auf die Etablierung bedingter Ausrichtung und beschränkter Zweitmomente der transformierten Update-Richtungen.

Zentrale Beiträge

Charakterisierung der Krümmungsevolution: Die Arbeit charakterisiert empirisch die Entwicklung der Hessian-Eigenwertverteilungen während des DNN-Trainings und hebt den Übergang von starker zu schwacher Anisotropie hervor.
Cosine $\ell_p$ -Norm-Schema: Eine neuartige Scheduling-Strategie, die die Geometrie des Optimierers von einer hohen $p$ -Norm (Unterdrückung der Dominanz von Ausreißer-Krümmungen) zu einer euklidischen Norm (Gewährleistung von Stabilität in flachen Regionen) überführt, bei vernachlässigbarem Rechenaufwand.
Neue Optimierer (LPSGD/LPSGDM): Die Integration dieses Schemas in Standard-First-Order-Methoden führt zu Algorithmen, die bestehende Baselines übertreffen.
Theoretische Garantien: Rigoröser Beweis der $O(T^{-1/2})$ -Konvergenzrate der vorgeschlagenen Algorithmen in nicht-konvexen Settings.

Experimentelle Ergebnisse

Umfangreiche Experimente wurden auf Benchmark-Datensätzen (CIFAR-10, CIFAR-100, ImageNet-1K) unter Verwendung verschiedener Architekturen (VGG-11, ResNet-18, ResNet-50) durchgeführt. Die vorgeschlagenen Methoden wurden gegen SGD mit Momentum, AdamW und Lion verglichen.

CIFAR-10: LPSGDM erreichte konsistent die höchste Top-1 Genauigkeit über alle Modelle und Checkpoints hinweg. Beispielsweise erreichte es auf ResNet-18 eine Genauigkeit von 94,81 % nach 200 Epochen und übertraf damit SGD (93,15 %), AdamW (94,09 %) und Lion (94,04 %).
CIFAR-100: Die Leistungsdifferenz wurde in diesem anspruchsvolleren Setting größer. LPSGDM erreichte 77,98 % auf ResNet-18 und 76,78 % auf ResNet-50 und übertraf damit die Baselines signifikant (z. B. um +1,87 % gegenüber der besten Baseline auf ResNet-50).
ImageNet-1K: Auf ResNet-50 übertraf LPSGDM alle Baselines in der mittleren und späten Trainingsphase und erreichte in Epoche 60 eine Top-1 Genauigkeit von 74,04 %, was eine Verbesserung von 2,25 Prozentpunkten gegenüber AdamW darstellt.
Generalisierung: Bemerkenswerterweise erzielte LPSGDM oft eine höhere Testgenauigkeit, selbst wenn die Negative Log-Likelihood (NLL) des Trainings nicht die niedrigste war, was darauf hindeutet, dass die Methode die Generalisierungsqualität der Lösung verbessert und nicht nur den Trainingsverlust minimiert.

Bedeutung und Ansprüche

Das Paper behauptet, dass das vorgeschlagene Cosine $\ell_p$ -Norm-Schema die Einschränkung fester Norm-Optimierer effektiv adressiert, indem es sich an die intrinsischen geometrischen Änderungen der DNN-Verlustlandschaften anpasst. Durch die dynamische Unterdrückung der Dominanz hoch-kurviger Richtungen zu Beginn des Trainings und den Übergang zu stabilen euklidischen Updates später erreicht die Methode eine überlegene Generalisierungsleistung. Die Autoren betonen, dass dieser Ansatz nur First-Order-Informationen erfordert und nur minimale Rechenkosten (elementweise Reskalierung) verursacht, was ihn zu einer praktischen und skalierbaren Erweiterung bestehender Optimierungs-Frameworks macht. Die theoretische Konvergenzrate von $O(T^{-1/2})$ bestätigt, dass diese empirischen Gewinne durch eine rigorose mathematische Analyse gestützt werden.