🤖 machine learning

A Defense of the Quadratic Model

Diese Arbeit zeigt, dass das einfache quadratische Modell, wenn es mittels Taylor-Entwicklung an Zwischenkontrollpunkten angewendet wird, überraschend genau die Optimierungsdynamik in großen Sprachmodellen vorhersagen kann, was strukturierte Hessian-Spektren offenbart und bestätigt, dass das Training typischerweise an einer stochastischen Stabilitätsgrenze stattfindet, die von der Batch-Größe abhängt.

Ursprüngliche Autoren: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade, Alex Damian

Veröffentlicht 2026-07-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade, Alex Damian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, nachts ein riesiges, nebliges Gebirge zu durchqueren. Dieser Berg ist die „Loss-Landschaft“ einer gigantischen Künstlichen Intelligenz, ein komplexes Gelände, in dem jeder Schritt, den die KI macht, der Versuch ist, das tiefste Tal (die bestmögliche Leistung) zu finden. Das Problem ist, dass der Berg so gewaltig und verdreht ist, dass man nicht die ganze Karte auf einmal sehen kann. Jahrelang haben Wissenschaftler versucht, die Bewegungen der KI mithilfe einfacher, flacher Karten oder idealisierter Modelle vorherzusagen. Manchmal funktionieren diese Karten, aber oft sind sie zu einfach, um nützlich zu sein, oder zu kompliziert, um sie zu berechnen. Die große Frage ist: Können wir eine einfache, flache Karte verwenden, um die Reise der KI durch diesen chaotischen Berg vorherzusagen?

Um dies zu verstehen, müssen Sie einige Dinge wissen. Erstens lernen KI-Modelle durch „Optimierung“, was im Grunde bedeutet, winzige Schritte zu machen, um ihre Fehler zu reduzieren. Zweitens ist die „Hesse“ (Hessian) eine mathematische Methode, um zu beschreiben, wie steil oder gekrümmt der Boden an einem bestimmten Punkt ist. Wenn man die Krümmung kennt, kann man vorhersagen, ob ein Schritt einen in ein Tal oder an eine Klippe führt. Schließlich gibt es das Konzept der „Stabilitätsgrenze“ (Edge of Stability), was so ist, als würde man direkt am Rand einer Klippe wandern, wo der Boden so steil ist, dass ein einziger falscher Schritt einen Absturz zur Folge hätte, und doch wandert die KI irgendwie weiter, ohne zu fallen. Diese Arbeit fragt, ob wir die einfachste mögliche Karte – eine flache, quadratische (schalenförmige) Annäherung – tatsächlich nutzen können, um das Verhalten einer riesigen KI in der realen Welt vorherzusagen.

Die Autoren dieser Arbeit beschlossen, dieses einfache „quadratische Modell“ an einem Large Language Model (LLM) mit 150 Millionen Parametern zu testen, das mit 3 Milliarden Wörtern trainiert wurde. Sie wollten sehen, ob sie, anstatt zu versuchen, den ganzen verrückten Berg zu verstehen, einfach nur ein kleines, flaches Stück Boden um den aktuellen Standort der KI herum betrachten und diesen nutzen können, um die nächsten Schritte vorherzusagen.

Sie fanden etwas überraschend Coole heraus: Die einfache, schalenförmige Karte funktioniert! Wenn sie das Training alle 10 % des Weges stoppten und an genau dieser Stelle eine flache, quadratische Version des Problems erstellten, konnte dieses einfache Modell das Verhalten der KI für die nächsten 10 % des Trainings genau vorhersagen. Es ist, als ob – obwohl der Berg ein gezacktes Chaos ist – die KI so viel Zeit in spezifischen „schalenförmigen“ Tälern verbringt, dass eine einfache Karte eines Beckens ausreicht, um zu sagen, wohin sie als Nächstes gehen wird. Die Vorhersage war gegen Ende des Trainings sogar besser als zu Beginn.

Nachdem sie bewiesen hatten, dass die einfache Karte funktionierte, schauten sie unter die Motorhaube des Lernprozesses der KI. Sie untersuchten das „Hesse-Spektrum“ (Hessian spectrum), was wie eine Liste aller verschiedenen Steigungen und Krümmungen in der Landschaft ist. Sie entdeckten, dass diese Liste nicht zufällig ist; sie hat eine sehr spezifische Struktur. Der obere Teil der Liste wird von dem Teil der KI dominiert, der das Vokabular verwaltet (die „Unembedding“-Schicht), während der lange, auslaufende Teil einem universellen „Potenzgesetz“ (Power Law) folgt. Das bedeutet, dass die Form des Ausläufers identisch ist, egal ob die KI einen winzigen Datensatz oder einen riesigen verwendet, und es ist ihr egal, welche Tricks (Preconditioner) der Optimierer nutzt, um die Prozesse zu beschleunigen. Es ist ein universelles Muster, das im Chaos verborgen liegt.

Schließlich untersuchten sie die „Stabilitätsgrenze“. Sie wollten wissen, ob die KI vorsichtig in der Mitte des Tals wandert oder auf der äußersten Kante einer Klippe tanzt. Durch das Anpassen der Lernrate und der Batch-Größe (der Größe der Datenpakete) fanden sie heraus, dass die KI tatsächlich auf der Kante tanzt. Wenn die KI kleine Batches verwendet, tanzt sie auf einer „stochastischen Stabilitätsgrenze“, was bedeutet, dass sie aufgrund des zufälligen Rauschens in den Daten schwankt. Wenn sie riesige Batches verwendet, taudelt sie auf einer „deterministischen Kante“, bei der die Instabilität durch die Mathematik der Schritte selbst verursacht wird. In beiden Fällen operiert die KI genau an der Grenze dessen, was stabil ist, was darauf hindeutet, dass dieser prekäre Balanceakt tatsächlich die Art und Weise ist, wie diese Modelle am besten lernen.

Die Arbeit kommt zu dem Schluss, dass wir die Welt der KI zwar als unglaublich komplex verstehen können, wir sie aber verstehen können, indem wir sie als eine Abfolge einfacher, lokaler quadratischer Probleme behandeln. Anstatt eine einzige, unmögliche Theorie für den gesamten Berg zu benötigen, können wir einfach das lokale Becken betrachten, in dem sich die KI gerade befindet. Dieses einfache Modell ist nicht nur ein Spielzeug; es ist ein überraschend genauer Stellvertreter dafür, wie das reale Pretraining von KI tatsächlich funktioniert, und bietet uns einen neuen, handhabbaren Weg, um diese massiven Systeme zu verstehen und zu verbessern.

Technisches Resümee: Eine Verteidigung des quadratischen Modells

Problemstellung

Die Optimierungstheorie für Large Language Models (LLMs) stützt sich oft auf idealisierte Modelle, um die Komplexität nicht-konvexer Verlustlandschaften zu navigieren. Es besteht jedoch eine signifikante Lücke zwischen theoretischer Handhabbarkeit und empirischer Genauigkeit: Modelle, die mathematisch einfach sind, versagen oft bei der Beschreibung realer Dynamiken, während Modelle, die spezifische Problemstrukturen erfassen, häufig theoretisch unhandlich sind. Die zentrale Frage, die in dieser Arbeit adressiert wird, laet sich wie folgt formulieren: In welchem Maße erfasst das einfachste mögliche Optimierungsmodell – das quadratische Modell – tatsächlich die Trainingsdynamik von LLMs?

Methodik

Die Autoren unterziehen das quadratische Modell einem rigorosen „Stresstest“ unter Verwendung eines 150-Mio.-Parameter-Transformers, der auf 3 Milliarden Token von FineWeb trainiert wurde. Die Methodik umfasst drei primäre Komponenten:

1. Lokale quadratische Approximation (Abschnitt 3)

Die Autoren bewerten die Vorhersagekraft lokaler Taylor-Entwicklungen an intermediären Checkpoints (alle 10 % des Trainings). Sie definieren zwei Proxy-Verluste:

Prox (Linearisiert): Linearisiert das Modell $f_\theta$ um einen Referenzpunkt $\theta_{ref}$ , behält jedoch die ursprüngliche Cross-Entropy-Zielfunktion bei. Dies entspricht einer Multi-Class-Logistischen Regression unter dem Neural Tangent Kernel (NTK)-Regime.
Quad (Quadratisch): Entwickelt den Prox-Verlust mittels Taylor-Entwicklung bis zur zweiten Ordnung, was zu einer konvexen quadratischen Zielfunktion führt. Entscheidend ist, dass sie die Gauss-Newton-Matrix ( $G$ ) anstelle der vollen Hesse-Matrix ( $H$ ) verwenden, um sicherzustellen, dass die quadratische Zielfunktion konvex (positiv semidefinit) bleibt und so eine Unbeschränktheit in Richtungen negativer Krümmung vermeidet.

Sie trainieren diese Proxy-Modelle für 10 % des gesamten Token-Budgets ausgehend von jedem Checkpoint und vergleichen die resultierenden Optimierungstrajektorien mit den wahren LLM-Trainingsdynamiken.

2. Schätzung des Hessian-Spektrums (Abschnitt 4)

Um die Struktur dieser lokalen quadratischen Probleme zu analysieren, schätzen die Autoren die Spektren der Hesse- und der Gauss-Newton-Matrizen (sowohl roh als auch Adam-präkonditioniert) entlang der Trainingskurve.

Technik: Sie verwenden die Stochastische Lanczos-Quadratur (SLQ) mit extrem tiefen Sonden ( $m=1200$ ) und rigorosen Fehlergrenzen (Gauss-Radau-Bounds).
Skalierung: Die Sonden werden auf Checkpoints bei 10 %, 50 % und 100 % des Trainings für Batch-Größen $B \in \{1, 64, 1024\}$ durchgeführt.
Analyse: Sie untersuchen den spektralen Zerfall (Potenzgesetze), die Verteilung der Eigenvektoren über die Netzwerkschichten sowie die Ausrichtung zwischen Gradient und Eigenvektoren (Source-Bedingungen).

3. Edge of Stability (EOS) Analyse (Abschnitt 5)

Die Autoren testen empirisch, ob das LLM-Training am „Rand der Stabilität“ (Edge of Stability) operiert.

Setup: Sie frieren den Adam-Präkonditionierer ein und führen präkonditioniertes SGD auf dem lokalen quadratischen Proxy durch.
Perturbation: Sie variieren die Multiplikatoren für Lernrate ( $\eta$ ) und Batch-Größe ( $B$ ) auf einem Gitter, um die Stabilitätsgrenze zu bestimmen.
Metrik: Ein Durchlauf gilt als divergent, wenn der Verlust einen Schwellenwert (100) überschreitet. Sie unterscheiden dabei zwischen mittlerer quadratischer Stabilität (sensibel gegenüber Heavy Tails) und Lyapunov-Stabilität (typisches Verhalten).

Kernergebnisse

1. Vorhersagekraft quadratischer Modelle

Übereinstimmungsfenster: Die lokalen quadratischen und linearisierten Modelle sagen die wahre Optimierungsdynamik für Fenster von bis zu 10 % des gesamten Trainingsbudgets genau voraus.
Temporale Genauigkeit: Die Qualität der Approximation ist in der Mitte bis zum Ende des Trainings signifikant besser als in der frühen Phase.
Prox vs. Quad: Das linearisierte Modell (Prox) passt im frühen Training im Allgemeinen besser zum wahren Verlust als das quadratische Modell (Quad), während Quad erst nach 60 % des Trainings eine hohe Genauigkeit erreicht.

2. Struktur des Hessian-Spektrums

Head-Tail-Split: Das Spektrum zeigt einen scharfen Übergang um den Index $i \approx 8192$ (die Vokabulargröße). Der „Head“ (oberste Eigenwerte) wird von der Unembedding-Schicht dominiert, was konsistent mit dem Phänomen des „Neural Collapse“ ist.
Universeller Tail: Der „Tail“ des Spektrums (Indizes $> 10^5$ ) folgt einem Potenzgesetz, das universell ist: Er ist über verschiedene Batch-Größen hinweg identisch und wird durch den Adam-Präkonditionierer nicht beeinflusst.
Exponenten:
- Kapazitäts-Exponent ( $\alpha$ ): Wird auf $\alpha \approx 0,96$ für den Gauss-Newton-Tail und $\alpha \approx 0,65$ für den Hessian-Tail geschätzt.
- Source-Exponent ( $\beta$ ): Die Source-Bedingung (Gradienten-Ausrichtung) liefert $\beta \in [0,1, 0,2]$ für Gauss-Newton und $\beta \in [0,3, 0,6]$ für den Hessian. Dies widerspricht der gängigen Annahme in der Literatur von $\beta > 1$ und deutet darauf an, dass das Problem so agiert, als wäre es endlich-dimensional mit exponentiellem Bias-Zerfall nach einer kritischen Zeit.
Negative Eigenwerte: Die präkonditionierte Hesse-Matrix weist große negative Eigenwerte auf, insbesondere bei größeren Batch-Größen, die lokal in der MLP Up-Projection-Schicht liegen. Die Autoren hypothetisieren, dass diese mit „Dead Neurons“ und dem „Rare Token Effect“ zusammenhängen.

3. Edge of Stability Dynamik

Stochastisch vs. Deterministisch:
- Bei kleinen bis mittleren Batch-Größen ( $B=1, 64$ ) findet das Training an einem stochastischen Rand der Stabilität statt. Die Stabilitätsgrenze folgt einer diagonalen Linie im $(\eta, B)$ -Raum, was darauf hindeutet, dass Instabilität durch Stochastizität (Rauschen) getrieben wird.
- Bei großen Batch-Größen ( $B=1024$ ) operiert das Training am deterministischen Rand der Stabilität, charakterisiert durch einen flachen Cutoff im Stabilitätsbereich, was konsistent mit dem Verhalten des Full-Batch-Gradientenabstiegs ist.
Nähe zur Grenze: Über alle Settings hinweg operiert das Training innerhalb eines Faktors von 2 zur Stabilitätsgrenze.

Bedeutung und Behauptungen

Das Paper argumentiert, dass das quadratische Modell nicht bloß ein theoretisches Spielzeug ist, sondern ein valider, experimentell verifizierter Proxy für die LLM-Pretraining-Dynamik.

Theoretische Handhabbarkeit: Die Ergebnisse legen nahe, dass die komplexe LLM-Optimierung lokal als eine Sequenz strukturierter quadratischer Probleme verstanden werden kann. Dies ermöglicht es Forschern, das reiche Instrumentarium der quadratischen Optimierungstheorie (z. B. Stabilitätsanalyse, Lernraten-Scheduling) zu nutzen, um das LLM-Training zu begründen.
Überprüfung von Annahmen: Die Ergebnisse stellen Standardannahmen in der Literatur infrage, insbesondere die Summierbarkeit von Source-Bedingungen ( $\beta > 1$ ) und die Universalität des Hessian-Tails unter Präkonditionierung.
Praktische Implikationen: Die Identifizierung des „stochastischen Randes der Stabilität“ bei kleinen Batch-Größen liefert ein verfeinertes Verständnis dafür, warum das Training unter spezifischen Hyperparameter-Konfigurationen divergiert, indem sie zwischen Diskretisierungsfehlern und stochastischem Rauschen unterscheidet.

Die Autoren kommen zu dem Schluss, dass das globale Verlustprofil zwar nicht-konvex ist, die lokale quadratische Approximation jedoch einen leistungsfähigen, handhabbaren Rahmen zur Analyse und Gestaltung von Trainings-Pipelines für großskalige Modelle bietet.