🤖 machine learning

Unlocking Feature Learning in Gated Delta Networks at Scale

Diese Arbeit leitet die Skalierungsregeln der Maximalen Update-Parametrisierung ( $\mu$ P) für Gated Delta Networks her und validiert diese, wobei nachgewiesen wird, dass diese Regeln im Gegensatz zur Standardparametrisierung einen Zero-Shot-Hyperparameter-Transfer sowie ein stabiles Training über verschiedene Modellbreiten hinweg ermöglichen.

Ursprüngliche Autoren: Yifeng Liu, Quanquan Gu

Veröffentlicht 2026-06-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yifeng Liu, Quanquan Gu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen Roboter das Geschichtenerzählen beizubringen. Je größer der Roboter wird (mehr „Gehirnzellen“ oder Parameter), desto schwieriger ist es, ihm die richtigen Lektionen beizubringen. Normalerweise müssen Sie, wenn Sie die perfekte Lerngeschwindigkeit (Learning Rate) für einen kleinen Roboter finden, diese Geschwindigkeit komplett neu abstimmen, wenn Sie zu einem riesigen Roboter wechseln. Es ist wie beim Finden des perfekten Wasserdrucks für einen Gartenschlauch; wenn Sie zu einem Feuerwehrschlauch wechseln, bewirkt derselbe Druck entweder gar nichts oder lässt den Schlauch platzen.

In dieser Arbeit geht es um eine neue Art von Robotergehirn namens Gated Delta Network. Diese sind besonders, weil sie sehr effizient darin sind, sich lange Geschichten zu merken, ohne überfordert zu zu werden, im Gegensatz zu den heute üblichen Standard-„Transformer“-Gehirnen. Da sie jedoch anders funktionieren, arbeiteten die alten Regeln für das Training bei ihnen nicht.

Hier ist die Aufschlüsselung dessen, was die Autoren getan haben, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Einheitsregel“ funktioniert nicht

Lange Zeit verwendeten Wissenschaftler ein Standard-Regelwerk (genannt Standard Parametrization), um diese Roboter zu lehren. Dieses Regelwerk besagte: „Wenn du die Größe des Roboters verdoppelst, behalte die Lerngeschwindigkeit gleich.“

Das Ergebnis: Dies funktionierte gut für die alten, Standard-Roboter. Aber für diese neuen, effizienten Gated Delta Networks versagte es. Wenn man versuchte, dieselbe Lerngeschwindigkeit auf einen großen Roboter anzuwenden wie auf einen kleinen, lernte der große Roboter entweder gar nichts oder drehte völlig durch.

2. Die Lösung: Ein neues „Regelwerk“ (µP)

Die Autoren entwickelten ein neues, klügeres Regelwerk namens Maximal Update Parametrization (µP). Denken Sie an dies als einen „Universellen Übersetzer“ für Lerngeschwindigkeiten.

Das Ziel: Ein Set von Regeln zu finden, bei dem die Lerngeschwindigkeit, die Sie für einen winzigen Roboter finden, perfekt für einen massiven Roboter funktioniert, ohne dass Änderungen nötig sind. Dies wird als „Zero-Shot Transfer“ bezeichnet.
Die Herausforderung: Diese neuen Roboter haben eine spezielle „Gedächtnisschleife“ (sie erinnern sich an Dinge, indem sie einen Zustand immer wieder aktualisieren). Die alte Mathematik wusste nicht, wie sie mit dieser Schleife umgehen sollte, also mussten die Autoren eine neue Mathematik entwickeln, um genau zu bestimmen, wie die Lerngeschwindigkeit für jeden Teil des Roboters angepasst werden muss.

3. Die Entdeckung: Verschiedene Teile brauchen unterschiedliche „Lerngeschwindigkeiten“

Die Autoren entdeckten, dass nicht alle Teile dieses neuen Robotergehirns gleich sind. Sie fanden zwei spezifische Teile, die eine besondere Behandlung benötigten, was eine Überraschung war:

Die „Torwächter“ (Gating Weights): Stellen Sie sich vor, der Roboter hat kleine Türen, die entscheiden, welche Informationen hineingelassen werden. Die Autoren fanden heraus, dass die „Knöpfe“, die diese Türen steuern, viel sanfter gedreht werden müssen (eine langsamere Lerngeschwindigkeit) als der Rest des Gehirns. Wenn man sie zu schnell dreht, vergisst der Roboter, wie man die Türen öffnet.
Die „Lautstärkeregler“ (Scalar Parameters): Es gibt auch kleine Lautstärkeregler, die die Stärke des Signals anpassen. Diese mussten viel aggressiver gedreht werden (eine schnellere Lerngeschwindigkeit) als der Rest des Gehirns.

Es ist wie das Stimmen eines komplexen Musikinstruments: Die meisten Saiten benötigen eine Standardstimmung, während die Basssaiten eine sehr lockere Drehung benötigen, während die winzigen, hochtonigen Saiten eine sehr feste Drehung benötigen, sonst klingt die Musik schrecklich.

4. Der Beweis: Es funktioniert in der realen Welt

Die Autoren haben diese Roboter nicht nur auf dem Papier berechnet; sie haben diese Roboter gebaut und getestet.

Das Experiment: Sie trainierten diese Roboter mit einer riesigen Textbibliothek (FineWeb-Edu), um zu sehen, wie gut sie lernten.
Das Ergebnis:
- Wenn sie die alten Regeln verwendeten, benötigten die Roboter unterschiedlicher Größe völlig unterschiedliche Lerngeschwindigkeiten.
- Wenn sie ihre neuen Regeln verwendeten, funktionierte die Lerngeschwindigkeit, die für den kleinsten Roboter gefunden wurde, perfekt für den größten Roboter. Die Roboter lernten stetig und stabil, egal wie groß sie wurden.

Zusammenfassung

Diese Arbeit ist ein „Benutzerhandbuch“ für das Training einer spezifischen, hocheffizienten Art von KI. Die Autoren haben herausgefunden, dass man, da diese KI anders arbeitet, die Trainingseinstellungen nicht einfach kopieren und einfügen kann. Sie haben einen neuen Satz von Einstellungen abgeleitet, die es ermöglichen, eine winzige Version der KI zu trainieren, die perfekten Einstellungen zu finden und diese exakt auf eine riesige Version der KI anzuwenden, was eine enorme Menge an Zeit und Rechenleistung spart.

Technische Zusammenfassung: Freischaltung des Feature-Learnings in Gated Delta Networks im großen Maßstab

Problemstellung
Die Skalierung von Large Language Models (LLMs) steht vor zwei primären Engpässen: den hohen Rechenkosten beim Training größerer Modelle und der quadratischen Komplexität der Standard-Transformer-Self-Attention. Lineare rekursive Architekturen, wie etwa Gated Delta Networks (GDN), haben sich als effiziente Alternativen etabliert, die eine lineare Inferenzzeit beibehalten und gleichzeitig weitreichende Abhängigkeiten erfassen können. Es besteht jedoch eine kritische Lücke bei der effektiven Skalierung dieser Modelle. Während die Maximal Update Parametrization (µP) erfolgreich das Zero-Shot-Hyperparameter-Transfer (speziell für Lernraten) für Standard-Transformer und einige lineare Modelle ermöglicht hat, bleibt ihre Anwendung auf Gated Delta Networks bisher unerforscht. Die zentrale Herausforderung liegt in der rekursiven Zustandsdynamik der Architektur, die über datenabhängige Gating-Mechanismen und Full-Matrix-Delta-Regeln anstatt über skalare Rekurrenzen oder Standard-Feedforward-Strukturen aktualisiert wird. Vorarbeiten zu Structured State Space Models (SSMs) wie Mamba haben gezeigt, dass das herkömmliche µP bei diagonalen SSMs versagt, aber die Verwendung von Full-Matrix-Zustandsaktualisierungen bei GDN macht diese spezifischen Korrekturen unanwendbar.

Methodik
Die Autoren adressen diese Lücke, indem sie die µP-Formulierung für Gated Delta Networks rigoros herleiten. Die Methodik umfasst die Propagation von Koordinatengrößenschätzungen durch den gesamten Forward-Pass, einschließlich der einzigartigen Gating-Mechanismen und rekursiven Zustandsübergänge, um die notwendigen Skalierungsregeln für Initialisierung, Forward-Multiplikatoren und Lernraten zu bestimmen.

Zentrale analytische Schritte sind:

Forward-Pass-Analyse: Die Autoren leiten die Koordinatengrößen der projizierten Features, des latenten Zustands $S_t$ und des Readouts ab. Sie identifizieren, dass die L2-Normalisierung von Queries und Keys in Kombination mit den Rank-One-Write-Updates zu spezifischen Varianz-Skalierungen führt. Entscheidend ist, dass sie einen $\sqrt{d}$ -Multiplikator vor der RMSNorm-Schicht einzufügen schlagen, um sicherzustellen, dass der Input der Normalisierungsschicht eine $\Theta(1)$ -Koordinatengröße beibehält, was die Störung der für das Feature-Learning erforderlichen Gradientenskalierung verhindert.
Gating-Mechanismus-Analyse: Das Paper analysiert die nicht-linearen Gating-Parameter $\alpha_t$ (Decay) und $\beta_t$ (Write-Stärke). Im Gegensatz zu Standardgewichten werden diese aus skalaren Pre-Aktivierungen abgeleitet, die trainierbare Gewichtvektoren ( $W_\alpha, W_\beta$ ) und skalare Parameter ( $a_{log}, b$ ) beinhalten. Die Analyse zeigt, dass diese Gating-Komponenten nicht den Standard-µP-Skalierungsgesetzen folgen, da sie spezifische Rollen in der Zustandsaktualisierungs-Gleichung einnehmen.
Backward-Pass und Lernraten-Ableitung:
- AdamW: Aufgrund der Normalisierung von Gradienten durch deren zweiten Moment durch AdamW ist die effektive Update-Größe über verschiedene Gewichtsklassen hinweg konsistent, was die Anforderungen an die Lernrate vereinfacht.
- SGD: Unter reinem SGD variieren die Rohgradienten-Magnituden zwischen verschiedenen Gewichtsklassen erheblich. Die Autoren leiten ab, dass die Gating-Gewichtsmatrizen ( $W_\alpha, W_\beta$ ) eine Lernraten-Skalierung von $\Theta(1/\sqrt{d})$ und die skalaren Gating-Parameter ( $a_{log}, b$ ) eine Skalierung von $\Theta(\sqrt{d})$ erfordern. Diese Skalierungen weichen vom Standard-µP-Setting ab, in dem Lernraten typischerweise einheitlich sind oder einer einfachen $1/n$ -Regel folgen.

Zentrale Beiträge

Theoretische Herleitung: Das Paper liefert die erste vollständige µP-Formulierung für Gated Delta Networks. Es leitet Koordinatengrößen-Schätzungen durch den gesamten Forward-Pass her und etabliert fundierte Initialisierungs-Varianzen und Forward-Multiplikatoren für alle Gewichtsklassen.
Neuartige Skalierungsregeln: Die Autoren entdecken, dass die Gating-Komponenten unter SGD nicht-standardmäßige Lernraten-Skalierungen erfordern:
- Gating-Gewichtsmatrizen ( $W_\alpha, W_\beta$ ) erfordern eine $\Theta(1/\sqrt{d})$ -Skalierung.
- Skalare Gating-Parameter ( $a_{log}, b$ ) erfordern eine $\Theta(\sqrt{d})$ -Skalierung.
Empirische Validierung: Die Autoren prätrainieren GDN-Sprachmodelle über mehrere Breiten (von 256 bis 1543 Hidden Dimensions) sowohl mit AdamW- als auch mit SGD-Optimierern.
- Ergebnisse: Unter der vorgeschlagenen µP-Konfiguration überträgt sich die optimale Lernrate Zero-Shot über alle Modellbreiten hinweg für beide Optimierer. Im Gegensatz dazu versagen die Standard-Parametrisierung (SP) und die ursprüngliche µP-Konfiguration beim Transfer, wobei sich die optimalen Lernraten mit zunehmender Modellbreite signifikant verschieben.
- Stabilität: Die vorgeschlagenen Konfigurationen ermöglichen einen stabilen Lernraten-Transfer, was die theoretischen Ableitungen bestätigt.

Bedeutung und Ansprüche
Das Paper behauptet, dass seine Analyse das offene Problem der Parametrisierung von Gated Delta Networks für das Feature-Learning im großen Maßstab löst. Durch den Nachweis, dass die abgeleitete µP-Formulierung einen Zero-Shot-Hyperparameter-Transfer ermöglicht, validiert die Arbeit die Korrektheit der theoretischen Herleitung und deren praktischen Nutzen. Die Autoren betonen, dass dies die erste Arbeit ist, die eine µP-konsistente Parametrisierung spezifisch für Gated Delta Networks herleitet und validiert, wodurch sie sich von vorangegangenen Arbeiten zu diagonalen SSMs unterscheidet. Die Ergebnisse legen nahe, dass eine korrekte Parametrisierung essenziell für das Skalieren linearer rekursiver Modelle ist und dass die spezifischen Gating-Mechanismen in GDN einzigartige Skalierungsregeln erfordern, die sich sowohl von Standard-Transformern als auch von anderen linearen Architekturen unterscheiden. Die Autoren hoffen, dass diese Ableitungen zukünftige Forschung zur Skalierung anderer linearer oder hybrider Architekturen leiten werden.