🤖 machine learning

GQA-{\mu}P: The maximal parameterization update for grouped query attention

Dieser Beitrag stellt GQA-{\mu}P vor, ein neuartiges Parametrisierungsframework, das maximale Update-Skalierungen für Grouped-Query-Attention ableitet, indem es das Feature-Lernen durch Spektralnorm-Bedingungen neu definiert und diese an nicht-vollrangige Gewichtsmatrizen anpasst, wodurch eine effektive Hyperparameter-Übertragung über Modellarchitekturen hinweg ermöglicht wird.

Ursprüngliche Autoren: Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, ein Rezept für ein riesiges Festmahl (ein massives KI-Modell) zu perfektionieren. Sie wissen, dass Sie, wenn Sie einen kleinen Topf Suppe (ein winziges Modell) mit der richtigen Menge Salz und Hitze zubereiten, genau vorhersagen können, wie viel Salz und Hitze Sie für den riesigen Topf benötigen, ohne zuerst die riesige Version verkosten zu müssen. Dies ist der Traum des Hyperparameter-Transfers: ein kleines Modell zu verwenden, um die Einstellungen für ein großes zu ermitteln.

Lange Zeit hatten Köche ein spezifisches Regelbuch namens µP (Maximal Update Parameterization), das für Standardrezepte hervorragend funktionierte. Doch als sich KI-Modelle weiterentwickelten, begannen sie, eine neue, effizientere Kochtechnik namens GQA (Grouped Query Attention) zu verwenden. Denken Sie an GQA als eine Möglichkeit, bei der mehrere Köche denselben Satz an Zutaten teilen, um Zeit und Platz zu sparen.

Das Problem? Das alte Regelbuch (µP) funktionierte für diese neue GQA-Technik nicht. Wenn Sie die Einstellungen für den kleinen Topf auf den großen GQA-Topf anwendeten, würde die Suppe verbrennen oder fade schmecken. Die Mathematik sagte voraus, dass es funktionieren sollte, aber die Realität sagte, dass es nicht funktionierte.

Diese Arbeit, GQA-µP, repariert das Regelbuch, damit es für diese neuen, effizienten Rezepte funktioniert. Hier ist, wie sie es taten, unter Verwendung einfacher Analogien:

1. Das "Lineal"-Problem (Spektralnorm vs. Erwartete Operatornorm)

Im alten Regelbuch verwendeten die Köche ein bestimmtes Lineal namens Spektralnorm, um zu messen, wie stark sich die Zutaten (Gewichte) änderten.

Das Problem: Das alte Lineal war für "vollrangige" Zutaten (wie ein massiver Käseblock) konzipiert. Aber GQA verwendet "niedrigrangige" Zutaten (wie ein Käseblock mit Löchern darin).
Die Metapher: Stellen Sie sich vor, Sie versuchen, die Größe eines Schweizer Käseblocks mit einem Lineal zu messen, das für einen massiven Holzblock gedacht ist. Das Lineal könnte sagen, der Käse sei riesig, weil er die gesamte Breite überspannt, aber in Wirklichkeit füllt der Käse aufgrund der Löcher diesen Raum nicht wirklich aus.
Die Lösung: Die Autoren erfanden ein neues Lineal namens Erwartete Operatornorm. Anstatt die "theoretische maximale Größe" (die die Löcher einschließt) zu messen, misst dieses neue Lineal die "durchschnittliche Größe", die Sie tatsächlich treffen, wenn Sie den Käse verwenden. Dieses neue Lineal sagt den Köchen korrekt, wie stark sie die Zutaten skalieren müssen, damit die Suppe richtig schmeckt, unabhängig davon, wie viele Löcher (Gruppen) im Käse sind.

2. Das "Teamwork"-Problem (Grouped Query Attention)

Bei GQA teilen sich mehrere "Query-Köpfe" (Köche, die Fragen stellen) dieselben "Key- und Value-Köpfe" (Köche, die Antworten geben).

Das Problem: Wenn Sie diese Köche zusammenfassen, wird die Mathematik kompliziert. Das alte Regelbuch ging davon aus, dass jeder Koch sein eigenes, einzigartiges Werkzeugset hatte. Wenn sie Werkzeuge teilen, gerät die alte Mathematik in Verwirrung darüber, wie stark sich die Werkzeuge ändern sollten.
Die Lösung: Die Autoren leiteten eine neue Skalierungsformel speziell für diese Teilungsanordnung ab. Sie ermittelten genau, wie die "Lernrate" (wie schnell die Köche lernen) basierend darauf angepasst werden muss, wie viele Köche die Werkzeuge teilen.
- Analogie: Wenn ein Koch die ganze Arbeit erledigt, benötigt er eine bestimmte Menge Energie. Wenn zehn Köche die Arbeit teilen, ändert sich die Energieverteilung. Das neue Regelbuch berechnet die genaue benötigte Energie, damit die Arbeit unabhängig davon, ob Sie 1 Koch oder 12 haben, perfekt erledigt wird.

3. Das "Salz"-Problem (Weight Decay)

Beim Kochen ist "Weight Decay" wie das Hinzufügen eines Konservierungsmittels (Salz), um zu verhindern, dass die Suppe verdirbt (Overfitting).

Das Problem: Das alte Regelbuch sagte nicht, wie Sie das Salz anpassen sollten, wenn Sie die Größe des Topfes oder die Tiefe des Rezepts änderten.
Die Lösung: Die Autoren zeigten, dass Sie, wenn Sie ihre neuen Regeln verwenden, auch die "Salz"-Einstellungen übertragen können. Sie können die perfekte Salzmenge für einen kleinen Topf finden, und sie wird auch für den riesigen Topf funktionieren. Sie bewiesen zudem, dass eine bestimmte Zeitkonstante (genannt $\tau_{epoch}$ ) für diese Übertragung gut funktioniert.

4. Der "Lautlose Küche"-Realitätscheck

Die Autoren entdeckten auch eine lustige Eigenart in der GQA-Küche.

Die Entdeckung: Selbst mit dem neuen perfekten Regelbuch wird der Kochprozess "laut", wenn Sie nur wenige Köche haben, die die Werkzeuge teilen (sehr wenige "KV-Köpfe"). Es ist wie eine Küche, in der die Köche miteinander flüstern; manchmal hören sie sich klar, manchmal nicht.
Die Lehre: Obwohl die Mathematik funktioniert, warnen die Autoren, dass das Übertragen von Einstellungen zwischen Modellen mit sehr unterschiedlichen Anzahlen geteilter Gruppen etwas instabil sein kann. Es ist am besten, vorsichtig zu sein, wenn Sie von einem "viele-Köche"-Setup zu einem "wenige-Köche"-Setup wechseln.

Zusammenfassung

Kurz gesagt sagt diese Arbeit:

Die alte Mathematik zum Skalieren von KI-Modellen versagte bei der Verwendung der effizienten GQA-Technik, weil sie das falsche "Lineal" zur Messung der Zutaten verwendete.
Die Autoren schufen ein neues Lineal (Erwartete Operatornorm), das die "Löcher" in der GQA-Struktur berücksichtigt.
Unter Verwendung dieses neuen Lineals schrieben sie ein neues Regelbuch, das es Köchen ermöglicht, Kochsettings (Lernraten und Salzmenge) perfekt von kleinen Modellen auf große GQA-Modelle zu übertragen.
Sie bewiesen im Labor, dass dies funktioniert, und zeigten, dass das neue Regelbuch den Trainingsprozess viel vorhersehbarer und effizienter macht.

Sie erfanden keine neue Art, die Suppe zu kochen (die KI-Architektur), sondern sie reparierten die Messbecher und Löffel, damit jeder mit dem Rezept aus einem kleinen Topf einen perfekten riesigen Topf Suppe kochen kann.

Technische Zusammenfassung: GQA-µP: Die maximale Parameterisierungsaktualisierung für Grouped Query Attention

Problemstellung

Die Übertragung von Hyperparametern über Modellarchitekturen hinweg, insbesondere die Maximal Update Parameterization (µP), ermöglicht die Bestimmung optimaler Hyperparameter für großskalige Modelle durch das Durchlaufen kleiner Proxy-Modelle. Während µP erfolgreich für die Übertragung der Lernrate über Modellbreiten hinweg angewendet wurde, bleibt seine Anwendung auf neuartige Architekturen und andere Hyperparameter (wie Weight Decay und Tiefe) herausfordernd.

Eine spezifische Lücke besteht für Grouped-Query Attention (GQA), einen Mechanismus, der in modernen Large Language Models (LLMs) weit verbreitet ist, um den Speicherverbrauch zu reduzieren, indem Key- und Value-Köpfe über Gruppen von Query-Köpfen hinweg geteilt werden. Frühere Versuche, Standard-µP auf GQA anzuwenden, offenbarten ein kritisches Versagen: Während die Implementierung standardmäßige „Koordinatenprüfungen" (Validierung von Aktivierungsnormen) bestand, gelang es nicht, Lernraten effektiv über unterschiedliche Anzahlen von KV-Köpfen hinweg zu übertragen. Darüber hinaus hatten bestehende µP-Frameworks Schwierigkeiten, prinzipielle Skalierungen für Weight Decay und Tiefe abzuleiten, ohne sich auf „lazy-learning"-Annahmen zu stützen. Die theoretische Kernschwierigkeit entsteht, weil GQA-Gewichtsmatrizen oft rangdegeneriert (rangniedrig) sind, wodurch die Standard-Spektralnorm versagt, die erwartete Deformation von Eingaben während des Trainings genau zu erfassen.

Methodik

Die Autoren bauen auf der spektralen Feature-Learning-Perspektive von Yang et al. (2023a) auf, um neue Skalierungsgesetze abzuleiten. Die Methodik umfasst drei primäre theoretische und analytische Fortschritte:

Neudefinition von Feature Learning durch Spektralnormen:
Das Papier hebt Spektralnormbedingungen für Gewichtsmatrizen von einer Heuristik zur formalen Definition von Feature Learning. Die Autoren argumentieren, dass die Sicherstellung, dass die Spektralnorm von Gewichtsaktualisierungen korrekt skaliert, eine stärkere und zuverlässigere Bedingung für Feature Learning ist als die alleinige Analyse von Aktivierungsnormen. Dieser Wechsel ermöglicht die Ableitung von Complete-P-Tiefen- und Weight-Deacy-Skalierungen ohne Rückgriff auf lazy-learning-Annahmen.
Einführung der Erwarteten Operatornorm:
Um die Rangdegenerierung von GQA-Matrizen zu adressieren, führen die Autoren eine modifizierte Norm ein: die erwartete Operatornorm ( $||A||_E$ ).
- Standard-Spektralnormen ( $||A||$ ) messen die maximale Deformation eines Eingabevektors. Für vollrangige Matrizen wird dies asymptotisch erreicht.
- Für rangdegenerierte Matrizen (wie GQA) treten die Vektoren, die eine maximale Deformation verursachen, während des Trainings mit Wahrscheinlichkeit null auf (da Eingaben i.i.d. sind). Folglich überschätzt die Spektralnorm die tatsächliche Deformation.
- Die erwartete Operatornorm ist definiert als der Erwartungswert des Verhältnisses von Ausgabe- zu Eingabenorm über die Eingabeverteilung: $||A||_{E,\Omega,p} := \mathbb{E}_{x \sim \Omega} [\frac{||Ax||_p}{||x||_p}]$ .
- Diese Norm spiegelt die während des Trainings tatsächlich auftretende Deformation korrekt wider und stellt die Gültigkeit von Skalierungsgesetzen für GQA wieder her.
Ableitung von GQA-µP-Skalierungen:
Unter Verwendung der erwarteten Operatornorm leiten die Autoren die spezifischen Skalierungsfaktoren für GQA-Schichten ab.
- Für eine GQA-Schicht mit $r$ Wiederholungen von Key-Value-Köpfen müssen Lernrate ( $\eta$ ) und Weight Decay ( $\lambda$ ) anders skaliert werden als bei Standard-Attention.
- Die abgeleitete Lernratenskaliierung ist $\eta = \Theta(\frac{1+\sqrt{r}}{n})$ , wobei $n$ die Einbettungsdimension ist.
- Die Weight-Deacy-Skalierung wird auf $\lambda = \Theta(\frac{2n}{1+\sqrt{r}})$ angepasst, um das Gleichgewicht zwischen Regularisierung und Gradientenaktualisierungen zu erhalten.
- Diese Ableitungen sind in Tabelle 1 des Papiers zusammengefasst und bieten eine einheitliche Parameterisierung für Transformer mit GQA.
Tiefenskaliierung (Complete-P):
Das Framework wird auf residuale Netzwerke angewendet, um Tiefenskaliierungen abzuleiten. Durch Anwendung der Spektralbedingung auf die Komposition residualer Blöcke zeigen die Autoren, dass der Skalierungsfaktor $\beta$ für residuale Zweige $\Theta(L^{-1})$ sein muss (wobei $L$ die Tiefe ist), um Signalexplosion oder -verschwinden zu verhindern. Dies liefert dieselben Ergebnisse wie Dey et al. (2025), ohne die Annahme „kein lazy learning" zu benötigen.

Hauptbeiträge

Erste µP-Ableitung für GQA: Das Papier liefert, nach Kenntnis der Autoren, die erste prinzipielle Ableitung von µP-Skalierungen für Grouped-Query Attention und löst die Diskrepanz, bei der Standard-µP-Implementierungen versagten, Lernraten zu übertragen.
Theoretische Erweiterung der spektralen µP: Die Arbeit erweitert die spektrale µP-Theorie von Yang et al. (2023a), indem sie Spektralnormbedingungen zur Definition von Feature Learning befördert und die erwartete Operatornorm einführt, um rangdegenerierte Gewichte zu handhaben. Dies ermöglicht die Ableitung von Skalierungen für Weight Decay, Rekursionsblöcke und GQA.
Empirische Validierung der Übertragung: Die Autoren demonstrieren, dass ihre abgeleiteten Skalierungen die Übertragung von Lernraten über unterschiedliche GQA-Wiederholungszahlen ( $r$ ) hinweg sowie von Weight Decay über Modellgrößen hinweg ermöglichen. Sie zeigen, dass die vanilla Adam-µP-Implementierung spektrale Koordinatenprüfungen für GQA nicht besteht, während ihre vorgeschlagene Skalierung diese besteht.

Experimentelle Ergebnisse

Die Autoren validieren ihre theoretischen Ableitungen durch umfangreiche Experimente:

Lernratenübertragung: Experimente mit variierender Anzahl von KV-Köpfen (von 1 bis 12) zeigen, dass die Standardparameterisierung und vanilla Adam-µP nicht zu einer konsistenten optimalen Lernrate konvergieren. Im Gegensatz dazu verengt die vorgeschlagene GQA-µP-Skalierung den Bereich der optimalen Lernrate erheblich und ermöglicht eine effektive Übertragung.
Koordinatenprüfungen: Die Analyse der Aktualisierungsnormen von Aktivierungen ( $||\Delta h||$ ) deutete darauf hin, dass die vanilla Implementierung korrekt war, doch die Analyse der Spektralnormen der Gewichtsmatrizen ( $||\Delta W||$ ) offenbarte eine nichtlineare Abhängigkeit von der Anzahl der KV-Köpfe, was das Übertragungsversagen erklärt. Die vorgeschlagene GQA-µP-Skalierung entfernt diese Abhängigkeit.
Weight Decay und $\tau_{\text{epoch}}$ -Übertragung: Das Papier zeigt, dass mit den korrekten Skalierungen sowohl Weight Decay als auch die Trainingszeitkonstante $\tau_{\text{epoch}}$ (eingeführt von Wang & Aitchison, 2024) über Modellgrößen hinweg übertragbar sind. Die Varianz optimaler Hyperparameter ist für die vorgeschlagene Implementierung im Vergleich zu Baselines signifikant niedriger.
Rauschen in GQA: Die Autoren beobachten, dass, obwohl eine Lernratenübertragung möglich ist, GQA-Training inhärentes Rauschen einführt, das mit abnehmender Anzahl von KV-Köpfen ausgeprägter wird. Sie verweisen auf einen Zielkonflikt: Das Erreichen von Feature Learning durch die abgeleitete Skalierung führt zu lauterer Dynamik, wenn $r$ abnimmt, während die Einschränkung der Varianz zur Stabilisierung des Trainings die optimale Lernrate verschiebt.

Bedeutung und Behauptungen

Das Papier behauptet, eine signifikante Lücke in der Anwendbarkeit von µP auf moderne, produktionsreife LLM-Architekturen zu schließen. Durch die Identifizierung der Grenzen der Standard-Spektralnorm für rangniedrige Matrizen und den Vorschlag der erwarteten Operatornorm bieten die Autoren ein robustes theoretisches Fundament für die Ableitung von µP-Skalierungen für komplexe Architekturen wie GQA.

Die Bedeutung dieser Arbeit liegt in:

Praktischer Nützlichkeit: Sie ermöglicht Praktikern, optimale Hyperparameter für große GQA-basierte Modelle (z. B. LLaMA 3, Mistral 7B) unter Verwendung kleiner Proxy-Modelle zu bestimmen, was die Rechenkosten der Hyperparameteroptimierung reduziert.
Theoretischer Strenge: Sie verfeinert die Definition von Feature Learning, indem sie von aktivierungsbasierten Prüfungen zu gewichtsmatrixbasierten Spektralbedingungen übergeht, was sich als effektiver für die Validierung von Implementierungen erweist.
Breite Anwendbarkeit: Das Framework stellt erfolgreich bestehende Skalierungen für Weight Decay und Tiefe (Complete-P) wieder her und erweitert sie auf GQA, was einen einheitlichen Ansatz für zukünftige architektonische Innovationen nahelegt.

Die Autoren vermerken bescheiden, dass, obwohl ihre asymptotische Analyse stichhaltig ist, der praktische Bereich des Wiederholungsparameters $r$ endlich und typischerweise klein ist (z. B. $r \le 16$ ). Das primäre Ziel der Skalierung bezüglich $r$ ist empirisch: die Verhinderung von Lernraten-Drift bei Änderung der Anzahl der Wiederholungen, anstatt ein unendliches Limit zu modellieren. Sie heben zudem hervor, dass GQA-Training inhärent verrauscht bleibt, was Vorsicht bei der Übertragung von Lernraten über stark unterschiedliche GQA-Konfigurationen hinweg erfordert.