🤖 machine learning

GQA-{\mu}P: The maximal parameterization update for grouped query attention

Dit artikel introduceert GQA-{\mu}P, een nieuw parameterisatiekader dat maximale update-schalingen voor grouped-query attention afleidt door het leren van kenmerken te herdefiniëren via spectrale normvoorwaarden en deze aan te passen voor niet-volledig-rang gewichtsmatrices, waardoor effectieve hyperparameteroverdracht tussen modelarchitecturen mogelijk wordt.

Oorspronkelijke auteurs: Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die probeert een recept voor een gigantisch feestmaal (een massief AI-model) te perfectioneren. Je weet dat als je een klein potje soep (een klein model) kookt met de juiste hoeveelheid zout en hitte, je precies zou moeten kunnen voorspellen hoeveel zout en hitte je voor het grote potje moet gebruiken, zonder eerst de enorme versie te hoeven proeven. Dit is de droom van Hyperparameter-overdracht: het gebruik van een klein model om de instellingen voor een groot model te bepalen.

Een tijdlang hadden kokken een specifieke regelboek genaamd µP (Maximal Update Parameterization) dat uitstekend werkte voor standaardrecepten. Maar naarmate AI-modellen evolueerden, begonnen ze een nieuwe, efficiëntere kooktechniek te gebruiken genaamd GQA (Grouped Query Attention). Denk aan GQA als een manier waarop meerdere kokken dezelfde set ingrediënten delen om tijd en ruimte te besparen.

Het probleem? Het oude regelboek (µP) werkte niet voor deze nieuwe GQA-techniek. Als je probeerde de instellingen voor het kleine potje toe te passen op het grote GQA-potje, zou de soep verbranden of smakeloos smaken. De wiskunde zei dat het zou moeten werken, maar de realiteit zei van niet.

Dit artikel, GQA-µP, repareert het regelboek zodat het werkt voor deze nieuwe, efficiënte recepten. Hier is hoe ze dit deden, met behulp van eenvoudige analogieën:

1. Het "Liniaal"-probleem (Spectrale Norm vs. Verwachte Operator Norm)

In het oude regelboek gebruikten de kokken een specifieke liniaal genaamd de Spectrale Norm om te meten hoeveel de ingrediënten (gewichten) veranderden.

Het Probleem: De oude liniaal was ontworpen voor "volledig-rang" ingrediënten (zoals een massief blok kaas). Maar GQA gebruikt "laag-rang" ingrediënten (zoals een blok kaas met gaten erin).
De Metafoor: Stel je voor dat je probeert de grootte van een blok Zwitserse kaas te meten met een liniaal die bedoeld is voor een massief houten blok. De liniaal zou kunnen zeggen dat de kaas enorm is omdat deze de volledige breedte beslaat, maar in werkelijkheid vult de kaas, vanwege de gaten, die ruimte niet echt.
De Oplossing: De auteurs bedachten een nieuwe liniaal genaamd de Verwachte Operator Norm. In plaats van de "theoretische maximale grootte" te meten (wat de gaten omvat), meet deze nieuwe liniaal de "gemiddelde grootte" die je daadwerkelijk tegenkomt wanneer je de kaas gebruikt. Deze nieuwe liniaal vertelt de kokken precies hoeveel ze de ingrediënten moeten schalen zodat de soep goed smaakt, ongeacht hoeveel gaten (groepen) er in de kaas zitten.

2. Het "Teamwerk"-probleem (Gegroepeerde Query-Attention)

In GQA delen meerdere "query-koppen" (kokken die vragen stellen) dezelfde "key- en value-koppen" (kokken die antwoorden geven).

Het Probleem: Wanneer je deze kokken groepeert, wordt de wiskunde lastig. Het oude regelboek ging ervan uit dat elke kok zijn eigen unieke gereedschap had. Wanneer ze gereedschap delen, raakt de oude wiskunde in de war over hoeveel het gereedschap moet veranderen.
De Oplossing: De auteurs hebben een nieuwe schalingsformule afgeleid die specifiek is voor deze delingsopstelling. Ze hebben precies uitgezocht hoe ze de "leersnelheid" (hoe snel de kokken leren) moeten aanpassen op basis van hoeveel kokken het gereedschap delen.
- Analogie: Als één kok al het werk doet, heeft die een bepaalde hoeveelheid energie nodig. Als tien kokken het werk delen, verandert de energieverdeling. Het nieuwe regelboek berekent de exacte energie die nodig is, zodat het werk perfect wordt gedaan, of je nu 1 kok of 12 hebt.

3. Het "Zout"-probleem (Gewichtsafname)

In het koken is "gewichtsafname" (weight decay) als het toevoegen van een conserveermiddel (zout) om te voorkomen dat de soep bederft (overfitting).

Het Probleem: Het oude regelboek vertelde je niet hoe je het zout moest aanpassen wanneer je de grootte van het potje of de diepte van het recept veranderde.
De Oplossing: De auteurs toonden aan dat als je hun nieuwe regels gebruikt, je ook de "zout"-instellingen kunt overdragen. Je kunt de perfecte hoeveelheid zout vinden voor een klein potje, en dat zal ook werken voor het gigantische potje. Ze bewezen ook dat een specifieke tijdsconstante (genaamd $\tau_{epoch}$ ) goed werkt voor deze overdracht.

4. De "Ruwe Keuken"-Realiteitscheck

De auteurs ontdekten ook een grappige eigenaardigheid in de GQA-keuken.

De Ontdekking: Zelfs met het nieuwe perfecte regelboek, als je zeer weinig kokken hebt die het gereedschap delen (zeer weinig "KV-koppen"), wordt het kookproces "ruisig". Het is alsof je een keuken hebt waar de kokken tegen elkaar fluisteren; soms horen ze elkaar duidelijk, soms niet.
De Les: Hoewel de wiskunde werkt, waarschuwen de auteurs dat het overdragen van instellingen tussen modellen met zeer verschillende aantallen gedeelde groepen wat instabiel kan zijn. Het is het beste om voorzichtig te zijn bij het verplaatsen van een "veel-kok"-opstelling naar een "weinig-kok"-opstelling.

Samenvatting

Kortom, dit artikel zegt:

De oude wiskunde voor het schalen van AI-modellen faalde bij het gebruik van de efficiënte GQA-techniek omdat het de verkeerde "liniaal" gebruikte om de ingrediënten te meten.
De auteurs creëerden een nieuwe liniaal (Verwachte Operator Norm) die rekening houdt met de "gaten" in de GQA-structuur.
Met behulp van deze nieuwe liniaal schreven ze een nieuw regelboek dat kokken in staat stelt kookinstellingen (leersnelheden en zout hoeveelheden) perfect over te dragen van kleine modellen naar grote GQA-modellen.
Ze bewezen dat dit in het lab werkt, en lieten zien dat het nieuwe regelboek het trainingsproces veel voorspelbaarder en efficiënter maakt.

Ze hebben geen nieuwe manier uitgevonden om de soep te koken (de AI-architectuur), maar ze hebben de meetbekers en lepels gerepareerd, zodat iedereen een perfect gigantisch potje soep kan koken met het recept van een klein potje.

Technische Samenvatting: GQA-µP: De Maximaal Parameterisatie-update voor Gekoppelde Query-Attention

Probleemstelling

Hyperparameteroverdracht tussen modelarchitecturen, met name de Maximal Update Parameterization (µP), maakt het mogelijk om optimale hyperparameters voor grootschalige modellen te bepalen door kleine proxy-modellen te doorlopen. Hoewel µP met succes is toegepast op de overdracht van leersnelheden over modelbreedtes, blijft de toepassing op nieuwe architecturen en andere hyperparameters (zoals gewichtsdecay en diepte) uitdagend.

Er bestaat een specifiek gat voor Grouped-Query Attention (GQA), een mechanisme dat wijdverbreid wordt gebruikt in moderne Large Language Models (LLMs) om het geheugengebruik te verminderen door sleutel- en waardenhoofden te delen over groepen van queryhoofden. Eerdere pogingen om standaard µP toe te passen op GQA onthulden een kritiek falen: terwijl de implementatie standaard "coördinaatcontroles" (validatie van activatienormen) doorstond, faalde het bij het effectief overdragen van leersnelheden over verschillende aantallen KV-hoofden. Bovendien hadden bestaande µP-frameworks moeite om principiële schalingen voor gewichtsdecay en diepte af te leiden zonder te vertrouwen op "lazy-learning"-aannames. De theoretische kernmoeilijkheid ontstaat omdat GQA-gewichtsmatrices vaak rang-degeneraat (laagrang) zijn, waardoor de standaard spectrale norm faalt in het nauwkeurig vastleggen van de verwachte vervorming van invoer tijdens training.

Methodologie

De auteurs bouwen voort op het spectrale feature-learning-perspectief van Yang et al. (2023a) om nieuwe schalingswetten af te leiden. De methodologie omvat drie primaire theoretische en analytische vooruitgang:

Herddefiniëren van Feature Learning via Spectrale Normen:
Het paper verheft spectrale normvoorwaarden op gewichtsmatrices van een heuristiek tot de formele definitie van feature learning. De auteurs betogen dat het waarborgen dat de spectrale norm van gewichtsupdates correct schaalt, een sterkere en betrouwbaarder voorwaarde is voor feature learning dan het alleen analyseren van activatienormen. Deze verschuiving maakt het mogelijk om Complete-P-diepte- en gewichtsdecay-schalingswetten af te leiden zonder terug te grijpen naar lazy-learning-aannames.
Introductie van de Verwachte Operatornorm:
Om de rang-degeneratie van GQA-matrices aan te pakken, introduceren de auteurs een gewijzigde norm: de verwachte operatornorm ( $||A||_E$ ).
- Standaard spectrale normen ( $||A||$ ) meten de maximale vervorming van een invoervector. Voor volwaardige matrices wordt dit asymptotisch bereikt.
- Voor rang-degeneraat matrices (zoals GQA) komen de vectoren die maximale vervorming veroorzaken met waarschijnlijkheid nul voor tijdens training (aangezien invoer i.i.d. is). Bijgevolg overschat de spectrale norm de daadwerkelijke vervorming.
- De verwachte operatornorm wordt gedefinieerd als de verwachting van de verhouding van uitvoer- tot invoernormen over de invoerverdeling: $||A||_{E,\Omega,p} := \mathbb{E}_{x \sim \Omega} [\frac{||Ax||_p}{||x||_p}]$ .
- Deze norm weerspiegelt correct de daadwerkelijke vervorming die tijdens training wordt ondervonden, waardoor de geldigheid van schalingswetten voor GQA wordt hersteld.
Afleiding van GQA-µP-schalingswetten:
Met behulp van de verwachte operatornorm leiden de auteurs de specifieke schalingsfactoren voor GQA-lagen af.
- Voor een GQA-laag met $r$ herhalingen van sleutel-waardenhoofden moeten de leersnelheid ( $\eta$ ) en gewichtsdecay ( $\lambda$ ) anders worden geschaald dan bij standaard attention.
- De afgeleide leersnelheidsschaling is $\eta = \Theta(\frac{1+\sqrt{r}}{n})$ , waarbij $n$ de embedding-dimensie is.
- De gewichtsdecay-schaling wordt aangepast naar $\lambda = \Theta(\frac{2n}{1+\sqrt{r}})$ om het evenwicht tussen regularisatie en gradiëntupdates te behouden.
- Deze afleidingen worden samengevat in Tabel 1 van het paper, en bieden een geünificeerde parameterisatie voor Transformers met GQA.
Diepteschaling (Complete-P):
Het framework wordt toegepast op residunetwerken om diepteschalingswetten af te leiden. Door de spectrale voorwaarde toe te passen op de compositie van residublokken, tonen de auteurs aan dat de schalingsfactor $\beta$ voor residutakken $\Theta(L^{-1})$ moet zijn (waarbij $L$ de diepte is) om signaalexplosie of -verdwijning te voorkomen, en herstellen ze dezelfde resultaten als Dey et al. (2025) zonder de "geen lazy learning"-aanname te vereisen.

Belangrijkste Bijdragen

Eerste µP-afleiding voor GQA: Het paper biedt, naar kennis van de auteurs, de eerste principiële afleiding van µP-schalingswetten voor Grouped-Query Attention, en lost de discrepantie op waarbij standaard µP-implementaties faalden bij het overdragen van leersnelheden.
Theoretische Uitbreiding van Spectrale µP: Het werk breidt de spectrale µP-theorie van Yang et al. (2023a) uit door spectrale normvoorwaarden te promoveren tot de definitie van feature learning en de verwachte operatornorm in te voeren om rang-degeneraat gewichten te behandelen. Dit maakt de afleiding van schalingswetten voor gewichtsdecay, recursieblokken en GQA mogelijk.
Empirische Validatie van Overdracht: De auteurs tonen aan dat hun afgeleide schalingswetten de overdracht van leersnelheden over verschillende GQA-herhalingsaantallen ( $r$ ) en gewichtsdecay over modelgroottes mogelijk maken. Ze tonen aan dat de vanilla Adam-µP-implementatie faalt in spectrale coördinaatcontroles voor GQA, terwijl hun voorgestelde schaling deze doorstaat.

Experimentele Resultaten

De auteurs valideren hun theoretische afleidingen door middel van uitgebreide experimenten:

Overdracht van Leersnelheid: Experimenten waarbij het aantal KV-hoofden varieert (van 1 tot 12) tonen aan dat de standaard parameterisatie en vanilla Adam-µP falen om te convergeren naar een consistente optimale leersnelheid. Daarentegen versmalt de voorgestelde GQA-µP-schaling het gebied van de optimale leersnelheid aanzienlijk, waardoor effectieve overdracht mogelijk wordt.
Coördinaatcontroles: Analyse van activatie-update-normen ( $||\Delta h||$ ) suggereerde dat de vanilla implementatie correct was, maar analyse van spectrale normen van gewichtsmatrices ( $||\Delta W||$ ) onthulde een niet-lineaire afhankelijkheid van het aantal KV-hoofden, wat het falen bij overdracht verklaart. De voorgestelde GQA-µP-schaling verwijdert deze afhankelijkheid.
Overdracht van Gewichtsdecay en $\tau_{\text{epoch}}$ : Het paper toont aan dat met de correcte schalingswetten zowel gewichtsdecay als de trainings-tijdconstante $\tau_{\text{epoch}}$ (geïntroduceerd door Wang & Aitchison, 2024) overdraagbaar zijn over modelgroottes. De variantie in optimale hyperparameters is aanzienlijk lager voor de voorgestelde implementatie in vergelijking met baselines.
Ruis in GQA: De auteurs observeren dat hoewel overdracht van leersnelheid mogelijk is, GQA-training inherente ruis introduceert die duidelijker wordt naarmate het aantal KV-hoofden afneemt. Ze wijzen op een afweging: het bereiken van feature learning via de afgeleide schaling leidt tot ruisigere dynamiek naarmate $r$ afneemt, terwijl het beperken van variantie om training te stabiliseren de optimale leersnelheid verschuift.

Betekenis en Beweringen

Het paper claimt een significant gat te dichten in de toepasbaarheid van µP op moderne, productieklaar LLM-architecturen. Door de beperkingen van de standaard spectrale norm voor laagrang-matrices te identificeren en de verwachte operatornorm voor te stellen, bieden de auteurs een robuuste theoretische basis voor het afleiden van µP-schalingswetten voor complexe architecturen zoals GQA.

De betekenis van dit werk ligt in:

Praktische Nut: Het stelt praktici in staat om optimale hyperparameters voor grote GQA-gebaseerde modellen (bijv. LLaMA 3, Mistral 7B) te bepalen met behulp van kleine proxy-modellen, waardoor de rekenkosten van hyperparameteroptimalisatie worden verlaagd.
Theoretische Strenge: Het verfijnt de definitie van feature learning, en beweegt van activatie-gebaseerde controles naar gewichtsmatrix-gebaseerde spectrale voorwaarden, wat bewezen effectiever is voor het valideren van implementaties.
Brede Toepasbaarheid: Het framework herstelt succesvol bestaande schalingswetten voor gewichtsdecay en diepte (Complete-P) en breidt deze uit naar GQA, wat wijst op een geünificeerde aanpak voor toekomstige architecturale innovaties.

De auteurs merken bescheiden op dat hoewel hun asymptotische analyse sound is, het praktische bereik van de herhalingsparameter $r$ eindig en doorgaans klein is (bijv. $r \le 16$ ). Het primaire doel van de schaling met betrekking tot $r$ is empirisch: om leersnelheidsdrift te voorkomen bij het wijzigen van het aantal herhalingen, in plaats van een oneindige limiet te modelleren. Ze benadrukken ook dat GQA-training inherent ruisig blijft, wat voorzichtigheid suggereert bij het overdragen van leersnelheden over sterk verschillende GQA-configuraties.