🤖 machine learning

GQA-{\mu}P: The maximal parameterization update for grouped query attention

Ce papier présente GQA-{\mu}P, un nouveau cadre de paramétrisation qui dérive des mises à jour maximales pour l'attention à requêtes groupées en redéfinissant l'apprentissage de caractéristiques via des conditions de norme spectrale et en les adaptant aux matrices de poids non de plein rang, permettant ainsi un transfert efficace des hyperparamètres entre différentes architectures de modèles.

Auteurs originaux : Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé tentant de perfectionner une recette pour un festin gigantesque (un modèle d'IA massif). Vous savez que si vous cuisinez une petite marmite de soupe (un modèle minuscule) avec la bonne quantité de sel et de chaleur, vous devriez pouvoir prédire exactement combien de sel et de chaleur utiliser pour la marmite géante sans avoir à goûter la version géante en premier. C'est le rêve du Transfert d'Hyperparamètres : utiliser un petit modèle pour déterminer les paramètres d'un grand.

Pendant un temps, les chefs disposaient d'un code spécifique appelé µP (Paramétrisation de Mise à Jour Maximale) qui fonctionnait parfaitement pour les recettes standards. Mais à mesure que les modèles d'IA évoluaient, ils ont commencé à utiliser une nouvelle technique de cuisson plus efficace appelée GQA (Attention par Requêtes Groupées). Imaginez la GQA comme un moyen pour plusieurs chefs de partager le même ensemble d'ingrédients afin de gagner du temps et de l'espace.

Le problème ? L'ancien code (µP) ne fonctionnait pas pour cette nouvelle technique GQA. Si vous essayiez d'utiliser les paramètres de la petite marmite sur la grande marmite GQA, la soupe brûlerait ou aurait un goût fade. Les mathématiques disaient que cela devrait fonctionner, mais la réalité disait le contraire.

Ce papier, GQA-µP, corrige le code pour qu'il fonctionne avec ces nouvelles recettes efficaces. Voici comment ils l'ont fait, en utilisant des analogies simples :

1. Le problème de la "Règle" (Norme Spectrale vs Norme Opératoire Attendue)

Dans l'ancien code, les chefs utilisaient une règle spécifique appelée la Norme Spectrale pour mesurer à quel point les ingrédients (les poids) changeaient.

Le Problème : L'ancienne règle était conçue pour des ingrédients de "plein rang" (comme un bloc de fromage solide). Mais la GQA utilise des ingrédients de "bas rang" (comme un bloc de fromage avec des trous).
La Métaphore : Imaginez essayer de mesurer la taille d'un bloc de fromage suisse avec une règle conçue pour un bloc de bois massif. La règle pourrait indiquer que le fromage est énorme car il s'étend sur toute la largeur, mais en réalité, à cause des trous, le fromage ne remplit pas vraiment cet espace.
La Correction : Les auteurs ont inventé une nouvelle règle appelée la Norme Opératoire Attendue. Au lieu de mesurer la "taille théorique maximale" (qui inclut les trous), cette nouvelle règle mesure la "taille moyenne" que vous rencontrez réellement lorsque vous utilisez le fromage. Cette nouvelle règle indique correctement aux chefs comment mettre à l'échelle les ingrédients pour que la soupe ait le bon goût, indépendamment du nombre de trous (groupes) dans le fromage.

2. Le problème du "Travail d'Équipe" (Attention par Requêtes Groupées)

Dans la GQA, plusieurs "têtes de requête" (chefs posant des questions) partagent les mêmes "têtes de clé et de valeur" (chefs fournissant des réponses).

Le Problème : Lorsque vous regroupez ces chefs ensemble, les mathématiques deviennent délicates. L'ancien code supposait que chaque chef avait son propre ensemble d'outils unique. Lorsqu'ils partagent les outils, les anciennes mathématiques se perdent pour déterminer comment les outils devraient changer.
La Correction : Les auteurs ont dérivé une nouvelle formule de mise à l'échelle spécifiquement pour cet arrangement de partage. Ils ont déterminé exactement comment ajuster le "taux d'apprentissage" (la vitesse à laquelle les chefs apprennent) en fonction du nombre de chefs partageant les outils.
- Analogie : Si un seul chef fait tout le travail, il a besoin d'une certaine quantité d'énergie. Si dix chefs partagent le travail, la distribution de l'énergie change. Le nouveau code calcule l'énergie exacte nécessaire afin que, que vous ayez 1 chef ou 12, le travail soit accompli parfaitement.

3. Le problème du "Sel" (Décroissance des Poids)

En cuisine, la "décroissance des poids" est comme ajouter un conservateur (sel) pour empêcher la soupe de se gâter (surapprentissage).

Le Problème : L'ancien code ne vous disait pas comment ajuster le sel lorsque vous changiez la taille de la marmite ou la profondeur de la recette.
La Correction : Les auteurs ont montré que si vous utilisez leurs nouvelles règles, vous pouvez également transférer les paramètres de "sel". Vous pouvez trouver la quantité parfaite de sel pour une petite marmite, et cela fonctionnera aussi pour la marmite géante. Ils ont également prouvé qu'une constante de timing spécifique (appelée $\tau_{epoch}$ ) fonctionne bien pour ce transfert.

4. La vérification de la réalité de la "Cuisine Bruyante"

Les auteurs ont également découvert une bizarrerie amusante dans la cuisine GQA.

La Découverte : Même avec le nouveau code parfait, si vous avez très peu de chefs partageant les outils (très peu de "têtes KV"), le processus de cuisson devient "bruyant". C'est comme avoir une cuisine où les chefs chuchotent entre eux ; parfois ils s'entendent clairement, parfois non.
La Leçon : Bien que les mathématiques fonctionnent, les auteurs avertissent que transférer des paramètres entre des modèles avec des nombres très différents de groupes partagés peut être un peu instable. Il vaut mieux être prudent lors du passage d'une configuration "à nombreux chefs" à une configuration "à peu de chefs".

Résumé

En bref, ce papier dit :

Les anciennes mathématiques pour la mise à l'échelle des modèles d'IA ont échoué lors de l'utilisation de la technique efficace GQA car elles utilisaient la mauvaise "règle" pour mesurer les ingrédients.
Les auteurs ont créé une nouvelle règle (Norme Opératoire Attendue) qui prend en compte les "trous" dans la structure GQA.
En utilisant cette nouvelle règle, ils ont écrit un nouveau code qui permet aux chefs de transférer parfaitement les paramètres de cuisson (taux d'apprentissage et quantités de sel) des petits modèles vers les grands modèles GQA.
Ils ont prouvé que cela fonctionne en laboratoire, montrant que le nouveau code rend le processus d'entraînement beaucoup plus prévisible et efficace.

Ils n'ont pas inventé une nouvelle façon de cuire la soupe (l'architecture de l'IA), mais ils ont corrigé les tasses à mesurer et les cuillères afin que n'importe qui puisse cuire une marmite géante parfaite de soupe en utilisant la recette d'une petite marmite.

Résumé technique : GQA-µP : La mise à jour de paramétrisation maximale pour l'attention à requêtes groupées

Énoncé du problème

Le transfert d'hyperparamètres entre architectures de modèles, spécifiquement la paramétrisation de mise à jour maximale (µP), permet de déterminer les hyperparamètres optimaux pour des modèles à grande échelle en balayant de petits modèles proxy. Bien que le µP ait été appliqué avec succès au transfert de taux d'apprentissage à travers les largeurs de modèles, son application à de nouvelles architectures et à d'autres hyperparamètres (tels que la décroissance des poids et la profondeur) reste difficile.

Un vide spécifique existe pour l'attention à requêtes groupées (GQA), un mécanisme largement utilisé dans les grands modèles de langage (LLM) modernes pour réduire l'utilisation de la mémoire en partageant les têtes de clés et de valeurs à travers des groupes de têtes de requêtes. Les tentatives précédentes d'application du µP standard à la GQA ont révélé un échec critique : bien que l'implémentation ait passé les « vérifications de coordonnées » standard (validant les normes d'activation), elle n'a pas réussi à transférer efficacement les taux d'apprentissage à travers différents nombres de têtes KV. De plus, les cadres µP existants peinaient à dériver des mises à l'échelle fondées sur des principes pour la décroissance des poids et la profondeur sans recourir à des hypothèses d'« apprentissage paresseux ». La difficulté théorique fondamentale découle du fait que les matrices de poids GQA sont souvent dégénérées en rang (de faible rang), ce qui fait que la norme spectrale standard échoue à capturer avec précision la déformation attendue des entrées pendant l'entraînement.

Méthodologie

Les auteurs s'appuient sur la vue de l'apprentissage de caractéristiques spectrales de Yang et al. (2023a) pour dériver de nouvelles lois de mise à l'échelle. La méthodologie implique trois avancées théoriques et analytiques principales :

Redéfinition de l'apprentissage de caractéristiques via les normes spectrales :
L'article élève les conditions de norme spectrale sur les matrices de poids d'une heuristique à la définition formelle de l'apprentissage de caractéristiques. Les auteurs soutiennent que garantir que la norme spectrale des mises à jour de poids s'échelle correctement est une condition plus forte et plus fiable pour l'apprentissage de caractéristiques que l'analyse des normes d'activation seule. Ce changement permet de dériver des mises à l'échelle de profondeur et de décroissance des poids Complete-P sans recourir à des hypothèses d'apprentissage paresseux.
Introduction de la norme d'opérateur attendue :
Pour répondre à la dégénérescence en rang des matrices GQA, les auteurs introduisent une norme modifiée : la norme d'opérateur attendue ( $||A||_E$ ).
- Les normes spectrales standard ( $||A||$ ) mesurent la déformation maximale d'un vecteur d'entrée. Pour les matrices de rang plein, cela est atteint asymptotiquement.
- Pour les matrices dégénérées en rang (comme la GQA), les vecteurs causant une déformation maximale se produisent avec une probabilité nulle pendant l'entraînement (car les entrées sont i.i.d.). Par conséquent, la norme spectrale surestime la déformation réelle.
- La norme d'opérateur attendue est définie comme l'espérance du rapport des normes de sortie sur les normes d'entrée sur la distribution d'entrée : $||A||_{E,\Omega,p} := \mathbb{E}_{x \sim \Omega} [\frac{||Ax||_p}{||x||_p}]$ .
- Cette norme reflète correctement la déformation réelle rencontrée pendant l'entraînement, restaurant la validité des lois de mise à l'échelle pour la GQA.
Déduction des mises à l'échelle GQA-µP :
En utilisant la norme d'opérateur attendue, les auteurs déduisent les facteurs de mise à l'échelle spécifiques pour les couches GQA.
- Pour une couche GQA avec $r$ répétitions de têtes clé-valeur, le taux d'apprentissage ( $\eta$ ) et la décroissance des poids ( $\lambda$ ) doivent être mis à l'échelle différemment par rapport à l'attention standard.
- La mise à l'échelle du taux d'apprentissage déduite est $\eta = \Theta(\frac{1+\sqrt{r}}{n})$ , où $n$ est la dimension d'embedding.
- La mise à l'échelle de la décroissance des poids est ajustée à $\lambda = \Theta(\frac{2n}{1+\sqrt{r}})$ pour maintenir l'équilibre entre la régularisation et les mises à jour de gradient.
- Ces déductions sont résumées dans le Tableau 1 de l'article, fournissant une paramétrisation unifiée pour les Transformers avec GQA.
Mise à l'échelle de la profondeur (Complete-P) :
Le cadre est appliqué aux réseaux résiduels pour dériver des mises à l'échelle de profondeur. En appliquant la condition spectrale à la composition des blocs résiduels, les auteurs montrent que le facteur de mise à l'échelle $\beta$ pour les branches résiduelles doit être $\Theta(L^{-1})$ (où $L$ est la profondeur) pour empêcher l'explosion ou la disparition du signal, retrouvant les mêmes résultats que Dey et al. (2025) sans nécessiter l'hypothèse « pas d'apprentissage paresseux ».

Contributions clés

Première déduction µP pour la GQA : L'article fournit, à la connaissance des auteurs, la première déduction fondée sur des principes des mises à l'échelle µP pour l'attention à requêtes groupées, résolvant la divergence où les implémentations µP standard échouaient à transférer les taux d'apprentissage.
Extension théorique du µP spectral : Ce travail étend la théorie du µP spectral de Yang et al. (2023a) en promouvant les conditions de norme spectrale à la définition de l'apprentissage de caractéristiques et en introduisant la norme d'opérateur attendue pour gérer les poids dégénérés en rang. Cela permet de dériver des mises à l'échelle pour la décroissance des poids, les blocs de récursion et la GQA.
Validation empirique du transfert : Les auteurs démontrent que leurs mises à l'échelle déduites permettent le transfert des taux d'apprentissage à travers différents nombres de répétitions GQA ( $r$ ) et de la décroissance des poids à travers les tailles de modèles. Ils montrent que l'implémentation Adam-µP standard échoue aux vérifications de coordonnées spectrales pour la GQA, tandis que leur mise à l'échelle proposée les passe.

Résultats expérimentaux

Les auteurs valident leurs déductions théoriques par des expériences extensives :

Transfert de taux d'apprentissage : Des expériences variant le nombre de têtes KV (de 1 à 12) montrent que la paramétrisation standard et l'Adam-µP standard échouent à converger vers un taux d'apprentissage optimal cohérent. En revanche, la mise à l'échelle GQA-µP proposée rétrécit considérablement la région du taux d'apprentissage optimal, permettant un transfert efficace.
Vérifications de coordonnées : L'analyse des normes de mise à jour d'activation ( $||\Delta h||$ ) suggérait que l'implémentation standard était correcte, mais l'analyse des normes spectrales des matrices de poids ( $||\Delta W||$ ) a révélé une dépendance non linéaire au nombre de têtes KV, expliquant l'échec du transfert. La mise à l'échelle GQA-µP proposée élimine cette dépendance.
Transfert de décroissance des poids et de $\tau_{\text{epoch}}$ : L'article démontre qu'avec les bonnes mises à l'échelle, la décroissance des poids et la constante de temps d'entraînement $\tau_{\text{epoch}}$ (introduite par Wang & Aitchison, 2024) sont transférables à travers les tailles de modèles. La variance des hyperparamètres optimaux est significativement plus faible pour l'implémentation proposée par rapport aux références.
Bruit dans la GQA : Les auteurs observent que si le transfert de taux d'apprentissage est possible, l'entraînement GQA introduit un bruit inhérent qui devient plus prononcé à mesure que le nombre de têtes KV diminue. Ils notent un compromis : atteindre l'apprentissage de caractéristiques via la mise à l'échelle déduite conduit à des dynamiques plus bruyantes lorsque $r$ diminue, tandis que contraindre la variance pour stabiliser l'entraînement déplace le taux d'apprentissage optimal.

Importance et affirmations

L'article prétend combler un vide significatif dans l'applicabilité du µP aux architectures de LLM modernes et de niveau production. En identifiant les limites de la norme spectrale standard pour les matrices de faible rang et en proposant la norme d'opérateur attendue, les auteurs fournissent une fondation théorique robuste pour dériver des mises à l'échelle µP pour des architectures complexes comme la GQA.

L'importance de ce travail réside dans :

Utilité pratique : Elle permet aux praticiens de déterminer les hyperparamètres optimaux pour de grands modèles basés sur la GQA (par exemple, LLaMA 3, Mistral 7B) en utilisant de petits modèles proxy, réduisant ainsi le coût computationnel du réglage des hyperparamètres.
Rigueur théorique : Elle affine la définition de l'apprentissage de caractéristiques, passant au-delà des vérifications basées sur l'activation vers des conditions spectrales basées sur les matrices de poids, ce qui s'avère plus efficace pour valider les implémentations.
Applicabilité large : Le cadre récupère avec succès les mises à l'échelle existantes pour la décroissance des poids et la profondeur (Complete-P) tout en les étendant à la GQA, suggérant une approche unifiée pour les futures innovations architecturales.

Les auteurs notent modestement que si leur analyse asymptotique est solide, la plage pratique du paramètre de répétition $r$ est finie et généralement petite (par exemple, $r \le 16$ ). L'objectif principal de la mise à l'échelle par rapport à $r$ est empirique : empêcher la dérive du taux d'apprentissage lors du changement du nombre de répétitions, plutôt que de modéliser une limite infinie. Ils soulignent également que l'entraînement GQA reste intrinsèquement bruyant, suggérant la prudence lors du transfert de taux d'apprentissage à travers des configurations GQA très différentes.