🤖 machine learning

Do Transformers Need Three Projections? Systematic Study of QKV Variants

Ce document démontre systématiquement que le partage des projections de requête, de clé et de valeur dans les Transformers — particulièrement la variante Q-K=V — réduit considérablement la mémoire d'inférence et les exigences du cache KV tout en maintenant des performances compétitives à travers les tâches de vision et de langage, permettant ainsi un déploiement efficace sur les appareils.

Auteurs originaux : Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle Transformer (le cerveau derrière l'IA moderne) comme un bibliothécaire hautement efficace essayant de répondre à une question basée sur un livre massif. Pour ce faire, le bibliothécaire utilise trois outils spécifiques pour chaque mot du livre :

La Requête (Q) : Une fiche de question demandant : « Que est-ce que je cherche ? »
La Clé (K) : Une étiquette sur la tranche du livre pour voir si elle correspond à la question.
La Valeur (V) : Le contenu réel de la page à lire si la correspondance est bonne.

Traditionnellement, le bibliothécaire crée un nouvel outil, unique, pour chaque mot pour chacune de ces trois étapes. C'est la configuration « QKV » standard. Cela fonctionne très bien, mais c'est lourd. Le bibliothécaire doit porter trois trousses à outils lourdes pour chaque mot, ce qui prend beaucoup de place dans son sac à dos (mémoire) et le ralentit.

Cet article pose une question simple et audacieuse : « Avons-nous vraiment besoin de trois outils distincts, ou pouvons-nous les combiner ? »

Les chercheurs ont testé trois façons de simplifier la trousse à outils du bibliothécaire :

Les Trois Expériences

1. L'approche « Même Question, Même Étiquette » (Q = K - V)

L'idée : Le bibliothécaire utilise le même outil pour poser la question et vérifier l'étiquette. Il possède toujours un outil séparé pour lire la page.
Le résultat : C'est le grand gagnant. Il s'avère que les outils « Question » et « Étiquette » sont si similaires qu'ils peuvent être le même objet sans nuire aux performances.
Le bénéfice : Le bibliothécaire n'a plus besoin de porter que deux outils au lieu de trois. Cela réduit de moitié la mémoire nécessaire pour stocker les « étiquettes » et les « pages ». C'est comme réaliser que vous pouvez utiliser votre main gauche pour à la fois tenir la carte et pointer la destination, vous évitant ainsi de porter une seconde carte.

2. L'approche « Même Question, Même Page » (Q - K = V)

L'idée : Le bibliothécaire utilise le même outil pour l'étiquette et le contenu de la page, mais garde un outil distinct pour la question.
Le résultat : Cela fonctionne également bien, mais c'est légèrement moins efficace pour les tâches linguistiques que la première option. C'est comme utiliser la même clé pour déverrouiller la porte et ouvrir le coffre-fort, ce qui est astucieux, mais l'outil « Question » doit rester unique pour maintenir la direction correcte de la recherche.

3. L'approche « Un seul outil pour tout » (Q = K = V)

L'idée : Le bibliothécaire essaie d'utiliser un seul et unique outil pour poser une question, vérifier une étiquette et lire une page.
Le résultat : C'est un désastre pour les tâches linguistiques. C'est comme essayer d'utiliser un marteau pour poser une question, vérifier une étiquette et lire un livre tout à la fois. L'IA s'embrouille car elle perd la capacité de distinguer « ce que je cherche » de « ce que j'ai trouvé ». Les performances chutent considérablement.

Pourquoi cela compte : Le problème du « Sac à dos »

La partie la plus excitante de cet article n'est pas seulement de rendre l'IA plus intelligente ; c'est de la rendre plus légère.

Lorsqu'une IA génère du texte (comme écrire une histoire ou répondre à un chat), elle doit se souvenir de tout ce qu'elle a écrit jusqu'à présent. Cette mémoire est appelée le KV Cache.

IA Standard : Porte un sac à dos lourd avec des compartiments séparés pour les « Étiquettes » et les « Pages ».
Nouvelle IA (Q-K=V) : Porte un sac à dos où les « Étiquettes » et les « Pages » sont fusionnées en un seul compartiment.

L'impact dans le monde réel :

Le double de mémoire : Parce que le sac à dos est plus léger, vous pouvez faire entrer deux fois plus de mots dans la mémoire de l'IA sans manquer d'espace.
Des serveurs moins chers : Si vous gérez une entreprise qui utilise l'IA, vous pouvez servir deux fois plus de clients avec le même nombre d'ordinateurs. L'article calcule que cela pourrait faire économiser des milliers de dollars par mois aux entreprises.
Fonctionner sur des téléphones : Cette efficacité rend beaucoup plus réaliste l'exécution de modèles d'IA puissants directement sur votre téléphone ou sur un petit appareil de bord (edge device), plutôt que de nécessiter un immense supercalculateur dans un centre de données.

Le bonus du « Double Dip »

L'article a également découvert que ce nouveau tour de force du « sac à dos plus léger » fonctionne parfaitement aux côtés d'une autre astuce existante appelée Partage de Têtes (Head Sharing) (utilisée par des modèles comme Llama 2 et Mistral).

Le Partage de Têtes est comme avoir moins de bibliothécaires, mais les faisant travailler plus dur.
Le Partage de Projection (l'idée de cet article) est comme rendre la trousse à outils de chaque bibliothécaire plus petite.

Lorsque vous combinez les deux, vous obtenez une victoire massive. Les chercheurs ont montré qu'en combinant ces deux méthodes, vous pouvez réduire la mémoire nécessaire de 97 %. C'est le « Saint Graal » pour faire fonctionner l'IA sur de petits appareils.

Résumé

L'article prouve que la conception standard de l'IA est légèrement surdimensionnée. En fusionnant les outils « Question » et « Étiquette » en un seul, nous pouvons réduire de moitié le coût de la mémoire avec presque aucune perte d'intelligence. C'est une modification simple qui rend l'IA plus rapide, moins chère et prête à fonctionner dans votre poche.

Résumé Technique : Les Transformers ont-ils besoin de trois projections ?

Problématique

Depuis l'introduction de l'architecture Transformer, le mécanisme d'attention Query, Key et Value (QKV) est devenu le standard pour l'agrégation d'informations à travers les séquences. Cependant, la nécessité de maintenir trois projections linéaires distinctes et indépendantes pour ces composants reste une question ouverte. Alors que d'autres architectures comme les CNN ou les modèles d'espace d'état (SSM) utilisent souvent des représentations internes plus unifiées, les Transformers persistent avec une structure tripartite. À mesure que les fenêtres de contexte s'élargissent et que la demande pour l'inférence en temps réel croît, la communauté de recherche se concentre sur l'efficacité architecturale afin d'atténuer le goulot d'étranglement quadratique de l'auto-attention. Cet article examine si les trois projections sont réellement nécessaires ou si elles représentent une redondance qui peut être réduite pour diminuer le nombre de paramètres et, plus crucialment, la surcharge de mémoire lors de l'inférence sans dégradation significative des performances.

Méthodologie

Les auteurs proposent et évaluent systématiquement trois contraintes de « partage de projection » qui réduisent progressivement le nombre de transformations apprises dans le mécanisme d'attention :

Q=K-V (Requête-Clé-Valeur unifiée) : Les projections de requête et de clé sont unifiées ( $Q=K$ ), tandis que la projection de valeur reste séparée. Cela produit une matrice d'attention symétrique ( $KK^T$ ). Pour remédier aux limites de la symétrie dans les tâches séquentielles, les auteurs introduisent une variante $(Q=K-V)^+$ qui injecte de l'asymétrie via des encodages de position 2D.
Q-K=V (Clé-Valeur unifiée) : Les projections de clé et de valeur sont unifiées ( $K=V$ ), tandis que la requête reste séparée. Cela préserve des cartes d'attention asymétriques ( $QK^T$ ) et impose une forme de liaison de poids entre les clés et les valeurs.
Q=K=V (Projection unique) : Les trois rôles partagent une seule matrice de projection. Cela combine la symétrie de la première variante avec le goulot d'étranglement représentationnel de la seconde.

L'étude explore également l'orthogonalité de ces stratégies de partage de projection avec les techniques existantes de « partage de tête » (Head-Sharing) telles que le Grouped Query Attention (GQA) et le Multi-Query Attention (MQA). Les auteurs émettent l'hypothèse que la combinaison du partage de projection (contraindre $K=V$ ) avec le partage de tête (réduire le nombre de têtes KV) peut générer des gains composés en efficacité de mémoire.

Les expériences ont été menées sur 12 tâches diverses :

Raisonnement synthétique : Cinq tâches impliquant la manipulation de listes (Inverser, Trier, Sous-ensemble, Échanger, Copier).
Vision par ordinateur : Classification d'images sur MNIST, FashionMNIST, CIFAR-10, CIFAR-100 et TinyImageNet, ainsi que la détection d'anomalies d'ensembles et la segmentation sémantique.
Modélisation du langage : Pré-entraînement de modèles de type GPT de 300M et 1,2B de paramètres sur 10 milliards de tokens provenant du jeu de données SlimPajama.

Résultats Clés

1. Compromis Performance vs Efficacité

Q-K=V (Équilibre optimal) : Cette variante s'est imposée comme la grande gagnante. En modélisation de langage, elle a permis une réduction de 50 % de la taille du cache KV avec seulement une dégradation de 3,1 % de la perplexité (pour les modèles de 300M) et de 2,48 % (pour les modèles de 1,2B). Elle maintient des performances compétitives sur les tâches de vision et synthétiques.
Q=K-V (Limitation de la symétrie) : Bien que cette variante atteigne une qualité d'entraînement comparable à la ligne de base, elle n'offre aucun avantage de mémoire d'inférence car elle nécessite toujours la mise en cache de tenseurs K et V distincts. De plus, les cartes d'attention symétriques limitent son efficacité dans la modélisation de langage causale, entraînant une dégradation de la perplexité de 4,9 %.
Q=K=V (Sur-contrainte) : Cette simplification agressive a provoqué une perte de performance catastrophique (25,4 % de dégradation de la perplexité en modélisation de langage), indiquant que forcer une seule projection pour les trois rôles est trop restrictif pour les tâches complexes.

2. Synergie avec le Partage de Tête

L'étude démontre que le partage de projection et le partage de tête sont strictement complémentaires.

La combinaison de Q-K=V avec GQA-4 (4 groupes) a entraîné une réduction du cache de 87,5 % avec une dégradation de la perplexité de 3,9 %.
La combinaison de Q-K=V avec MQA (1 groupe) a atteint une réduction du cache de 96,9 % avec une dégradation de la perplexité de 4,8 %.
À l'échelle de 1,2B, la configuration Q-MQA a réduit le cache KV de 67 fois (passant de 5,9 Go à 88 Mo par utilisateur pour un contexte de 32k) tout en maintenant une performance quasi identique à la ligne de base en termes de précision sur les tâches en aval.

3. Comportement de Mise à l'Échelle (Scaling)

Le classement relatif des variantes est resté stable à mesure que la taille du modèle augmentait de 300M à 1,2B de paramètres. Notamment, les modèles plus grands semblent légèrement plus robustes aux contraintes de projection, la dégradation de la perplexité pour Q-K=V passant de 3,1 % à 300M à 2,48 % à 1,2B.

Signification et Revendications

L'article affirme que le partage de projection est un exemple sous-exploré de liaison de poids (weight tying) qui offre des bénéfices directs et quantifiables en termes de mémoire d'inférence, particulièrement précieux pour le déploiement sur les périphériques (edge) et les applications à long contexte.

Pourquoi Q-K=V fonctionne : Les auteurs soutiennent que les clés et les valeurs peuvent occuper des espaces représentationnels similaires, et que l'attention opère efficacement dans un régime de faible rang où la distinction entre K et V est moins critique que l'asymétrie entre Q et la représentation partagée K-V. L'analyse empirique a montré une similitude cosinus élevée (0,73) entre les matrices de projection K et V standards, suggérant une redondance inhérente.
Pourquoi Q=K-V échoue : Forcer $Q=K$ crée des cartes d'attention symétriques, ce qui brise la directionnalité requise pour les dépendances causales dans la modélisation de langage.
Impact Pratique : La contribution principale n'est pas seulement la réduction des paramètres (qui est modeste, environ 7-14 % de réduction de la taille totale du modèle) mais la réduction de 50 % de la mémoire du cache KV. Cela permet :
- Des fenêtres de contexte 2× plus longues pour un même budget mémoire.
- Un débit 2× plus élevé (utilisateurs simultanés par GPU).
- Des réductions de coûts significatives (par exemple, une réduction projetée de 43 % des coûts de service pour un modèle de complétion de code).

Les auteurs concluent que bien qu'aucune architecture ne l'emporte sur tous les domaines, la configuration Q-K=V offre le meilleur compromis qualité-efficacité pour les tâches séquentielles, et sa combinaison avec les techniques de partage de tête permet une inférence pratique sur les appareils pour des modèles de l'ordre du milliard de paramètres. Le code est disponible publiquement pour faciliter la recherche ultérieure.