🤖 AI

When Quantization Is Free: An int4 KV Cache That Outruns fp16 on Apple Silicon

Ce papier démontre que sur Apple Silicon, un noyau Metal fusionné spécialisé pour la quantification de la cache KV en int4 préserve non seulement la qualité du modèle, mais surpasse également le format fp16 en latence en exploitant la bande passante mémoire unifiée et des techniques de rotation avancées pour éliminer la dégradation par token.

Auteurs originaux : Mohamed Amine Bergach

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohamed Amine Bergach

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Briser la Règle « Vitesse contre Qualité »

Habituellement, lorsque vous souhaitez qu'un programme informatique fonctionne plus vite, vous devez sacrifier une certaine qualité. C'est comme conduire une voiture : si vous voulez aller super vite, vous devrez peut-être prendre un raccourci moins lisse, ou retirer la climatisation pour alléger le poids.

Dans le monde de l'IA (spécifiquement les Modèles de Langage de Grande Taille), il y a un « embouteillage de mémoire ». Alors que l'IA lit une longue histoire ou conversation, elle doit se souvenir de tout ce qu'elle vient de lire. Cette mémoire (appelée Cache KV) devient énorme.

L'Ancienne Méthode : Garder la mémoire dans un format de haute qualité et lourd (comme un fichier vidéo Full HD). C'est précis, mais cela occupe beaucoup d'espace et se déplace lentement sur l'« autoroute » de l'ordinateur (la bande passante mémoire).
La Solution Standard : Compresser la mémoire (comme transformer la vidéo en un petit MP4). Cela économise de l'espace, mais généralement, l'ordinateur doit travailler plus dur pour la décompresser, rendant l'ensemble du processus plus lent.

Ce papier affirme que sur Apple Silicon (puces M1/M2/M3), cette règle est brisée. Ils ont trouvé un moyen de compresser la mémoire si efficacement que l'IA fonctionne en réalité plus vite que la version non compressée, sans perdre aucune qualité.

L'Analogie : La Bibliothèque et le Bibliothécaire

Imaginez que l'IA est un Bibliothécaire essayant de répondre à des questions basées sur une immense bibliothèque de livres (le contexte).

Le Problème (Les Livres Lourds) :
Le bibliothécaire doit garder les pages les plus récentes des livres ouvertes sur le bureau pour les consulter. Si les livres sont lourds, des encyclopédies reliées (le format standard fp16), le bibliothécaire passe la plupart de son temps simplement à les transporter d'avant en arrière des étagères vers le bureau. Le bureau est petit, donc il ne peut garder que quelques livres ouverts à la fois.
La Solution Standard (La Photocopie) :
Habituellement, pour économiser de l'espace, vous photocopiez les pages sur du papier fin (compression). Mais le bibliothécaire doit s'arrêter, déplier les photocopies, les lire, puis les replier à chaque fois qu'il a besoin de consulter quelque chose. Ce « pliage/dépliage » prend tellement de temps que le bibliothécaire est en réalité plus lent que s'il transportait simplement les livres lourds.
La Solution Apple Silicon (Le Classeur Magique) :
Les auteurs ont construit un Classeur Magique spécial (le Fused Metal Kernel).
- L'Astuce : Ils ne se contentent pas de rétrécir le papier ; ils réarrangent les mots sur la page en utilisant un mélange mathématique spécial (appelé SRFT, ou Transformée de Fourier Signée Randomisée) de sorte que le texte ressemble à du bruit aléatoire. Cela rend le texte facile à compresser en de minuscules « nibbles » de 4 bits (comme transformer un paragraphe en une seule ligne de code).
- La Vitesse : Parce que la mémoire de l'ordinateur Apple est « unifiée » (le bibliothécaire et les étagères sont juste à côté l'un de l'autre), déplacer ces pages minuscules et compressées est incroyablement rapide. Le temps qu'il faut pour « mélanger et compresser » le texte est si court qu'il est en réalité plus rapide que de déplacer les livres lourds et non compressés.
- Le Résultat : Le bibliothécaire peut maintenant garder 3 fois plus de livres ouverts sur le bureau, et il les lit toujours plus vite qu'avant.

Résultats Clés en Langage Simple

Ce n'est pas un Compromis : Sur les puces Apple, vous obtenez le meilleur des deux mondes : 3 fois plus de capacité mémoire ET une vitesse accrue. Le papier appelle cela « La Quantification est Gratuite ».
Le « Mélange Magique » (SRFT) : Ils utilisent une astuce mathématique appelée « Transformée de Fourier Signée Randomisée ». Imaginez mélanger un jeu de cartes si parfaitement que les cartes à haute valeur (les valeurs aberrantes) sont réparties uniformément. Cela empêche la « photocopie » de devenir floue. Ils ont constaté que cela fonctionne aussi bien que d'autres méthodes de mélange (Hadamard) mais est mieux adapté au matériel d'Apple.
Réparer la « Catastrophe » : Sur un modèle spécifique (Qwen), simplement compresser le texte a fait que l'IA commettait des erreurs terribles (comme un bibliothécaire lisant du charabia). Les auteurs ont corrigé cela en ajoutant un petit « bouton de volume » (mise à l'échelle par canal) pour chaque mot spécifique avant de le compresser. Cela a sauvé la qualité sans ralentir les choses.
Apprentissage contre Aléatoire : Ils ont testé s'ils pouvaient « enseigner » à l'IA le mélange parfait. Étonnamment, un mélange aléatoire a mieux fonctionné pour le résultat final qu'un mélange « appris », même si ce dernier semblait plus précis lors d'un test mathématique. Il s'avère que le mélange aléatoire agit comme un « régularisateur » utile qui maintient l'IA stable.

La Conclusion

Le papier démontre que sur les ordinateurs Apple, vous pouvez réduire l'empreinte mémoire de l'IA de 3 fois (économisant un espace massif) et, grâce au fonctionnement de la mémoire de l'ordinateur, l'IA fonctionne en réalité 3 % à 8 % plus vite qu'avant.

C'est comme trouver un moyen de ranger une valise si serrée qu'elle devient plus légère, tout en pouvant toujours saisir vos vêtements plus vite que si la valise était à moitié vide et volumineuse.

À qui cela s'adresse-t-il ?
Cela concerne spécifiquement l'exécution de modèles d'IA sur les appareils Apple Silicon (ordinateurs portables, téléphones, tablettes). Les auteurs notent que sur d'autres ordinateurs (comme les GPU NVIDIA standards), cette accélération pourrait ne pas se produire car leur architecture mémoire est différente.

Que cela permet-il ?
Cela permet à ces appareils de gérer des conversations beaucoup plus longues ou de lire des documents beaucoup plus longs sans manquer de mémoire ni ralentir, tout en maintenant les réponses de l'IA aussi intelligentes qu'avant.

Résumé technique : Quand la quantification est gratuite

Énoncé du problème

L'inférence des transformateurs à long contexte est généralement contrainte par l'empreinte mémoire et les exigences de bande passante du cache Key-Value (KV). À mesure que les longueurs de contexte augmentent (par exemple, 128 000 jetons), les tenseurs KV accumulés en fp16 peuvent dépasser la taille des poids du modèle eux-mêmes, créant un goulot d'étranglement où la bande passante mémoire, plutôt que la puissance de calcul, limite la vitesse de décodage.

La pratique industrielle standard répond à ce problème via des stratégies de « rotation puis quantification » (par exemple, QuaRot, SpinQuant), qui appliquent des rotations orthogonales aléatoires pour gausser les activations avant de les quantifier en peu de bits (int4/int8). Cependant, cette approche est traditionnellement présentée comme un compromis qualité–latence : la surcharge computationnelle de la rotation et de la dé-rotation, combinée aux erreurs de quantification, entraîne généralement une augmentation de 5 à 20 % de la latence de décodage, même si de la mémoire est économisée.

Les auteurs postulent que ce compromis s'inverse sur Apple Silicon (architecture mémoire unifiée). Ils émettent l'hypothèse que les économies de bande passante résultant d'un cache compressé 3 fois peuvent surpasser le coût computationnel du noyau de quantification, à condition que ce noyau soit hautement optimisé et fusionné.

Méthodologie

1. Transformée de Fourier à signes randomisés (SRFT)

L'article adopte la SRFT (Sign-Randomized FFT) comme mécanisme de rotation, définie par $SRFT(x) = \text{pack}(F \cdot \text{diag}(s) \cdot x)$ , où $F$ est la DFT unitaire et $s$ un vecteur de signes aléatoires fixes.

Raison d'être : Bien que les transformées de Hadamard (SRHT) soient courantes, la SRFT offre une flexibilité pour les dimensions non puissances de deux et s'aligne sur les opérations de multiplication matricielle 16×16 (AMX, Tensor Cores).
Résultat : Les auteurs démontrent que la SRFT et la SRHT sont statistiquement indiscernables en termes de qualité de perplexité (PPL) sur cinq modèles (SmolLM2, Qwen2.5, Gemma-3) et divers budgets de bits.

2. Noyau Metal fusionné

Pour éliminer la surcharge d'envoi (dispatch), les auteurs implémentent un seul noyau de calcul Metal fusionné qui exécute l'ensemble du pipeline :

Chargement et multiplication par signe : Application du signe diagonal aléatoire dans les registres.
FFT : Exécution de $\log_2(d/2)$ passes de papillon radix-2 de Stockham.
Emballage : Déballage de la symétrie hermitienne vers une représentation réelle.
Mise à l'échelle et quantification : Réduction par canal $\lambda$ (appris ou calibré), réduction par groupe du maximum absolu, et arrondi vers des entiers signés int4/int8.
Emballage en nibbles : Emballage de deux valeurs int4 dans un seul byte en utilisant des mélanges SIMD.

Ce noyau est exposé via torch.mps.compile et intégré comme une sous-classe Cache de HuggingFace (SRFTInt4Cache).

3. Stratégies de mise à l'échelle avancées

Par canal + par groupe : Pour les modèles avec de petites dimensions de tête (par exemple, Qwen2.5-1.5B, $d=128$ ), la mise à l'échelle par jeton échoue de manière catastrophique en raison de coordonnées aberrantes. Les auteurs combinent une mise à l'échelle par canal (une échelle par coordonnée) avec une mise à l'échelle par groupe (groupes de 16) pour récupérer la qualité.
Rotations apprises : L'article examine un calibrage post-entraînement où une rotation apprise $R$ et une échelle $\lambda$ sont ajoutées. Un résultat clé est que l'apprentissage de $R+\lambda$ sans la base SRFT fixe minimise l'erreur quadratique moyenne (MSE) de calibrage de manière significativement plus importante (84,9 % contre 50,3 %), mais produit un PPL en aval pire, suggérant que la SRFT aléatoire fixe agit comme un régularisateur.
Rotations de Householder : À $d=256$ , les rotations de Householder avec $k=d/2$ réflecteurs atteignent une quantification pratiquement sans perte ( $\Delta PPL \approx 0,000$ ) avec la moitié des paramètres des rotations de Cayley complètes.

4. Voie CPU (AMX)

Une voie CPU complémentaire utilise le coprocesseur matriciel AMX d'Apple via cblas sgemm. En regroupant des DFT de longueur 8 en multiplications matricielles réelles 16×16, les auteurs atteignent jusqu'à 91 % du pic AMX mono-cœur, offrant une alternative à faible latence pour les régimes de petits lots où la surcharge d'envoi GPU est dominante.

Résultats clés

Performance (Latence)

Sur Apple M1 (16 Go de mémoire unifiée), le cache KV int4 fusionné surpasse le fp16 en latence de décodage de bout en bout :

Gemma-3 1B : Fonctionne 3 à 8 % plus vite (surcharge de latence négative) sur des préfixes de 256 à 4096 jetons.
Qwen2.5-1.5B : Fonctionne 0,7 à 2,6 % plus vite sur des contextes courts (≤1 000 jetons).
Mécanisme : La surcharge du noyau (~25 ns/vec) est inférieure aux économies de bande passante mémoire réalisées en transférant 3 fois moins de données par étape de décodage.

Qualité (Perplexité)

SRFT vs. SRHT : Aucune différence statistiquement significative dans le $\Delta PPL$ sur tous les modèles testés.
Qwen2.5-1.5B : Le noyau fusionné avec mise à l'échelle par canal + par groupe réduit le $\Delta PPL$ en 4 bits d'un +7975 catastrophique (référence par jeton) à +638,6 (une réduction de 12,5 fois), correspondant à l'implémentation de référence Python.
Gemma-3 1B : Le $\Delta PPL$ en 4 bits passe de +18,7 (par jeton) à +3,6 avec le noyau fusionné mis à l'échelle.
Régime sans perte : À $d=256$ , les rotations de Householder apprises atteignent $\Delta PPL = 0,000$ .

Efficacité mémoire

Compression : Atteint une compression mémoire persistante de 3,0× à 3,56× sur les couches d'attention complète.
Impact réel : Pour un contexte de 128 000 jetons sur Llama-3-70B, le cache int4 réduit la mémoire d'environ 41 Go (fp16) à environ 10,9 Go.

Importance et revendications

L'article revendique que la quantification est « gratuite » (positive en débit) sur le matériel à mémoire unifiée, inversant l'hypothèse industrielle standard selon laquelle la quantification en peu de bits entraîne toujours une pénalité de latence.

Inversion du compromis : La contribution principale est de démontrer que sur Apple Silicon, les économies de bande passante d'un cache compressé 3 fois surpassent le coût computationnel du noyau de quantification. Cela rend le cache KV int4 strictement supérieur au fp16 pour l'inférence à long contexte sensible à la latence sur ordinateurs portables et appareils de périphérie.
Conception adaptée au matériel : Ce travail met en évidence que le choix de la rotation (FFT vs. Hadamard) relève moins d'une supériorité mathématique que d'un alignement matériel (par exemple, la structure radix-8 de la FFT correspondant aux tuiles 16×16 de l'AMX).
Séparation Calibrage vs. PPL : L'article isole un phénomène nouveau où la minimisation de l'erreur quadratique moyenne (MSE) de calibrage ne garantit pas un meilleur PPL en aval, suggérant que la rotation aléatoire fixe fournit une priorité de régularisation nécessaire.
Faisabilité du déploiement : En fusionnant l'ensemble du pipeline dans un seul noyau Metal et en l'intégrant à HuggingFace, les auteurs prouvent qu'une quantification agressive en 4 bits peut être déployée sans sacrifier la qualité du modèle ni la vitesse, à condition que l'architecture matérielle (mémoire unifiée) et l'optimisation du noyau (fusion) soient alignées.

Les auteurs concluent que si le compromis standard de quantification s'applique aux GPU avec des HBM séparés et des surcharges d'envoi élevées, il s'inverse pour le régime à mémoire unifiée où opèrent l'inférence sur ordinateurs portables et périphériques.