💻 computer science

Tamarin (HSQ): Reversible Hierarchical KV-Cache Compression for LLM Inference

Tamarin (HSQ) introduit un schéma de compression du cache KV hiérarchique à trois niveaux et réversible qui route les jetons vers un niveau focal, des vecteurs de résumé appris et une archive basée sur le CPU afin d'atteindre une réduction de la mémoire GPU de 12 à 28× pour l'inférence de LLM à contexte long, tout en maintenant une perplexité et une précision de récupération proches de la ligne de base.

Auteurs originaux : Alikhan Bazakov, Kirill Kiselev

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alikhan Bazakov, Kirill Kiselev

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de lire un livre massif de 32 000 pages sur une petite tablette. Le problème n'est pas le texte du livre ; c'est que la mémoire de votre tablette se remplit instantanément rien qu'en tenant les pages que vous avez déjà lues. Dans le monde de l'IA, cette « mémoire » est appelée le cache KV, et pour les grands modèles, elle consomme toute la puissance de votre ordinateur, vous obligeant à jeter les anciennes pages pour faire de la place aux nouvelles.

La plupart des solutions actuelles ressemblent à un bibliothécaire qui, quand l'étagère est pleine, décide de jeter les livres qu'il pense que vous n'aurez pas besoin. Ils peuvent garder les premières pages et les dernières, mais si vous posez soudainement une question sur un détail au milieu du livre, cette page est perdue à jamais. L'article appelle cela l'« éviction », et soutient que c'est un défaut fatal car on ne peut pas prédire ce qu'un utilisateur demandera ensuite.

La Grande Idée : Un Index Magique, Pas une Poubelle

Les auteurs de cet article, de Siamang Labs, proposent une approche différente appelée Tamarin (techniquement connue sous le nom de HSQ). Au lieu de jeter les pages, ils traitent la mémoire comme un index géant et consultable.

Voici comment leur système à trois niveaux fonctionne, en utilisant une analogie de bibliothèque :

L'étagère « VIP » (L1) : Une section petite et rapide sur votre tablette (GPU) contient les pages les plus importantes et les plus récentes. Elles sont conservées avec tout leur détail, juste un peu réduites (précision 4-bit).
Les « Cartes d'Indices » (L2) : Pour le reste du livre, le système crée de minuscules « cartes d'indices » de 3 bits pour chaque groupe de 8 à 16 pages. Ces cartes ne contiennent pas l'histoire ; elles contiennent seulement un résumé de ce dont parlent les pages. Elles vivent aussi sur votre tablette.
Les « Archives Profondes » (L3) : Le texte original complet de chaque page est stocké dans un immense entrepôt de l'autre côté de la rue (RAM du CPU), également réduit à une précision de 4 bits.

Comment cela fonctionne en temps réel

Lorsque l'IA lit et doit soudainement répondre à une question, elle ne devine pas. Elle consulte d'abord les Cartes d'Indices (L2). Une petite IA intelligente évalue ces cartes pour voir quels groupes de pages sont pertinents par rapport à la question actuelle.

Si une carte semble prometteuse, le système court instantanément vers les Archives Profondes (L3), saisit les pages originales et les ramène sur la tablette juste avant que l'IA ne prenne sa décision.

L'article prouve que cette approche par « indexation » est la clé. Dans un test où ils ont désactivé l'étape de « récupération depuis l'archive », la capacité du système à trouver une information cachée (appelée recherche de l'aiguille dans la botte de foin ou « needle-in-a-haystack ») est tombée à 0 %. Cela confirme que les cartes d'indices ne servent qu'au routage ; le contenu réel réside dans l'archive.

Les Résultats : Économies Massives avec Presque Aucun Coût

L'article a mesuré cela sur plusieurs modèles (spécifiquement la famille Qwen3, allant de 0,6 milliard à 14 milliards de paramètres). Voici ce qu'ils ont trouvé :

Économies de mémoire : À une longueur de contexte de 32 000 tokens, Tamarin réduit l'utilisation de la mémoire GPU de 12 à 28 fois. Par exemple, un modèle qui nécessite habituellement 4,5 Gio de mémoire pour le cache à 32K tokens n'en nécessite qu'environ 172 MiB sur le GPU. Le reste vit dans la RAM du CPU.
Qualité : Pour les modèles plus grands (4B et 8B paramètres), la qualité est presque identique à la version non compressée. La « perplexité » (une mesure de la confusion de l'IA) n'augmente que de 0,1 % à 0,4 %. L'IA est d'accord avec la version originale sur 96 % à 97 % des mots qu'elle choisit.
Récupération : Lors de tests avec 500 tentatives pour trouver un code caché à différentes profondeurs du texte, le modèle 8B a trouvé le code 500 fois sur 500, correspondant statistiquement à la ligne de base non compressée.

Ce que l'article écarte et là où il échoue

Les auteurs sont très clairs sur ce que ceci n'est pas et là où cela pose problème :

Ce n'est pas un boost de vitesse : L'article stipule explicitement que Tamarin ne rend pas l'IA plus rapide. En fait, parce qu'il doit récupérer des données de l'archive CPU, la vitesse à 32K tokens chute à environ 17–18 % de la vitesse normale. C'est un compromis entre la capacité (contenir plus de texte) et la vitesse.
Cela ne fonctionne pas parfaitement sur les petits modèles : Pour le plus petit modèle testé (0,6 milliard de paramètres), le coût de qualité est plus élevé. L'article note une augmentation de 6 à 10 % de la perplexité lors de l'utilisation de poids 4-bit, ce qui est considéré comme un échec pour cette taille spécifique.
Ce n'est pas une solution miracle pour toutes les familles d'IA : La méthode fonctionne très bien sur les modèles Qwen3, mais lorsqu'ils l'ont testée sur une autre famille (Mistral-7B), les résultats ont été désordonnés, avec une chute de 20 points de pourcentage de précision à certaines profondeurs. Les auteurs soupçonnent que c'est parce que Mistral manque d'une étape de « normalisation » spécifique que possède Qwen, rendant les « cartes d'indices » plus difficiles à lire.
Un point de contrôle spécifique « fragile » : Même sur le modèle 14B, il y avait deux endroits spécifiques dans le texte où le système a eu du mal à trouver l'aiguille cachée, tombant à 80,4 % de précision. L'article attribue cela à un défaut spécifique dans l'entraînement de ce modèle, et non à la méthode elle-même.

L'essentiel

L'article suggère que pour les grands modèles (4B et plus), Tamarin est un moyen prouvé de faire tenir d'immenses quantités de texte dans une mémoire limitée sans supprimer définitivement l'information. Il transforme le problème de « manquer d'espace » en un problème de « gestion d'un index ». Bien qu'il ralentisse les choses et nécessite un réglage minutieux pour différentes IA, il résout avec succès le goulot d'étranglement de la mémoire pour les tâches à long contexte où conserver chaque morceau d'information est critique.

Résumé Technique : Tamarin (HSQ) – Compression Hiérarchique Réversible du KV-Cache

1. Le Problème

Dans l'inférence des modèles de langage à large échelle (LLM) autorégressifs, le cache Clé-Valeur (KV) est le principal consommateur de mémoire GPU, particulièrement dans les scénages à contexte long. Contrairement aux poids du modèle, qui peuvent être quantifiés une fois pour toutes, le cache KV croît linéairement avec la longueur du contexte. Par exemple, un modèle Qwen3-8B en fp16 nécessite environ 4,5 GiB de VRAM pour un contexte de 32K jetons, dépassant souvent la capacité des GPU standards.

Les solutions existantes font face à une dichotomie présentant un angle mort commun :

Quantification KV : Compresse toutes les entrées vers une faible précision (2–4 bits). Bien que sûre, le taux de compression est limité (typiquement ~4× par rapport au fp16) et peut dégrader la qualité à des largeurs de bits plus faibles.
Éviction/Fusion de Jetons : Les méthodes telles que StreamingLLM, H2O et SnapKV suppriment ou fusionnent définitivement des jetons jugés peu importants lors de la phase de prefill. Ces méthodes atteignent des taux de compression élevés mais sont irréversibles. Si un jeton évincé tôt devient critique pour une requête générée lors d'une étape de décodage ultérieure, l'information est perdue.

La limitation fondamentale des travaux antérieurs est que l'importance d'un jeton est une fonction de la requête future, ce que les méthodes basées sur l'éviction doivent prédire au moment de la compression sans bénéficier du contexte futur.

2. Méthodologie : Tamarin (HSQ)

Tamarin (Hierarchical Semantic Quantization, ou HSQ) reformule la compression du KV-cache comme un problème d'indexation plutôt qu'un problème de suppression. Il maintient trois représentations synchronisées du contexte, garantissant que chaque jeton compressé reste adressable et récupérable.

L'Architecture à Trois Niveaux

L1 (Niveau Focal, GPU) : Un petit ensemble de jetons non résumés stockés sous forme de vecteurs quantifiés en 4 bits. Cela inclut les "attention sinks", une fenêtre récente optionnelle, et les jetons explicitement marqués comme importants par un lecteur appris.
L2 (Niveau Résumé, GPU) : Les jetons restants sont partitionnés en groupes (taille $N \in \{8, 16\}$ ). Chaque groupe est compressé en deux vecteurs représentatifs appris ( $\hat{k}, \hat{v}$ ) stockés avec une précision de 3 bits. Crucialement, ces vecteurs agissent comme des clés de routage, et non comme des remplacements de contenu.
L3 (Niveau Archive, RAM CPU) : Les clés et valeurs originales (quantifiées) pour chaque jeton compressé sont stockées dans la RAM du CPU avec une précision de 4 bits. Cela sert de source de vérité pour le contenu.

Le Processus de Décodage

Pendant le décodage, le processus opère comme une recherche d'index réversible :

Routage : Un routeur par tête évalue les clés de résumé L2 par rapport à la requête actuelle.
Récupération (Fetching) : Basé sur un budget de routage ( $\beta$ ), le routeur sélectionne les groupes ayant les scores les plus élevés. Le système récupère les jetons originaux correspondants de l'archive L3 (CPU), les déquantifie sur le GPU, et les fait pivoter vers leurs positions sémantiques.
Attention : Le mécanisme d'attention s'exécute sur l'union des jetons L1, des résumés L2 et des originaux L3 restaurés. Les résumés L2 sont masqués pour les groupes dont les originaux ont été récupérés afin d'éviter le double comptage.

Composants Techniques Clés

Lecteur (Reader) : Un petit MLP qui évalue l'importance des jetons basée sur les états cachés précoces du décodeur. Il dirige les jetons vers L1, L2 (groupes moyens), ou L2 (groupes faibles).
Compresseur : Un agrégateur de pooling par attention croisée de type Perceiver qui génère les clés de routage à 3 bits. Il est entraîné pour classer efficacement les groupes sous les projections de requête du modèle, et non pour reconstruire le contenu.
Quantification (TurboQuant) : Utilise une quantification scalaire aléatoire avec une rotation orthonormale fixe pour décorréler les coordonnées. L1 et L3 utilisent une précision de 4 bits ; L2 utilise 3 bits.
Implémentation : Implémenté comme une bibliothèque Python d'environ 9 000 lignes sur la base de HuggingFace Transformers, ne nécessitant aucune modification des poids du modèle ni de noyaux CUDA personnalisés.

3. Contributions Clés

Architecture : Une hiérarchie réversible à trois niveaux qui sépare le routage (L2) du contenu (L3), permettant des taux de compression élevés sans perte d'information permanente.
Méthodologie de Validation : Un cadre statistique rigoureux utilisant des essais appariés ( $n=500$ par cellule), des tests exacts de McNemar, le test TOST (Two One-Sided Tests) pour l'équivalence dans la récupération binaire, et des marges de non-infériorité unilatérales pour la perplexité.
Résultats sur le Passage à l'Échelle (Scaling) : La méthode démontre que les coûts de qualité diminuent à mesure que la taille du modèle augmente, et qu'elle se compose librement avec la quantification des poids en 4 bits pour les modèles $\ge$ 4 milliards de paramètres.
Open Source : Publication du package bêta HSQ sous licence Apache 2.0, incluant les adaptateurs de modèles et les harnais d'évaluation.

4. Résultats

Évalué sur la famille Qwen3 (0.6B–14B) en fp16, int8 et int4, avec des contextes allant jusqu'à 32K :

Taux de Compression : Tamarin réduit le cache KV résident sur GPU de 12–28× (ex: Qwen3-8B à 32K passe de 4,5 GiB à 172 MiB sur GPU, avec 2,29 GiB sur CPU).
Performance de Récupération :
- Sur les modèles 4B et 8B, la récupération est statistiquement équivalente à la ligne de base non compressée (équivalence TOST) à toutes les profondeurs.
- À un contexte de 32K, Qwen3-8B-int4 atteint une parité de récupération d'aiguille (needle retrieval) de 500/500 avec zéro paire discordante.
Surcoût de Perplexité (PPL) :
- Pour les modèles 4B–14B, le surcoût de PPL est minimal (0,1–0,4 %).
- Sur les modèles 4B, la perplexité multilingue a été mesurée en dessous de la ligne de base (ratio 0,9972), suggérant que le coût de compression est inférieur au seuil de mesure.
- Les petits modèles (0,6B) subissent des coûts plus élevés (4–6 % en fp16, 6–10 % en int4).
Accord de Jetons : L'accord de jetons par mode gourmand (greedy) est de 96–97 % avec la ligne de base pour les modèles 4B–14B.
Vitesse :
- Le surcoût de prefill s'amortit sur les contextes longs (1,2–1,3× à 32K).
- Le débit de décodage est actuellement un goulot d'étranglement, tournant à 40–73 % de la ligne de base pour les contextes jusqu'à 8K, et chutant à 17–18 % à 32K en raison du coût de récupération et de déquantification depuis le CPU.

5. Revendications et Signification

L'article affirme que Tamarin réussit à déplacer le paradigme de la gestion du cache KV de la suppression vers l'indexation. En différant la décision de savoir quels jetons sont "importants" jusqu'au moment de la requête (via le routeur), le système évite l'irréversibilité des méthodes d'éviction.

Revendications Spécifiques :

Capacité plutôt que Latence : Tamarin est présenté comme une solution pour faire tenir des contextes plus larges et des tailles de lots (batches) plus grandes dans la mémoire GPU limitée, et non pour réduire la latence.
Réversibilité : Chaque jetons compressé est adressable ; le système ne rejette pas l'information de manière permanente.
Mise à l'échelle du Modèle : La méthode devient plus efficace à mesure que la capacité du modèle augmente, les modèles 4B et 8B montrant une équivalence quasi parfaite avec les lignes de base.
Composition : Elle fonctionne parfaitement avec la quantification des poids en 4 bits pour les modèles d'au moins 4B paramètres sans coût supplémentaire mesurable.

Limitations et Frontières Explicites :

Petits Modèles : Les modèles inférieurs à 4B paramètres (spécifiquement 0,6B) souffrent d'une accumulation de bruit, entraînant un surcoût de PPL plus élevé.
Points de Contrôle Fragiles : Le checkpoint Qwen3-14B-int4 a montré des "trous" étroits dans la récupération d'une aiguille unique à certaines profondeurs, attribués à la fragilité de la quantification plutôt qu'à la méthode elle-même.
Familles de Modèles : La méthode est validée statistiquement sur Qwen3. Un test initial sur Mistral-7B a montré un "effet de famille" avec une performance dégradée, hypothétiquement causé par l'absence de normalisation des clés par tête.
Débit (Throughput) : L'implémentation actuelle échange la vitesse de décodage contre la capacité mémoire, avec des pénalités de débit significatives pour les contextes très longs (32K).

L'article conclut que Tamarin offre une voie pratique et réversible pour l'inférence à contexte long sur les GPU grand public et de centre de données, à condition que l'utilisateur accepte le compromis actuel d'une réduction du débit de décodage pour des économies de mémoire massives.