Résumé Technique : SPECTRA

Énoncé du Problème

À l'ère des modèles de langage (LLM) agentiques, l'inférence est de plus en plus dominée par des entrées à contexte long, allant de bases de code entières à des dialogues multi-tours. À mesure que la longueur du contexte augmente, le cache Clé-Valeur (KV) — le magasin de stockage des clés et valeurs d'attention — devient le goulot d'étranglement principal, dépassant souvent la taille des poids du modèle lui-même. Ce cache doit résider dans une mémoire rapide et être relu à chaque étape de génération, ce qui limite à la fois la longueur maximale du contexte et la taille du lot (batch size) qu'un GPU peut supporter.

Les méthodes de compression existantes se classent généralement en trois catégories : l'éviction de jetons (élimination des jetons non importants), la projection de rang faible (réduction de la dimensionnalité) et la quantification (réduction de la précision). Bien que la quantification soit largement utilisée, elle se heurte à un « gouffre des 2 bits » où les performances se dégradent brutalement. À 2 bits par valeur (quatre niveaux), la plage dynamique limitée ne peut pas accommoder la distribution riche en valeurs aberrantes (outliers) du cache ; les entrées de grande amplitude consomment les niveaux disponibles, faisant s'effondrer les valeurs plus petites et critiques en simple bruit. De plus, la quantification standard applique une largeur de bits uniforme à tous les canaux, ignorant le fait que les canaux bruts du cache KV sont fortement corrélés, ce qui rend difficile l'identification des canaux spécifiques qui transportent le plus d'informations.

Méthodologie : SPECTRA

Les auteurs proposent SPECTRA, un codec sans entraînement et prêt à l'emploi (drop-in), qui reformule la compression du cache KV comme un problème de taux-distorsion. Au lieu de fixer un budget à l'avance (par exemple, un rang ou une largeur de bits spécifique), SPECTRA alloue dynamiquement les bits aux parties du cache qui comptent le plus. La méthode repose sur trois observations clés dérivées du sondage de modèles pré-entraînés :

1. Concentration dans une Base Adéquate : Dans la base de canaux bruts, les canaux du cache KV sont hautement corrélés. Cependant, lorsqu'ils sont pivotés dans une base calculée à partir des propres statistiques du cache (spécifiquement, la matrice de Gram des activations), les canaux deviennent non corrélés et l'énergie se concentre nettement : une petite fraction des canaux transporte la vaste majorité du signal.
2. Allocation Pondérée par l'Importance : L'allocation de bits basée sur l'importance des canaux (l'énergie) surpasse significativement la précision uniforme, particulièrement dans le régime inférieur à 2 bits. Les canaux avec zéro bit sont effectivement supprimés, unifiant la quantification et la réduction de rang en un mécanisme de contrôle unique.
3. Importance Pondérée par l'Activation : L'importance d'un canal est déterminée par la force avec laquelle les activations d'entrée le pilotent, et non simplement par la magnitude de ses poids de projection. Par conséquent, la transformation doit être pondérée par les statistiques d'activation ($G = E[h^\top h]$) plutôt que par les matrices de poids seules.

Le Pipeline SPECTRA

SPECTRA implémente ces observations via un processus en trois étapes :

1. Transformation Pondérée par G (Latent Caching) :
   La méthode factorise les projections clé et valeur ($W_K, W_V$) en utilisant une Décomposition en Valeurs Singulières (SVD) pondérée par la matrice de Gram des activations $G$. En blanchissant les poids avec $G^{1/2}$, la méthode trouve une factorisation de rang faible qui minimise l'erreur dans la métrique des activations réelles produites par le modèle, plutôt que dans l'espace des poids bruts. Cela produit une représentation latente compacte et ordonnée par énergie ($C$) où les coordonnées sont orthogonales et triées par variance.

   • Raffinement : Une correction sans entraînement en forme fermée est appliquée à la projection de sortie ($W_O$) pour compenser le résidu structuré introduit par la troncature de rang faible.

2. Quantification Taux-Distorsion (Water-Filling) :
   Une fois le cache transformé dans cet espace latent ordonné par énergie, SPECTRA applique un algorithme de « remplissage inversé » (reverse water-filling) pour allouer les bits. Sur la base des variances marginales mesurées des coordonnées latentes, l'algorithme assigne plus de bits aux canaux à haute variance (haute énergie) et moins de bits (jusqu'à zéro) aux canaux à faible variance.

   • Groupement : Pour maintenir une structure de cache de type "append-only" adaptée à l'inférence en flux (streaming), les coordonnées adjacentes sont groupées pour partager une largeur de bits unique.

3. Intégration Système :
   Les matrices de transformation ($W_{down}, W_{up}$) et la correction $W_O$ sont réintégrées dans les poids du modèle, faisant de SPECTRA un remplacement direct qui ne nécessite aucun ajustement fin (fine-tuning). Pendant l'inférence, les jetons sont projetés vers le bas, quantifiés par jeton, et ajoutés au cache latent. Les clés et valeurs complètes sont reconstruites à la volée pour l'attention standard.

Contributions Clés

• Vision Unifiée de la Compression : Le papier reformule la compression du cache KV comme un problème unique de dépense d'un budget de bits fixe à travers les canaux, unifiant la projection de rang faible (suppression de canaux) et la quantification (réduction de bits) comme deux extrémités d'un même spectre de contrôle.
• Transformation Pondérée par l'Activation : Il identifie que la minimisation de l'erreur de reconstruction dans la métrique des activations du modèle (via une transformation pondérée par $G$) est supérieure à la factorisation de l'espace des poids, produisant un latent qui est à la fois orthogonal de second moment et ordonné par énergie.
• Codec SPECTRA : Une implémentation pratique et sans entraînement qui concentre le budget de bits sur les canaux porteurs de signal, repoussant la compression au-delà du gouffre des 2 bits.

Résultats Expérimentaux

Les auteurs ont évalué SPECTRA sur Llama-3.1-8B, Mistral-7B et Qwen2.5-7B en utilisant les benchmarks LongBench et RULER (Needle-in-a-Haystack).

• Performance vs Compression :
  • À 4x de compression, SPECTRA est quasi-sans perte, égalant ou dépassant les performances du modèle dense (fp16) et surpassant les bases comme KIVI, OTT et PolarQuant.
  • À 8x de compression, là où les méthodes de quantification uniforme s'effondrent (chutant significativement sous la base dense), SPECTRA reste compétitif. Pour Llama-3.1-8B, SPECTRA atteint un score moyen LongBench de 51.89 à 8.84x de compression, tandis que les bases comme TurboQuant et RotateKV tombent respectivement à ~47 et ~46.
  • SPECTRA reste utilisable jusqu'à 12x de compression (ex: score de 48.81 à 11.12x pour Llama), un régime où les autres méthodes échouent totalement.
• Capacité Mémoire :
  • Sur un GPU H200 avec 24 Go de mémoire, un modèle dense Llama-3.1-8B supporte un contexte d'environ 65k jetons. SPECTRA à 12x de compression étend cela à 793k jetons, multipliant par plus de 12 la capacité de contexte sans changer le matériel.
• Récupération (Retrieval) :
  • Dans les tâches de type "Needle-in-a-Haystack", SPECTRA maintient une précision de récupération quasi parfaite jusqu'à 12x de compression, alors que les bases à 2 bits se dégradent brutalement à long contexte.

Signification et Revendications

Le papier affirme que le levier principal de la compression du cache KV n'est pas seulement de savoir avec quelle finesse quantifier, mais ce qu'il faut stocker. En pivotant le cache dans un système de coordonnées dérivé des propres statistiques du modèle, SPECTRA révèle que l'information est hautement concentrée. Cela permet à la méthode de dépenser les bits là où ils comptent le plus, contournant efficacement le « gouffre des 2 bits » qui frappe la quantification uniforme.

Les auteurs soulignent que SPECTRA est une solution sans entraînement et prête à l'emploi qui ne nécessite ni pré-entraînement, ni ajustement fin, ni changements architecturaux. Bien que l'implémentation actuelle se concentre sur les économies de mémoire (reconstruction des clés/valeurs à la volée), le papier note que la structure de l'espace latent ouvre théoriquement la voie à des économies de calcul via une attention directe dans l'espace latent, ce qui est laissé comme travail futur. La contribution centrale est de démontrer qu'il est possible de pousser la compression au-delà du gouffre des 2 bits en traitant le cache comme un signal à coder via des principes de codage de transformée plutôt que comme un tenseur à tailler uniformément.