Résumé technique : Still : Compaction amortie du cache KV en un seul passage direct (forward pass)

1. Énoncé du problème

Le cache KV (Key-Value) est le principal goulot d'étranglement de la mémoire pour le déploiement des grands modèles de langage (LLM) sur de longs horizons, tels que les agents de codage opérant sur plusieurs jours ou le raisonnement à l'échelle d'un dépôt de code. Les stratégies de déploiement actuelles sont confrontées à un choix « tout ou rien » :

• Mise en cache sans perte (Lossless Caching) : Le cache croît linéairement avec la longueur du contexte, finissant par atteindre les limites de la mémoire.
• Alternatives avec perte (Lossy) : Les méthodes comme le fine-tuning, la génération augmentée par récupération (RAG) ou les résumés de documents abandonnent la structure et la fidélité de la représentation interne du modèle.

Les méthodes existantes de compaction du cache KV se divisent en deux catégories, chacune présentant des limitations significatives :

1. Méthodes de sélection : Elles évaluent les jetons (tokens) et en éviquent un sous-ensemble (ex. H2O, SnapKV). Elles sont légères mais structurellement liées au sous-ensemble de jetons d'origine, ce qui signifie qu'elles ne peuvent pas synthétiser de nouvelles informations et se dégradent rapidement sous des budgets de compression serrés.
2. Méthodes de synthèse : Elles combinent le contenu pour créer de nouvelles représentations compactes (ex. Attention Matching, Cartridges). Bien qu'expressives, elles nécessitent généralement une optimisation par contexte (ajustement/fitting) au moment de l'inférence, ce qui les rend coûteuses en calcul et peu pratiques pour les trajectoires itératives à long horizon où la compaction doit avoir lieu de manière répétée.

Le papier identifie un besoin pour une méthode qui soit amortie (entraînée une fois, appliquée de manière répétée sans optimisation par contexte), synthétique (capable de mélanger l'information au-delà de la simple sélection) et suffisamment légère pour être exécutée pendant l'inférence.

2. Méthodologie : Still

Les auteurs introduisent Still, une primitive apprise pour la compaction du cache KV conçue pour des modèles pré-entraînés gelés.

Architecture

Still consiste en un petit module Perceiver par couche, entraîné contre un modèle de base gelé.

• Entrée : Pour chaque couche du transformer, le compcompresseur reçoit le cache KV complet ($K, V$) du préfixe par couche. Les clés sont d'abord « dé-rotées » pour supprimer les incrustations de position rotatives (RoPE), les plaçant dans un cadre indépendant de la position.
• Requêtes latentes (Latent Queries) : Le compresseur maintient une banque de $t$ requêtes latentes apprises ($Z$) par couche. Ces requêtes effectuent une attention croisée (cross-attention) sur le cache KV complet.
• Traitement : Les latents passent à travers des blocs pré-normés contenant :
  1. Attention croisée (Cross-Attention) : Des latents vers le cache KV complet.
  2. Auto-attention (Self-Attention) : Entre les latents.
  3. Réseau de neurones à propagation avant (FFN) : Sous-couche optionnelle.
• Sortie : L'état latent final est projeté via des têtes linéaires pour produire des clés compactes ($C_k$) et des valeurs ($C_v$) de taille $t \times d$, où $t \ll T$ (la longueur de la séquence originale).
• Gestion de la position : Les clés compactes résultantes sont re-rotées aux positions de sortie choisies avant d'être réécrites dans le cache. Les valeurs restent non-rotées.
• Canal de biais (Bias Channel) : Un canal de biais optionnel ($\beta$) est supporté mais désactivé ($\beta=0$) dans tous les résultats rapportés pour simplifier le déploiement.

Entraînement

• Objectif : Le compresseur est entraîné en utilisant la divergence KL directe entre un « enseignant » (le modèle de base gelé avec le cache complet non compressé) et un « étudiant » (le même modèle utilisant le cache compact). La perte est masquée pour ne concerner que les jetons côté réponse.
• Données : L'entraînement utilise un ensemble de données de questions à choix multiples (MCQ) extractif sur quatre domaines (Finance, Project Gutenberg, Juridique, Code).
• Efficacité : Les poids du modèle de base restent gelés ; seuls les paramètres du compresseur sont entraînés. Le compresseur ajoute environ 1 % au nombre de paramètres du modèle de base (ex. ~50 millions de paramètres pour Qwen3-4B).

Modes Opérationnels

1. Compaction en un seul passage (Single-Pass Compaction) : Le modèle exécute un prefill complet pour générer le cache complet, qui est ensuite compressé par Still. La génération se poursuit en utilisant le cache compact.
2. Compaction par morceaux itérative (Iterative Chunked Compaction) : Pour les contextes à long horizon arrivant au fil du temps, Still supporte un calendrier récurrent. Le modèle traite des blocs de jetons, et après chaque bloc, le cache accumulé est compressé à une taille fixe. Cela permet au système de gérer des contextes dépassant largement l'horizon d'entraînement, à condition que le compresseur ait été entraîné sur des horizons itératifs suffisamment longs.

3. Contributions Clés

• Synthèse amortie : Still démontre que la synthèse amortie (apprendre un encodeur une seule fois) est supérieure à la sélection amortie (apprendre un scoreur une seule fois) pour la compaction de contexte long. Elle évite la limitation de « l'appartenance au sous-ensemble » des méthodes de sélection et le coût de l'« optimisation par contexte » des méthodes de synthèse.
• Un seul passage direct (Single Forward Pass) : Contrairement aux méthodes de synthèse par contexte qui nécessitent des étapes d'optimisation pour chaque nouveau contexte, Still effectue la compaction en un seul passage à travers un module appris.
• Capacité de long horizon itératif : Parce que la compaction est un passage direct, Still peut être appliquée de manière itérative à mesure que le nouveau contexte arrive, permettant un régime de long horizon indisponible pour les méthodes d'ajustement par contexte.
• Généralisation : La méthode est transférable à travers les échelles de modèles (4B à 32B), les architectures (denses et MoE) et les mécanismes d'attention (globale et à fenêtre glissante).

4. Résultats

Le papier évalue Still sur des ratios de compression allant de 8× à 200× et des longueurs de contexte de 8k à 128k.

• Frontière Vitesse-Qualité : Sur les modèles Qwen et Gemma, Still occupe le côté favorable de la frontière vitesse-qualité. Elle reste précise et rapide sur toute la matrice, là où les méthodes basées sur la sélection se dégradent sous des budgets serrés, et où les méthodes de synthèse par contexte sont trop lentes.
• Benchmark RULER : Dans les configurations d'entraînement appariées sur le benchmark RULER, Still dépasse la plus forte base de comparaison de sélection amortie (KV-Distill) de 8 à 22 points de précision sur 16 des 18 cellules.
• Performance de transfert : Dans les configurations de transfert zero-shot (entraînement sur MCQ de domaines mixtes, test sur RULER), Still maintient un avantage significatif sur KV-Distill, bien que les marges soient plus faibles en raison du décalage entraînement-test.
• Résumé : Still supporte le résumé libre. Sur HELMET (multi_lexsum), elle préserve 74 à 95 % du gain de contexte complet sur des contextes de 8k–64k, surpassant Attention Matching et KV-Distill. Sur LongBench v1, elle l'emporte dans 60 % des comparaisons par paires contre KV-Distill.
• Compaction itérative : Still permet une compaction par morceaux itérative. Bien que les performances se dégradent si l'horizon d'entraînement est trop court par rapport à l'horizon de déploiement (ex. un compresseur entraîné sur 8k s'effondrant à 128k), l'entraînement sur des horizons itératifs plus longs (16k, 32k) permet au modèle d'absorber un contexte bien supérieur à sa capacité physique.

5. Signification et Revendications

Le papier affirme que l'amortissement rend la compaction du cache de long contexte traitable, et que la synthèse rend l'état compact utile à des niveaux de compression extrêmes.

• Tractabilité : En apprenant l'optimiseur (le compresseur) une seule fois, le système évite les coûts d'ajustement cumulatifs des méthodes par contexte, rendant possible le déploiement itératif à long horizon.
• Expressivité : La synthèse permet au cache compact de mélanger l'information provenant d'arbitrairement de nombreuses positions, dépassant le plafond de densité d'information de la sélection de jetons.
• Praticité : Still est suffisamment légère pour être appelée de manière répétée pendant l'inférence, supportant aussi bien la sélection de réponses que la génération libre sans modifier les poids du modèle de base.

Limitations reconnues par les auteurs

• Pas sans perte (Not Lossless) : L'inférence avec contexte complet reste supérieure dans les cas les plus difficiles à 128k.
• Contrainte de l'horizon d'entraînement : La compaction itérative n'est pas une extrapolation gratuite ; la performance du compresseur est limitée par l'horizon d'entraînement. Soutenir 1 million de jetons nécessite un entraînement sur des horizons proportionnellement plus longs, ce qui est coûteux.
• Récupération exacte : La récurrence actuelle est faible sur les tâches de récupération exacte et de type « aiguille dans une botte de foin » (needle-in-a-haystack), même lorsqu'elle préserve les preuves sémantiques pour les tâches MCQ plus larges.
• Mémoire vs Latence : En mode passage unique, Still réduit la taille du cache conservé, mais n'élimine pas la latence initiale du prefill de contexte complet.
• Exigences de déploiement : Chaque point de contrôle (checkpoint) du modèle de base nécessite son propre compresseur entraîné, ajoutant une surcharge de paramètres et de données d'entraînement.