Résumé Technique : Compression de Contexte de Bout en Bout à Grande Échelle

Problématique

L'inférence à contexte long dans les modèles de langage de grande taille (LLM) est de plus en plus contrainte par la mémoire et la latence en raison de la croissance linéaire du cache Clé-Valeur (KV) avec la longueur du contexte. Bien que les techniques récentes de compression du cache KV tentent d'atténuer cela en évincant des entrées du cache ou en entraînant des caches compacts, elles font face à des limitations significatives :

1. Compromis Qualité vs Efficacité : De nombreuses méthodes dégradent considérablement les performances du modèle ou nécessitent un entraînement spécifique au domaine qui ne se généralise pas.
2. Compatibilité avec les Moteurs d'Inférence : Les techniques qui évincent des entrées de manière non uniforme à travers les têtes d'attention ou les couches sont difficiles à intégrer aux moteurs d'inférence de production modernes (ex. vLLM, SGLang) qui supposent des longueurs de séquence partagées.
3. Surcoût de Pré-remplissage (Prefill) : Beaucoup d'approches nécessitent que le contexte complet soit pré-rempli avant la compression, ce qui annule les gains potentiels de latence, ou nécessitent un temps de calcul supplémentaire substantiel.
4. Limitations des Soft-Tokens : Les méthodes existantes de type encodeur-décodeur de « soft-tokens » reposent souvent sur un prétraitement hors ligne, échouent à préserver le comportement général du modèle de base, ou sont évaluées uniquement sur des tâches spécifiques à un domaine plutôt que sur des benchmarks de contexte long riches en informations.

La question centrale abordée est de savoir si un compresseur général, indépendant des tâches, peut être entraîné pour préserver les capacités originales d'un modèle tout en réduisant considérablement l'utilisation de la mémoire et le temps d'inférence.

Méthodologie

Les auteurs introduisent les Latent Context Language Models (LCLMs), une famille de compresseurs encodeur-décodeur entraînés de bout en bout. L'architecture centrale projette une séquence de tokens d'entrée $x_{1:T}$ en une séquence plus courte d'embeddings latents $z_{1:M}$ via un encodeur, qui sont ensuite projetés par un adaptateur et consommés par un décodeur à la place du contexte original.

Conception de l'Architecture

À travers une recherche d'architecture à grande échelle en partant de zéro, les auteurs ont identifié des choix de conception optimaux :

• Pooling : Le mean pooling (regroupement par moyenne) s'est avéré supérieur au pooling basé sur les tokens (EOS/CLS) et compétitif par rapport à la concaténation, particulièrement à des taux de compression élevés (16×).
• Granularité de l'Encodage : Une taille de fenêtre de l'encodeur ($W$) de 1024 tokens a été adoptée, permettant à l'encodeur d'être attentif à un contexte local plus large que la taille du bloc de compression ($N$) sans surcoût de mémoire prohibitif.
• Masquage d'Attention : Le masquage causal au sein de l'encodeur a systématiquement surpassé le masquage bidirectionnel.
• Adaptateur : Un adaptateur MLP léger (sans auto-attention) s'est révélé plus efficace et plus performant qu'un adaptateur basé sur l'attention pour projeter les latents de l'encodeur vers la dimension du décodeur.
• Initialisation : Initialiser l'encodeur à partir d'un modèle d'embedding pré-entraîné (Qwen3-Embedding-0.6B) plutôt qu'à partir d'un LLM standard a fourni de meilleures représentations initiales, bien que l'écart se soit réduit avec un entraînement intensif.

Recette d'Entraînement

Les auteurs ont développé une recette d'entraînement en plusieurs étapes pour éviter l'oubli catastrophique et assurer la stabilité :

1. Étape 0 (Warmup de l'Adaptateur) : Geler l'encodeur et le décodeur ; entraîner uniquement l'adaptateur.
2. Étape 1 (Entraînement de l'Encodeur) : Déverrouiller l'encodeur ; garder le décodeur gelé.
3. Étape 2 (Pré-entraînement Continu) : Déverrouiller le décodeur avec un faible taux d'apprentissage ; entraîner de bout en bout sur un mélange de prédiction du prochain token et de données de reconstruction.
4. Étape 3 (Fine-tuning Supervisé) : Entraîner sur des données SFT pour améliorer le suivi d'instructions et le raisonnement avec des entrées compressées.

Les données d'entraînement incluent un mélange soigneusement sélectionné de code, de texte, de raisonnement et de documents à contexte long. Crucialement, les données de pré-entraînement utilisent un format entrelacé où les segments compressés (enrobés de tokens spéciaux) alternent avec des segments non compressés, forçant le modèle à se conditionner sur le contexte latent à plusieurs positions plutôt qu'uniquement au début.

Intégration d'Agent

Les auteurs proposent un système agentique où l'agent LCLM reçoit l'intégralité du contexte compressé. L'agent peut invoquer sélectivement un outil EXPAND pour récupérer le texte original non compressé pour des segments spécifiques, permettant une stratégie de « survol et zoom » (skim-and-zoom) pour les tâches à long horizon.

Résultats Clés

La famille LCLM (spécifiquement un encodeur de 0.6B et un décodeur de 4B) a été évaluée à des taux de compression de 4×, 8× et 16× sur des benchmarks incluant RULER, LongBench, LongHealth et GSM8K.

• Frontière de Pareto : Les LCLMs établissent une nouvelle frontière de Pareto sur le compromis précision-efficacité. Ils obtiennent un Temps de Premier Token (TTFT) nettement plus rapide et une utilisation de la mémoire GPU de pointe plus faible par rapport aux bases de comparaison de compression du cache KV (ex. SnapKV, KVzip, Attention Matching), surtout à des taux de compression élevés.
• Préservation de la Précision : À une compression de 16×, les LCLMs maintiennent une précision élevée sur les benchmarks de contexte long (ex. ~65% sur RULER 16k contre ~93% pour le KV complet, surpassant nettement les bases qui tombent souvent sous les 20-40%).
• Efficacité de la Mémoire : Contrairement aux méthodes de cache KV où la mémoire augmente avec la longueur totale du contexte, l'utilisation de la mémoire des LCLMs plafonne aux contextes longs car l'encodeur traite des fenêtres de taille fixe. Cela permet aux LCLMs de gérer des contextes allant jusqu'à 1M de tokens sur un seul GPU H200, là où les bases s'épuisent en mémoire à 512K ou 1M de tokens.
• Performance Fine : Sur GSM8K (contextes courts et denses), les LCLMs atteignent la précision la plus élevée à travers tous les taux de compression, démontrant qu'ils ne sont pas limités au QA de contexte long mais peuvent compresser efficacement des entrées riches en informations.
• Performance de l'Agent : Le système agentique avec expansion adaptative améliore considérablement la précision de correspondance exacte de chaînes sur les tâches de type « aiguille dans une botte de foin » (needle-in-a-haystack), égalant souvent la performance du modèle non compressé tout en conservant l'efficacité du contexte compressé.

Signification et Revendications

L'article affirme que les LCLMs offrent une solution pratique et scalable pour l'inférence à contexte long, compatible avec les moteurs d'inférence de production standards. En déplaçant la charge de la compression vers un encodeur plus petit et parallélisable, les LCLMs découplent les coûts de mémoire et de latence de la longueur du contexte du processus de génération du décodeur.

Les auteurs soulignent que leur approche :

1. Préserve les Capacités Générales : Contra contrairement aux méthodes de soft-tokens précédentes qui dégradent les performances ou nécessitent un réglage spécifique à la tâche, les LCLMs maintiennent de solides performances sur les tâches générales, le raisonnement et le suivi d'instructions.
2. Permet une Récupération Adaptative : L'intégration avec des frameworks agentiques permet l'expansion dynamique du contexte pertinent, comblant l'écart entre la visibilité globale du corpus et la récupération d'informations fines.
3. Est Scalable : La méthode passe efficacement à des contextes d'un million de tokens sur du matériel courant (GPU H200), surmontant les goulots d'étranglement de la mémoire qui limitent actuellement le déploiement de systèmes LLM à long horizon.

Ce travail suggère que la compression apprise de bout en bout est une alternative viable à l'éviction heuristique du cache KV, fournissant un substrat robuste pour les futurs agents à long horizon dotés de mémoires de travail persistantes.