Résumé Technique : LongAttnComp

Problématique

Alors que les grands modèles de langage (LLM) sont de plus en plus déployés pour des applications réelles nécessitant le traitement d'entrées dépassant les 100 000 jetons, un goulot d'étranglement critique est apparu entre la longueur du contexte et l'efficacité de l'inférence. Bien que la compression de contexte offre une solution en filtrant ou en condensant l'entrée avant qu'elle n'atteigne le modèle cible, les méthodes existantes sans entraînement basées sur l'attention (telles que le Speculative Prefill) présentent des écarts de performance substantiels sur les tâches de contexte long exigeantes, particulièrement dans le raisonnement de code. De plus, les approches de fine-tuning antérieures comme AttnComp ont été étroitement limitées à la QA avec augmentation de recherche (RAG) sur des contextes courts (~12k jetons) et une notation au niveau du document, laissant leur potentiel en tant que compresseurs de contexte polyvalents non testé.

Les auteurs cadrent la performance des tâches de contexte long comme une décomposition de la récupération (localiser les preuves pertinentes pour la requête) et du raisonnement (inférer des réponses à partir de ces preuves). Ils identifient la récupération comme le principal goulot d'étranglement, arguant qu'une compression de contexte efficace est fondamentalement un problème de récupération nécessitant l'identification de jetons et de segments pertinents au sein d'entrées massives.

Méthodologie : LongAttnComp

LongAttnComp est un cadre de compression piloté par un modèle de brouillon (draft-model-driven) entraînable, adapté d'AttnComp. Il conserve le mécanisme central d'un squelette LLM gelé augmenté d'une couche de notation par attention croisée entraînable, mais introduit quatre adaptations architecturales clés et une recette de fine-tuning en deux étapes pour gérer l'inférence de contexte long.

Adaptations Architecturales

1. Découpage par jetons (Token-Level Chunking) : Contrairement à la notation par document d'AttnComp, LongAttnComp partitionne les entrées en blocs de jetons de taille fixe. Cela permet d'opérer sur des entrées du monde réel (par exemple, un document long unique ou des bases de code) dépourvues de frontières naturelles de documents, et traite la taille du bloc comme un hyperparamètre ajustable.
2. Sélection Top-p par budget de jetons : L'algorithme top-p original basé sur le seuil de score est modifié pour inclure un budget de jetons de contenu ($B$). La sélection s'arrête lorsque le score cumulé dépasse $p$ ou que les jetons conservés atteignent $B$. Cela fournit un contrôle prévisible sur la longueur de la compression, évitant la sous-rétention agressive observée dans les tâches de contexte long avec le seuil de score minimum original.
3. Réordonnancement positionnel : Les blocs de jetons sélectionnés sont restaurés dans leur ordre positionnel d'origine avant d'être transmis au modèle cible, préservant ainsi la cohérence du discours, ce qu'AttnComp original ne garantissait pas.
4. Analyseur de requête agnostique au format : Pour gérer des structures de prompts complexes sans modèles fixes (ex: Code-Debug), le système utilise un analyseur de requête. Les auteurs évaluent à la fois l'extraction précise d'intervalles (span extraction) et une stratégie "arbitraire" (allouant les $N$ derniers jetons comme requête), trouvant cette dernière robuste avec une dégradation minimale des performances.

Recette de Fine-Tuning en Deux Étapes

Les auteurs proposent une approche d'apprentissage par curriculum pour élargir la couverture des tâches :

• Étape 1 (Fondation) : Entraînement sur un ensemble de données à grande échelle (32k exemples) combinant SQuAD et HotpotQA. Cela établit une fondation de récupération générale utilisant des données de type NIAH (récupération de fait unique et récupération multi-étapes de base).
• Étape 2 (Extension) : Poursuite de l'entraînement à partir du checkpoint de l'Étape 1 sur un ensemble de données ciblant des schémas de récupération plus difficiles, incluant MuSiQue et 2WikiMultiHopQA, entrelacé avec une relecture des données de l'Étape 1 pour éviter l'oubli catastrophique. Cette étape teste spécifiquement l'impact de la décomposition en sous-questions (inclure explicitement les sous-questions fournies par le dataset dans la requête) par rapport à l'utilisation de la seule question multi-étapes.

Contributions Clés

1. Cadre LongAttnComp : Un cadre de compression modulaire et entraînable adapté pour l'inférence de contexte long, doté d'un découpage par jetons, d'un algorithme top-p par budget de jetons, d'un réordonnancement positionnel et d'un analyseur de requête agnostique au format.
2. Recette d'Entraînement en Deux Étapes : Une méthodologie qui étend la couverture des tâches d'un compresseur et renforce les capacités de raisonnement multi-étapes sans compromettre ses forces initiales de récupération.
3. Validation Empirique :
   • LongAttnComp égale ou dépasse la précision du contexte complet sur InfiniteBench Code-Debug.
   • Il surpasse substantiellement les baselines sans entraînement (ex: Speculative Prefill).
   • Il démontre une généralisation inter-familles, se transférant efficacement sur quatre modèles cibles de trois familles différentes (DeepSeek, MiniMax, GPT-OSS) sans réentraînement.
   • La recette en deux étapes réduit significativement l'écart de performance sur les tâches de raisonnement multi-documents (LongBench v2) tout en préservant la performance du raisonnement de code.

Résultats

• Raisonnement de Code (InfiniteBench Code-Debug) : Sur la cible DeepSeek-R1-0528, le compresseur de l'Étape 1 a atteint 75,38 % de précision, surpassant la baseline de contexte complet (74,37 %) et le Speculative Prefill sans entraînement (62,44 %). La variante de l'Étape 2 (subq) a atteint 76,90 %. Des tendances similaires ont été observées sur DeepSeek-V3.1, MiniMax-M2.5 et GPT-OSS-120B, où LongAttnComp a systématiquement surpassé le Speculative Prefill de 7 à 31 points.
• Raisonnement Multi-Documents (LongBench v2) : L'Étape 1 a sous-performé la baseline de contexte complet, reflétant les limites des données d'entraînement de type NIAH pour le raisonnement naturaliste. L'entraînement de l'Étape 2 a récupéré 7 à 12 points par rapport à l'Étape 1, dépassant le Speculative Prefill et se rapprochant à 1,4 point de la baseline de contexte complet tronquée à 100k.
• Benchmark RULER : LongAttnComp a récupéré la précision sur les sous-tâches souffrant d'effets de "perdu au milieu" (lost-in-the-middle, ex: recherche d'une aiguille unique) mais a montré les limitations attendues sur les tâches où les preuves sont distribuées sur de nombreuses positions (multi-valeurs/multi-requêtes), ce qui est cohérent avec la distribution des données d'entraînement.

Signification et Revendications

L'article affirme que la sensibilité aux tâches dans la compression reflète la composition des données d'entraînement plutôt que les limites architecturales. L'écart de performance observé à l'Étape 1 sur les tâches de raisonnement complexe n'était pas dû à l'incapacité du modèle à apprendre, mais plutôt au manque de schémas d'entraînement diversifiés et naturalistes. En introduisant l'Étape 2 avec des données multi-étapes et naturalistes, les auteurs montrent qu'une architecture d'attention croisée unique peut être étendue pour gérer des tâches complexes de raisonnement en contexte long.

Les auteurs soulignent que le compresseur agit comme une étape de prétraitement agnostique à la cible, capable de se transférer à travers des familles de modèles non liées sans réentraînement. Ils notent également que les hyperparamètres d'inférence (taille du bloc, mode de sélection) dépendent de la tâche, suggérant que le déploiement futur pourrait nécessiter des mécanismes adaptatifs pour des types de tâches inconnus. Enfin, l'article pose que la surcharge computationnelle de LongAttnComp est d'environ un tiers de celle du Speculative Prefill, car il n'utilise que les 13 premières couches du modèle de brouillon plutôt que le squelette complet.