🤖 AI

Parallel Context Compaction for Long-Horizon LLM Agent Serving

Ce papier introduit la compaction de contexte parallèle, une méthode qui remplace la résumé séquentiel avec perte et imprévisible par une approche parallélisée afin de fournir un contrôle granulaire sur le volume du résumé tout en réduisant considérablement le temps d'exécution et en améliorant le débit pour les agents LLM à horizon long.

Auteurs originaux : Musa Cim, Burak Topcu, Chita Das, Mahmut Taylan Kandemir

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Musa Cim, Burak Topcu, Chita Das, Mahmut Taylan Kandemir

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective brillant (l'Agent IA) résolvant un mystère massif et multipartite. Chaque fois que vous posez une question ou obtenez un indice, vous l'écrivez dans un carnet géant. Au fur et à mesure que l'enquête avance, le carnet devient de plus en plus épais.

Finalement, le carnet devient si énorme que :

Il est trop lourd à porter : Le détective se fatigue simplement à lire le début du livre avant d'arriver aux nouveaux indices (ceci est appelé « pourriture du contexte »).
Il ne rentre pas dans la mallette : Le carnet est plus grand que la limite de taille de la mallette que le détective a le droit d'utiliser (la « fenêtre de contexte »).

Pour résoudre ce problème, le détective s'arrête généralement et demande à un scribe (le LLM) de résumer tout le carnet en une petite fiche triche d'une seule page. Mais le document que vous avez fourni souligne trois gros problèmes avec cette méthode traditionnelle, puis propose une nouvelle solution ingénieuse appelée Compaction Parallèle.

Voici la décomposition en termes simples :

Le Problème : Le Résumé « Taille Unique »

Les auteurs ont constaté que la méthode traditionnelle de résumé est défaillante de trois manières spécifiques :

Le « Boîte Noire » de la Longueur : Vous pouvez dire au scribe : « Fais ce résumé super détaillé ! » ou « Fais-le super court ! » Mais le scribe vous ignore. Peu importe la longueur du carnet original (2 pages ou 200 pages), le scribe écrit toujours un résumé d'à peu près la même taille (environ une demi-page). Il a une « règle mentale » issue de son entraînement qui dit : « Un résumé fait toujours cette longueur », et il ne la change pas.
Le Goulot d'Étranglement du « Temps d'Attente » : Parce que le scribe doit lire tout le carnet géant avant d'écrire un seul mot, le détective doit rester immobile et attendre. Dans une enquête rapide, ce temps d'attente s'accumule en minutes, voire en heures de productivité perdue.
L'Instabilité du « Lancer de Dés » : Si vous demandez au scribe de résumer le même carnet deux fois, il peut vous donner deux résumés complètement différents. Une fois, il conserve l'indice sur la voiture rouge ; la fois suivante, il l'oublie et conserve l'indice sur le chapeau bleu. Cela rend la performance du détective imprévisible.

La Solution : La « Chaîne de Montage » (Compaction Parallèle)

Au lieu de demander à un seul scribe de lire tout le livre et d'écrire un seul résumé, les auteurs suggèrent d'embaucher une équipe de scribes et de diviser le travail.

Imaginez le carnet géant comme un long train.

Ancienne Méthode : Une personne parcourt toute la longueur du train, lit chaque wagon et écrit un seul rapport.
Nouvelle Méthode (Compaction Parallèle) : Vous coupez le train en wagons plus petits et de taille égale (blocs). Vous donnez un wagon au Scribe A, le suivant au Scribe B, et ainsi de suite.

Voici le tour de force ingénieux :
Lorsque le Scribe A résume son wagon, il a aussi la possibilité de voir les wagons précédents (l'historique) pour comprendre le contexte. Le Scribe B voit les wagons 1 et 2, le Scribe C voit les wagons 1, 2 et 3, et ainsi de suite. Ils travaillent tous en même temps (en parallèle).

Pourquoi Cela Fonctionne Mieux

Le document affirme que cette approche de « Chaîne de Montage » résout les trois problèmes ci-dessus :

Contrôle Total (Le Bouton de Volume) : Puisque vous décidez du nombre de wagons (blocs) dans lesquels couper le train, vous contrôlez la taille finale. Si vous voulez un résumé énorme, vous utilisez des blocs minuscules (plus de scribes, plus de détails). Si vous voulez un résumé minuscule, vous utilisez des blocs grands (moins de scribes, moins de détails). Vous n'avez pas à supplier l'IA de suivre les instructions ; vous changez simplement le nombre de travailleurs.
Vitesse (Le Embouteillage) : Parce que tous les scribes travaillent en même temps, le temps total pour terminer le résumé est beaucoup plus rapide. C'est comme avoir 10 personnes laver une voiture en même temps au lieu d'une seule personne le faire seule.
Stabilité (La Recette Cohérente) : Parce que chaque scribe n'est responsable que d'un petit morceau concentré de l'histoire, ils sont moins susceptibles de se confondre ou d'oublier des choses. Le résumé devient beaucoup plus cohérent, d'exécution en exécution.

La Conclusion

Le document montre que pour des tâches IA longues et complexes, vous ne devriez pas compter sur une seule IA pour résumer un historique massif. Au lieu de cela, vous devriez découper cet historique en petits morceaux, les résumer tous en même temps en utilisant une disposition intelligente qui maintient le contexte connecté, et assembler les résultats.

Cela donne à l'opérateur (l'humain responsable) un « bouton de volume » précis pour décider exactement quelles informations conserver, tout en rendant l'ensemble du processus plus rapide et plus fiable.

Résumé technique : Compaction de contexte parallèle pour la mise en service d'agents LLM à horizon long

1. Énoncé du problème

Les agents de modèles de langage (LLM) à horizon long opèrent dans des sessions où les historiques de conversation croissent continuellement, finissant par dépasser les fenêtres de contexte des modèles. Bien que la compaction de contexte via la summarisation par LLM soit le remède standard, les auteurs identifient trois limitations critiques de l'approche séquentielle synchrone actuelle :

Sortie perteuse et imprévisible : La summarisation est intrinsèquement perteuse. Crucialement, le volume de la summary est largement invariant à la longueur de l'entrée et aux instructions de prompt. Alors que le contexte d'entrée passe de 2k à 96k jetons, le modèle auto-borne sa sortie, ne conservant qu'une infime fraction (passant d'environ 48 % à environ 3 % des jetons) de l'information originale.
Instabilité d'exécution en exécution : Même avec des entrées et des prompts identiques, la longueur et le contenu sémantique des résumés fluctuent considérablement d'une exécution à l'autre. Cette instabilité rend le comportement de l'agent non reproductible et complique la gestion du budget mémoire.
Goulots d'étranglement de latence : La compaction séquentielle nécessite un appel bloquant qui fige l'inférence de l'agent. Dans les flux à horizon long, cette surcharge peut consommer jusqu'à 62 % du temps total de bout en bout (E2E) réel, particulièrement lorsque la compaction se déclenche fréquemment à des seuils plus bas.

De plus, l'article note que l'ingénierie de prompts (par exemple, demander des résumés « concis » plutôt que « détaillés ») échoue à fournir un contrôle fin sur le volume de la summary, car les modèles tendent à revenir vers des priors internalisés sur la longueur des résumés, dérivés des données d'entraînement.

2. Méthodologie

Configuration expérimentale

Les auteurs ont évalué leur approche sur quatre architectures de base couvrant différentes échelles et architectures :

Llama-3.1-8B (Petit, Dense)
gpt-oss-20B (Moyen, MoE, Raisonnement)
Llama-3.3-70B (Grand, Dense)
gpt-oss-120B (Grand, MoE, Raisonnement)

L'évaluation a été menée sur deux benchmarks :

HotpotQA : Réponse à des questions multi-sauts sur des preuves accumulées.
LoCoMo : Dialogue multi-sessions en contexte long avec plusieurs questions-réponses par session.

Solution proposée : Compaction parallèle

L'article introduit la Compaction Parallèle, une conception basée sur des blocs qui remplace l'appel unique de summarisation bloquant par un traitement concurrent. Le flux de travail comprend trois phases :

Instantané et partitionnement : L'historique de conversation est copié et partitionné en $N$ blocs contigus de taille $B$ jetons.
Dispatch : Chaque bloc $k$ $k$ est traité par un worker séparé. Crucialement, le prompt pour le worker $k$ $k$ inclut l'historique complet de la conversation jusqu'au bloc $k$ , le bloc $k$ $k$ lui-même étant enveloppé dans un marqueur <TARGET_BLOCK>.
- Disposition Cible-à-la-fin consciente du préfixe : Cette conception garantit que chaque worker voit l'historique causal précédant son bloc cible (préservant le contexte inter-blocs) tandis que le bloc cible se trouve à la fin du prompt où l'attention est la plus forte. Cette disposition permet également la réutilisation du cache de préfixe entre les workers dans le serveur vLLM.
Fusion : Une fois tous les workers terminés, les $N$ résumés par bloc sont concaténés pour former l'historique compacté.

3. Contributions clés et caractérisation

Caractérisation de la compaction séquentielle

Les auteurs ont démontré empiriquement que la compaction séquentielle souffre de :

Invariance entrée/prompt : Les comptes de jetons de sortie restent presque plats (ne croissant que d'environ 3x) malgré une augmentation de 48x de la longueur d'entrée. Les instructions de prompt concernant la longueur ont un impact négligeable.
Instabilité : À mesure que la longueur du contexte augmente, le coefficient de variation (CV) de la longueur de sortie et la baisse de similarité cosinus (cohérence sémantique) augmentent, rendant les résultats imprévisibles.
Taille de bloc optimale : L'analyse a révélé que 4k jetons est la taille d'entrée la plus stable pour la summarisation, offrant le meilleur compromis entre rétention de contexte et cohérence de sortie.

Caractérisation de la compaction parallèle

La compaction parallèle adresse les limitations de la base de référence séquentielle grâce à :

Contrôle fin : L'opérateur obtient un contrôle direct sur le volume de la summary via la taille du bloc ( $B$ ). Des blocs plus petits entraînent plus de workers parallèles et un nombre total de jetons de sortie plus élevé, préservant davantage de contexte.
Sensibilité au prompt restaurée : Contrairement à la base de référence séquentielle, la compaction parallèle permet aux instructions de prompt (par exemple, « très détaillé ») de régler efficacement le volume de sortie au sein de chaque bloc, fournissant un mécanisme de contrôle à deux axes (taille du bloc + détail du prompt).
Améliorations du débit : En parallélisant la charge de travail et en exploitant la mise en cache des préfixes, le système atteint un débit de compaction plus élevé.

4. Résultats

Précision et rétention d'information

Gains de précision : Sur HotpotQA et LoCoMo, la réduction de la taille du bloc (augmentant le parallélisme) a conduit à une augmentation monotone de la précision des questions-réponses en aval. La taille de bloc de 16k (le moins de workers) a produit le moins de jetons et la précision la plus faible, tandis que des blocs plus petits (par exemple 2k) ont préservé davantage de contexte et amélioré la précision.
Préservation du contexte : La compaction parallèle permet au système de conserver un pourcentage significativement plus élevé du contexte original (jusqu'à environ 50 % avec des petits blocs et des prompts détaillés) par rapport à la base de référence séquentielle (~3 %).

Performance système (Temps réel et débit)

Accélération de bout en bout : La compaction parallèle a réduit le temps réel E2E dans la plupart des configurations. Par exemple, sur le modèle 120B avec HotpotQA, la compaction parallèle (blocs de 2k) a réalisé une accélération de 1,28x par rapport au séquentiel.
Débit : À volumes de décodage de compaction équivalents, la compaction parallèle a constamment surpassé la base de référence séquentielle. Par exemple, le modèle 70B a montré une amélioration de débit de 2,13x à des comptes de jetons équivalents.
Surcharge de préremplissage (Prefill) : L'article note que des tailles de bloc très grandes (par exemple 16k) peuvent souffrir d'une surcharge de préremplissage car la portion unique du prompt par worker est grande et non mise en cache, annulant certains gains de parallélisme. Des blocs plus petits (2k–4k) optimisent cet équilibre.

5. Signification et affirmations

L'article affirme que la Compaction Parallèle offre une solution pratique, agnostique de l'infrastructure, pour la mise en service d'agents à horizon long, sans nécessiter d'entraînement hors ligne, d'infrastructure de récupération ou d'accès en boîte blanche au modèle.

Prévisibilité : Elle transforme la compaction de contexte d'un processus imprévisible et perteux en un système réglable où les opérateurs peuvent contrôler précisément le compromis entre rétention de contexte et volume de summary via le nombre de blocs et l'ingénierie de prompts.
Efficacité : Elle atténue le goulot d'étranglement de latence de la compaction synchrone, permettant un débit plus élevé et des cycles d'inférence d'agents plus rapides.
Stabilité : En opérant sur des blocs plus petits et stables de 4k, elle réduit la variance d'exécution en exécution inhérente à la summarisation de contextes massifs, conduisant à un comportement d'agent plus reproductible.

Les auteurs concluent que le point de fonctionnement optimal n'est pas nécessairement la rétention maximale de contexte, mais l'ensemble « minimum suffisant » de jetons à fort signal requis pour la tâche, une cible que la compaction parallèle permet aux opérateurs d'atteindre avec précision.