Zipage: Maintain High Request Concurrency for LLM Reasoning through Compressed PagedAttention

Each language version is independently generated for its own context, not a direct translation.

🧠 Le Problème : Le "Téléphone Arabe" qui s'essouffle

Imaginez que vous demandez à un génie (une Intelligence Artificielle) de résoudre un problème de mathématiques très complexe. Pour y arriver, le génie doit réfléchir longuement, étape par étape. À chaque étape de sa réflexion, il doit se souvenir de tout ce qu'il a pensé précédemment pour ne pas perdre le fil.

Dans le monde des ordinateurs, cette "mémoire de travail" s'appelle le KV Cache.

Le problème actuel :
Plus la réflexion est longue, plus le génie a besoin de mémoire.

Si vous avez 100 personnes qui posent des questions en même temps, l'ordinateur doit garder la mémoire de travail de 100 génies en même temps.
Bientôt, la mémoire de l'ordinateur (la RAM) est pleine. C'est comme essayer de ranger 100 valises géantes dans un petit placard.
Résultat : L'ordinateur doit soit ralentir énormément, soit refuser de répondre à de nouvelles personnes. C'est le goulot d'étranglement.

💡 La Solution : Zipage et le "Compresseur Magique"

Les chercheurs ont créé Zipage (un nom qui rappelle "Zip", comme pour compresser un fichier). Leur idée est brillante : au lieu de garder tous les souvenirs de la réflexion, on ne garde que les plus importants.

1. L'Analogie du "Triage des Souvenirs"

Imaginez que vous écrivez un journal intime.

L'ancienne méthode (Full KV) : Vous collez chaque page de votre journal dans un classeur. Si vous écrivez 100 pages, votre classeur devient énorme et lourd.
La méthode Zipage : Vous avez un classeur de taille fixe. À chaque fois que vous écrivez une nouvelle page, vous regardez les anciennes.
- Si une vieille page contient une information cruciale (ex: "La réponse est 42"), vous la gardez.
- Si une vieille page est juste du blabla répétitif (ex: "Ensuite, j'ai pensé à..."), vous la jetez ou vous la résumez en une seule phrase.
- Vous gardez toujours votre classeur à une taille raisonnable, peu importe combien de temps vous écrivez.

C'est ce qu'on appelle la compression de cache. Zipage le fait intelligemment, mot par mot, pour ne jamais perdre l'essentiel.

2. Le "Triage en Cours de Route" (Asynchrone)

Avant, pour trier les souvenirs, il fallait arrêter l'écriture, faire le tri, puis reprendre. C'était lent.
Zipage fait le tri pendant que le génie continue de réfléchir.

Imaginez un chef cuisinier (le génie) qui prépare un plat. Pendant qu'il coupe les légumes, un assistant (le compresseur) nettoie la table et jette les épluchures inutiles.
Le cuisinier ne s'arrête jamais. Tout le monde travaille en même temps. C'est ce qu'on appelle le décodage et la compression asynchrones.

🚦 La Gestion du Trafic : Le "Rendez-vous Intelligent"

Gérer 1000 personnes qui attendent en même temps est un cauchemar logistique.

L'ancienne méthode (vLLM) : Si le placard est plein, elle arrête tout le monde et dit : "Attendez que quelqu'un finisse pour entrer". C'est lent.
La méthode Zipage (Planification Hybride) :
- Elle dit : "Si votre histoire est courte, entrez tout de suite !"
- "Si votre histoire est très longue, on vous donne une place temporaire, et si le placard est trop plein, on vous demande de faire un pas en arrière (préemption) pour laisser entrer quelqu'un d'autre, mais on vous rappelle dès qu'une place se libère."
- Elle utilise aussi un système de "copie de clé" : Si 50 personnes commencent leur histoire par la même phrase ("Il était une fois..."), Zipage ne stocke cette phrase qu'une seule fois et la partage avec tout le monde. C'est l'encodage de préfixe partagé.

🏆 Les Résultats : Plus rapide, presque aussi intelligent

Les chercheurs ont testé Zipage sur des tâches de mathématiques et de code (où la réflexion est longue).

Vitesse : Zipage est plus de 2 fois plus rapide que les systèmes actuels. Il peut gérer beaucoup plus de demandes en même temps.
Intelligence : En gardant les souvenirs les plus importants, Zipage garde 95 % de la qualité de réponse d'un système qui garde tout (ce qui est énorme).
L'analogie finale :
- L'ancien système est comme un camion de déménagement qui s'arrête à chaque fois qu'il doit faire demi-tour pour vider le chargement.
- Zipage est comme un magicien qui fait disparaître les objets inutiles instantanément pendant que le camion roule à toute vitesse, sans jamais s'arrêter, tout en gardant les objets précieux bien en sécurité.

En résumé

Zipage est une nouvelle façon de gérer la mémoire des intelligences artificielles. En "compressant" intelligemment les souvenirs inutiles pendant que l'IA réfléchit, et en organisant mieux les files d'attente, il permet de faire tourner des IA beaucoup plus vite et pour beaucoup plus de personnes, sans perdre en qualité de réponse. C'est une révolution pour rendre les IA plus réactives et moins coûteuses à faire tourner.

Each language version is independently generated for its own context, not a direct translation.

Titre : Zipage : Maintien d'une haute concurrence de requêtes pour le raisonnement des LLM via une PagedAttention compressée

1. Le Problème : Le Goulot d'Étranglement Mémoire dans le Raisonnement LLM

Avec l'avènement des modèles de langage (LLM) capables de raisonnement complexe (mathématiques, code), la phase de génération nécessite des séquences de sortie extrêmement longues.

Le défi : La mémoire nécessaire pour stocker le cache KV (Key-Value) augmente linéairement avec la longueur de la séquence. Dans les scénarios de haute concurrence (traitement de nombreuses requêtes simultanées), la mémoire GPU devient le facteur limitant principal, bien avant la puissance de calcul.
Limites des solutions existantes :
- Les méthodes d'éviction de cache KV (comme SnapKV, PyramidKV) réduisent la mémoire mais sont souvent incompatibles avec les techniques modernes de moteur d'inférence comme le continuous batching (regroupement continu) ou la mise en cache des préfixes (prefix caching).
- Les méthodes basées sur l'éviction par blocs (granularité grossière) risquent de perdre des informations critiques, dégradant la qualité du raisonnement.
- Les approches existantes ne parviennent pas à concilier une forte concurrence, une faible latence et une préservation de la précision du modèle.

2. Méthodologie : Compressed PagedAttention et Zipage

Les auteurs proposent une nouvelle approche appelée Compressed PagedAttention, qui combine la gestion de mémoire par pages (PagedAttention, utilisée par vLLM) avec une éviction fine au niveau des tokens. Sur cette base, ils ont développé le moteur d'inférence Zipage.

A. Compressed PagedAttention

Principe : Chaque requête se voit attribuer un nombre maximal de blocs de mémoire ( $N_{max}$ ). Une fois ce seuil atteint, une opération de compression est déclenchée.
Éviction Token par Token : Contrairement aux méthodes par blocs, Zipage évalue l'importance de chaque token (via des scores d'attention) et évictue uniquement les tokens les moins pertinents, tout en conservant les plus importants.
Fenêtre d'observation : Les derniers $w$ tokens (fenêtre d'observation) sont toujours conservés pour garantir la cohérence immédiate.
Réorganisation : Les tokens conservés sont relocalisés dans les premiers $N_{max}-1$ blocs, libérant les blocs excédentaires pour d'autres requêtes.

B. Stratégies de Planification Hybride (Hybrid Scheduling)
Pour gérer efficacement les ressources sans préemption excessive :

Allocation de slots de requêtes : Seules les premières $M$ requêtes en cours d'exécution reçoivent des slots de mémoire dédiés à la compression.
Gestion des requêtes courtes : Les requêtes ne dépassant pas $N_{max}$ blocs peuvent décoder sans slots de compression, évitant ainsi le blocage.
Préemption intelligente : Si des blocs manquent, le système préempte prioritairement les requêtes non compressées (sans slots alloués) plutôt que celles en cours de compression, minimisant ainsi les interruptions coûteuses.

C. Mise en Cache des Préfixes Partagés (Shared Prefix Cache)
Pour éviter que la compression ne brise la structure des préfixes partagés (essentielle pour l'efficacité) :

La compression ne réorganise pas les blocs existants mais les redirige vers un ensemble de blocs cibles nouvellement alloués.
Cela préserve l'intégrité des blocs partagés entre plusieurs requêtes tout en permettant la libération de la mémoire excédentaire.

D. Décodage et Compression Asynchrones

Problème : La compression est coûteuse en calcul et peut bloquer le décodage si exécutée séquentiellement.
Solution : Zipage exécute la compression de manière asynchrone par rapport au décodage. Les requêtes prêtes à décoder continuent sans attendre la fin de la compression des autres, maximisant l'utilisation du GPU.

E. Optimisations Algorithmiques (Appendices)

Lightning Redundancy Score : Une nouvelle métrique de redondance avec une complexité réduite de $O(N^2 \times b^2)$ à $O(N \times b^2)$ , accélérant considérablement le processus de compression sans perte de performance.
Score Global : Intégration de scores d'attention historiques pour mieux évaluer l'importance à long terme des tokens.

3. Résultats Expérimentaux

Les évaluations ont été menées sur des modèles de raisonnement (Qwen3, DeepSeek-R1) sur des tâches de mathématiques (AMC 23, AIME 24) et de code (LiveCodeBench).

Performance (Throughput) : Zipage atteint un accélération de plus de 2,1x par rapport aux moteurs Full KV (comme Nano-vLLM) sur des tâches de raisonnement mathématique.
Précision : Malgré la compression, Zipage maintient ~95% de la performance (mesurée par pass@1) d'un moteur utilisant un cache KV complet.
Comparaison :
- Sur AMC 23, Zipage dépasse vLLM et Nano-vLLM en TPS (Tokens Par Seconde) de plus de 2x.
- L'ablation montre que l'asynchronisme, la planification hybride et le cache de préfixe contribuent tous significativement à ces gains.
Efficacité GPU : Grâce à l'asynchronisme, la compression n'interrompt pas le flux de décodage, maintenant un taux d'utilisation GPU élevé même lors de la gestion de longues séquences.

4. Contributions Clés

Compressed PagedAttention : Une méthode novatrice combinant la gestion par pages et l'éviction fine de tokens, permettant une limite de mémoire fixe par requête sans sacrifier la précision.
Moteur Zipage : La première implémentation d'un moteur d'inférence industriel intégrant nativement ces mécanismes, compatible avec le continuous batching et le prefix caching.
Optimisations Système : Introduction de la compression asynchrone et d'une nouvelle métrique de redondance ("Lightning") pour surmonter les goulots d'étranglement de calcul.
Validation à Grande Échelle : Démonstration que l'on peut servir des modèles de raisonnement complexes avec une haute concurrence sans nécessiter des quantités de mémoire prohibitives.

5. Signification et Impact

Ce travail adresse un problème critique pour le déploiement industriel des LLM de nouvelle génération (capables de raisonnement). En levant la contrainte de mémoire liée à la longueur des séquences, Zipage rend économiquement viable l'exécution de modèles de raisonnement complexes sur des infrastructures existantes, permettant de servir un nombre beaucoup plus élevé d'utilisateurs simultanés avec une latence réduite et une qualité de réponse préservée. Cela ouvre la voie à des applications LLM plus réactives et accessibles pour des tâches complexes comme la résolution de problèmes mathématiques ou le développement de code.