💬 NLP

CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection

CompactAttention accélère le préremplissage par blocs dans les grands modèles de langage à contexte étendu en introduisant un mécanisme de sélection de blocs KV d'union qui convertit les masques 2D parcimonieux par blocs en tables de blocs KV par groupe efficaces et conscientes du GQA, permettant ainsi un accès mémoire sur place sans compactage explicite tout en maintenant une précision quasi dense et en obtenant un gain de vitesse allant jusqu'à 2,72×.

Auteurs originaux : Jiwon Song, Dongwon Jo, Beomseok Kang, Jae-Joon Kim

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiwon Song, Dongwon Jo, Beomseok Kang, Jae-Joon Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un bibliothécaire (l'IA) essayant de répondre à une question en vous basant sur une immense bibliothèque de livres (le contexte). Autrefois, si vous possédiez une bibliothèque gigantesque, vous deviez lire chaque livre individuellement pour trouver la bonne réponse, ce qui prenait une éternité. Pour accélérer ce processus, les chercheurs ont inventé un système de « préremplissage par blocs » (chunked prefill) : au lieu de lire toute la bibliothèque d'un coup, vous la lisez par petits lots (blocs), en ajoutant des notes à un bloc-notes (le cache KV) au fur et à mesure.

Cependant, un nouveau problème est apparu : Comment trouver rapidement les bonnes pages de votre bloc-notes sans tout relire à chaque fois que vous recevez un nouveau lot de questions ?

Ce papier présente CompactAttention, une nouvelle méthode pour résoudre ce problème. Voici comment cela fonctionne, en utilisant des analogies simples :

Le Problème des Anciennes Méthodes

Le papier identifie deux principales approches que les gens ont tentées pour résoudre ce problème, et explique pourquoi elles ont échoué :

L'Approche « Noyau Épars » (Le Scanner Inefficace) :
- L'Idée : Imaginez que vous ayez une carte de la bibliothèque avec des points rouges marquant uniquement les livres importants. Vous essayez de sauter les espaces blancs et de ne regarder que les points rouges.
- L'Échec : Lorsque vous lisez une bibliothèque énorme (contexte long) mais que vous ne posez qu'une minuscule question (petit bloc), cette méthode devient lente. C'est comme avoir un scanner excellent pour balayer un mur entier de texte, mais lorsque vous n'avez qu'une seule phrase, le scanner prend trop de temps pour se configurer et se calibrer. La surcharge liée au fait de « sauter » les espaces blancs le rend en réalité plus lent que de tout lire.
L'Approche « Échantillonnage des Requêtes » (Le Bibliothécaire Paresseux) :
- L'Idée : Au lieu de vérifier chaque question, vous en sélectionnez quelques-unes au hasard dans votre lot, vous trouvez les livres importants pour celles-ci, et vous supposez que ces livres sont importants pour tout le monde.
- L'Échec : C'est risqué. Si vous choisissez les mauvaises quelques questions, vous pourriez manquer un livre crucial dont seule une question spécifique avait besoin. De plus, une fois ces livres choisis, vous devez physiquement les transporter des étagères vers une table spéciale avant de pouvoir les lire. Ce « transport » (copie des données) prend beaucoup de temps et d'énergie.

La Solution : CompactAttention

CompactAttention change la donne en séparant le trouvé des livres de leur lecture.

Étape 1 : La Stratégie « Union » (Regroupement de la Recherche)

Au lieu d'essayer d'exécuter une « liste de sauts » complexe (noyau épars) ou de deviner en se basant sur quelques questions, CompactAttention utilise une astuce de regroupement intelligente :

Imaginez que vous avez une équipe de détectives (têtes de requête) travaillant sur une affaire. Chaque détective a sa propre liste de « suspects » (blocs KV) qu'il juge importants.
Au lieu de laisser chaque détective travailler seul, CompactAttention dit : « Regroupons tous les suspects de toute l'équipe en une seule liste maîtresse. »
Cela se fait en deux étapes :
1. Union de Blocs Q : Elle combine les listes pour toutes les questions du lot actuel.
2. Union Intra-Groupe : Elle combine les listes pour les détectives qui travaillent ensemble.
Le Résultat : Vous obtenez une seule « Liste Maîtresse » minimale de suspects qui couvre les besoins de tout le monde. Aucun livre important n'est laissé pour compte car si un seul détective en avait besoin, il figure sur la liste.

Étape 2 : L'Exécution « Zéro Copie » (Lecture sur Place)

C'est la partie magique.

Ancienne Méthode : Une fois que vous avez votre Liste Maîtresse, vous devez physiquement déplacer tous ces livres des étagères vers une table spéciale pour pouvoir les lire rapidement. Ce « déplacement » prend du temps.
Méthode CompactAttention : Vous ne déplacez pas les livres du tout. Vous remettez simplement au bibliothécaire une carte (métadonnées) indiquant : « Allez à l'étagère A, rangée 3, livre 5 ; puis étagère B, rangée 1, livre 2. »
Le bibliothécaire (le noyau informatique) va directement à ces endroits sur les étagères et les lit. Cela s'appelle l'« Attention Paginée Zéro Copie ». Cela économise tout le temps et l'énergie consacrés au déplacement des données.

Pourquoi C'est Important

Le papier a testé cela sur un modèle d'IA massif (LLaMA-3.1-8B) avec un contexte de 128 000 mots (un document très long).

Précision : Il était aussi intelligent que la lecture de toute la bibliothèque (Attention Dense). Il ne manquait aucun détail crucial.
Vitesse : Il était jusqu'à 2,72 fois plus rapide que la méthode standard.

L'Essentiel

Considérez CompactAttention comme un bibliothécaire intelligent qui arrête d'essayer de réorganiser la bibliothèque et utilise simplement une carte d'index parfaite et combinée.

En réalisant que la « recherche » (trouver les blocs importants) et l'« exécution » (les lire) devraient être séparées, et en utilisant une astuce de « regroupement » pour s'assurer que rien n'est manqué, ils ont réussi à rendre le traitement de documents longs par l'IA considérablement plus rapide sans perdre aucune intelligence. Ils ont prouvé que le goulot d'étranglement n'était pas seulement quels livres choisir, mais comment vous vous y prenez pour les ramasser.

Résumé Technique : CompactAttention

Énoncé du Problème
À mesure que les modèles de langage de grande taille (LLM) évoluent pour prendre en charge des fenêtres de contexte de centaines de milliers à des millions de tokens, le traitement de longues séquences via une seule passe de préremplissage « en un coup » est devenu peu pratique en raison des coûts de calcul quadratiques et du risque de bloquer les demandes de décodage dans les systèmes de service en ligne. Par conséquent, le préremplissage par blocs (chunked prefill) — le traitement des entrées séquentiellement par blocs de taille fixe tout en accordant une attention aux caches Key-Value (KV) accumulés — est devenu la stratégie de service standard dans des frameworks tels que vLLM et SGLang.

Cependant, les méthodes d'accélération existantes rencontrent des limitations significatives dans ce régime :

Inefficacité de l'Attention Bloc-Sparse : Les méthodes bloc-sparse traditionnelles (par exemple, XAttention, SeerAttention) reposent sur des noyaux épars qui nécessitent de longues requêtes pour amortir la surcharge d'accès mémoire irrégulier et d'interprétation de masques. Dans le préremplissage par blocs, la longueur de la requête est limitée par la taille du bloc ( $Q \ll KV$ ), ce qui fait que ces noyaux perdent en parallélisme et en efficacité, échouant souvent à surpasser l'attention dense.
Surcharge de Recherche de Motifs : Les méthodes éparces nécessitent de trouver des motifs éparces dépendants de l'entrée. Dans le préremplissage par blocs, cette recherche doit être répétée sur le cache KV accumulé grandissant pour chaque bloc, rendant la surcharge de recherche cumulative un goulot d'étranglement critique.
Limitations de la Sélection Directe KV : Des méthodes comme QUOKA évitent les noyaux éparces en sélectionnant un sous-ensemble de tokens KV basé sur un ensemble sous-échantillonné de requêtes et en effectuant une attention dense. Cependant, cette approche souffre de deux problèmes :
- Lacunes de Couverture : Les entrées KV spécifiques à une requête, importantes pour des requêtes non échantillonnées, peuvent être manquées, entraînant une dégradation de la précision sur des tâches nécessitant un accès à l'information distribué.
- Surcharge de Copie : La sélection au niveau du token nécessite un rassemblement et une copie explicites des entrées KV dans un tampon compact avant l'exécution de l'attention, introduisant une surcharge qui évolue avec la longueur du contexte et la taille du lot.

Méthodologie : CompactAttention
Les auteurs proposent CompactAttention, un mécanisme qui découple la sélection de blocs KV au niveau du bloc de l'exécution de l'attention. Au lieu d'utiliser des masques bloc-sparse 2D comme plans d'exécution directs pour des noyaux éparces, CompactAttention les traite comme des signaux de sélection KV pour construire des tables de blocs KV par groupe sensibles au GQA.

La méthode opère en deux étapes :

Étape de Sélection (Construction de la Table de Blocs KV Union) :
- Le système accepte un masque bloc-sparse 2D par tête généré par n'importe quelle méthode de recherche de motifs légère (par exemple, SeerAttention ou FlashPrefill).
- Il applique une union de blocs Q à travers les blocs de requête au sein du bloc actuel. Cela est nécessaire car l'attention paginée dense consomme une seule liste de blocs KV pour un groupe de blocs de requête exécutés ensemble, plutôt que des décisions individuelles pour chaque tuile $(Q\text{-bloc}, KV\text{-bloc})$ .
- Il applique une union intra-groupe à travers les têtes de requête qui partagent un groupe KV (par défaut, les groupes d'Attention à Requêtes Groupées - GQA).
- Le résultat est une table minimale de blocs KV par groupe ( $T_{b,g}$ ) qui préserve tous les blocs KV sélectionnés par les masques d'entrée originaux. Cette construction garantit la préservation de la couverture : tout bloc KV sélectionné par n'importe quel bloc de requête ou tête dans le groupe reste sélectionné.
Étape d'Exécution (Attention Pagée sans Copie) :
- Contrairement aux méthodes de sélection au niveau du token, CompactAttention opère à la granularité du bloc.
- Il utilise une disposition mémoire KV-tête-majeure $[B, H_{kv}, L, D]$ plutôt que la disposition standard séquence-majeure. Cela permet de traiter chaque triplet $(lot, tête\text{-}KV, bloc)$ comme une région mémoire contiguë.
- Les tables de blocs construites sont transmises comme métadonnées (spécifiquement kv_indptr et kv_indices) à un noyau standard d'attention paginée dense.
- Le noyau accède aux blocs KV sélectionnés in situ depuis le cache KV original sans copie explicite ni compactage dans un nouveau tampon.

Contributions Clés

Découplage de la Sélection et de l'Exécution : L'article introduit une conception qui sépare la logique de quels blocs KV sélectionner de comment ils sont exécutés, permettant la réutilisation de méthodes légères de recherche de motifs éparces tout en évitant les inefficacités des noyaux éparces.
Construction par Union de Blocs : L'utilisation novatrice des unions de blocs Q et intra-groupe pour convertir des masques éparces 2D en tables de blocs exécutables, sensibles au GQA, qui sont minimales tout en préservant la couverture.
Exécution Pagée sans Copie : En tirant parti d'une disposition KV-tête-majeure et de métadonnées d'attention paginée, la méthode élimine la surcharge de copie KV explicite inhérente aux méthodes de sélection au niveau du token comme QUOKA.

Résultats Expérimentaux
Évalué sur LLaMA-3.1-8B-Instruct et Qwen3-30B-A3B-Instruct-2507 sous préremplissage par blocs :

Accélération : Sur des GPU H200 avec une longueur de contexte de 128K, CompactAttention atteint jusqu'à 2,72× d'accélération de l'attention et 1,96× d'accélération de bout en bout par rapport à la référence d'attention dense. Cela surpasse nettement les références bloc-sparse (qui sous-performent souvent l'attention dense dans le régime $Q \ll KV$ ) et QUOKA (limité par la surcharge de copie).
Précision : CompactAttention maintient une précision proche de l'attention dense sur les benchmarks RULER et LongBench V2. Il surpasse QUOKA, en particulier sur des tâches nécessitant un accès à l'information distribué (par exemple, Multi-key NIAH), où le sous-échantillonnage des requêtes de QUOKA entraîne une dégradation de la précision.
Efficacité : Les études d'ablation confirment que la stratégie d'exécution paginée sans copie est plus efficace que l'exécution par noyau sparse et le compactage explicite de KV, même en tenant compte de la surcharge de construction des métadonnées.

Signification
L'article affirme que le goulot d'étranglement principal de l'attention sparse dans le préremplissage par blocs n'est pas seulement quels blocs KV sélectionner, mais comment les blocs sélectionnés sont exécutés. En rendant la sélection sparse compatible avec des noyaux d'attention paginée dense efficaces grâce à la construction par union de blocs et à l'exécution sans copie, CompactAttention offre une voie pratique vers un service LLM à contexte long plus rapide. Il adresse les inefficacités spécifiques du régime $Q \ll KV$ qui ont entravé l'adoption des méthodes d'attention sparse existantes dans les systèmes de préremplissage par blocs.