Résumé technique : VeriCache

Énoncé du problème

L'expansion rapide des longueurs de contexte des modèles de langage de grande taille (LLM), dépassant un million de jetons, a créé un goulot d'étranglement sévère dans le service d'inférence en raison de la taille du cache Key-Value (KV). Ce goulot d'étranglement se manifeste de deux manières :

1. Surcoût au sein d'une requête : Les étapes de décodage nécessitent la lecture de l'intégralité du cache KV depuis la mémoire haute bande passante (HBM) du GPU, créant un goulot d'étranglement de bande passante mémoire qui évolue linéairement avec la longueur du contexte. Les caches volumineux réduisent également la taille de lot pouvant tenir dans la mémoire du GPU.
2. Surcoût inter-requêtes : La réutilisation des caches KV précalculés pour les préfixes partagés (par exemple, les invites système) nécessite le transfert de grands volumes de données depuis le stockage ou à travers les réseaux, dominant souvent la latence des requêtes.

Pour remédier à cela, de nombreuses méthodes de compression de cache KV (abandon de jetons et quantification) ont été proposées. Cependant, ces méthodes sont intrinsèquement avec perte. Bien qu'elles puissent préserver les métriques au niveau du jeton (par exemple, la perplexité, le score F1) pour des sorties courtes, elles introduisent un biais systématique dans la distribution du prochain jeton. À mesure que la génération progresse, ce biais s'accumule, provoquant une divergence significative de la sortie par rapport à la référence avec cache KV complet. Cela entraîne des « défaillances catastrophiques » dans les applications nécessitant une correction fonctionnelle stricte, telles que la génération de code (erreurs de syntaxe) et l'appel d'outils (arguments incorrects), rendant la compression traditionnelle inadaptée à ces tâches critiques.

Méthodologie : VeriCache

VeriCache est un cadre d'inférence conçu pour obtenir les avantages de débit de la compression de cache KV tout en garantissant des sorties sans perte identiques au décodage avec cache KV complet. Il réutilise les méthodes de compression avec perte comme une couche d'exécution spéculative plutôt que comme un mécanisme de service direct.

Algorithme central

VeriCache fonctionne selon une boucle de proposition puis de vérification :

1. Proposition : Le modèle génère une séquence de jetons candidats ($x$) en utilisant le cache KV compressé ($KV_{comp}$). Cette étape est rapide et économe en mémoire.
2. Vérification : Le système effectue un seul passage avant en utilisant le cache KV complet ($KV_{full}$) pour vérifier les jetons proposés en parallèle.
3. Acceptation : Les jetons sont acceptés jusqu'au premier écart. Si tous les jetons proposés correspondent à la prédiction du cache KV complet, un jeton « bonus » supplémentaire est accepté. Le processus se répète à partir du dernier jeton accepté.

Innovations clés du système

Pour empêcher le surcoût de vérification d'annuler les gains de débit de la compression, VeriCache introduit deux conceptions critiques au niveau du système :

1. Échelonnement inter-ressources (P1)
Le décodage spéculatif traditionnel fonctionne souvent en pas-à-pas (toutes les propositions, puis toutes les vérifications), provoquant des conflits de ressources. VeriCache exploite le fait que la proposition et la vérification ont des goulots d'étranglement de ressources complémentaires :

• La proposition est limitée par la bande passante HBM du GPU (lecture du KV compressé et des poids).
• La vérification est limitée par la bande passante d'interconnexion (chargement du KV complet depuis le CPU/stockage) et par le calcul.
• Mécanisme : L'ordonnanceur d'exécution échelonne les requêtes de sorte que, tandis que certaines requêtes effectuent des propositions (utilisant la HBM), d'autres effectuent des vérifications (chargeant le KV complet via PCIe/Réseau). Cela permet au système de superposer le transfert de données au calcul, maintenant à la fois l'interconnexion et la HBM du GPU utilisées sans mise en attente.

2. Période de vérification étendue via des taux d'acceptation élevés (P2)
Contrairement au décodage spéculatif traditionnel qui utilise un modèle plus petit et différent comme proposeur (entraînant une divergence rapide de la distribution et de courtes longueurs d'acceptation), VeriCache utilise le même modèle cible avec un KV compressé.

• Parce que les poids du modèle et les motifs d'attention dominants sont préservés, le proposeur KV compressé maintient un taux d'acceptation élevé même pour de longues longueurs de proposition (par exemple, 25 à 40 jetons par tour contre 2 à 3 pour les proposeurs de petits modèles).
• Ce taux d'acceptation élevé amortit le coût de la vérification coûteuse avec KV complet, permettant au système de vérifier moins fréquemment tout en maintenant la correction.

Support architectural

VeriCache prend en charge deux scénarios de déploiement principaux :

• Décodage à contexte long : Le KV compressé réside dans la HBM du GPU, tandis que le KV complet est stocké dans la mémoire du CPU. La vérification implique le chargement du KV complet du CPU vers le GPU via le lien PCIe.
• Mise en cache distante de préfixes : Le KV compressé est diffusé via un lien réseau lent vers un GPU distant pour la proposition. Le KV complet est chargé via un lien local rapide vers un GPU local pour la vérification. Cela découple le transfert de stockage lent du calcul du GPU distant.

Le cadre expose une interface de compresseur uniforme, lui permettant de s'intégrer à diverses méthodes existantes d'abandon de jetons et de quantification (par exemple, KVzip, KIVI, SnapKV) sans modifier la logique d'ordonnancement ou de vérification.

Contributions clés

1. Inférence sans perte avec compression : VeriCache est le premier cadre permettant une inférence LLM sans perte en utilisant des techniques de compression KV intrinsèquement avec perte, garantissant l'identité de la sortie avec le décodage KV complet.
2. Conception système pour le surcoût de vérification : Il introduit l'échelonnement inter-ressources et des périodes de vérification étendues pour masquer la latence du chargement des caches KV complets, résolvant la dégradation du débit généralement associée à la vérification spéculative.
3. Interface unifiée : Il fournit une interface générique qui prend en charge une large famille de méthodes de compression (à la fois l'abandon de jetons et la quantification), contrairement aux systèmes précédents qui intègrent de manière rigide des compresseurs spécifiques.
4. Support double scénario : Il traite à la fois le décodage à contexte long (goulot d'étranglement HBM) et la mise en cache distante de préfixes (goulot d'étranglement réseau/stockage).

Résultats expérimentaux

Évalué sur des modèles incluant Mistral-24B, Qwen-32B et Llama-70B sur diverses charges de travail (génération de code, appel d'outils, raisonnement mathématique) :

• Débit : VeriCache atteint jusqu'à 4 fois plus de débit que l'inférence KV complète dans le décodage à contexte long et jusqu'à 2 fois dans la mise en cache distante de préfixes.
• Correction : Il produit des sorties identiques à l'inférence KV complète (sous décodage glouton), tandis que les références avec perte subissent des baisses significatives de précision fonctionnelle (par exemple, la validité syntaxique du code chute à près de zéro avec une compression 4x dans les références).
• Compromis Qualité-Débit : Alors que les références avec perte imposent un compromis où une compression plus élevée entraîne une qualité inférieure, VeriCache maintient une qualité totale tout en opérant aux niveaux de débit de l'inférence compressée.
• Composition : VeriCache peut être composé avec le décodage spéculatif traditionnel (par exemple, EAGLE), atteignant jusqu'à 4,35 fois l'accélération idéale en s'attaquant à des goulots d'étranglement orthogonaux (taille de lot via compression, vitesse de jeton via proposition de petit modèle).

Importance

L'article soutient que la dichotomie actuelle — choisir entre une compression avec perte à haut débit (risquant une défaillance fonctionnelle) ou une inférence KV complète à faible débit — est inutile. VeriCache démontre que la compression ne devrait pas remplacer le calcul exact mais plutôt l'accélérer. En tirant parti des taux d'acceptation élevés de la proposition compressée par le même modèle et d'un échelonnement des ressources sophistiqué, VeriCache permet le déploiement de LLM à contexte long dans des applications critiques (codage, flux de travail agentiques) sans sacrifier la correction fonctionnelle requise pour ces tâches.