🤖 machine learning

Irminsul: MLA-Native Position-Independent Caching for Agentic LLM Serving

Irminsul introduit un système de cache natif indépendant de la position pour les LLMs agentiques qui exploite la structure architecturale de l'attention latente multi-têtes pour permettre une mise en cache des paires clé-valeur adressée par le contenu, réalisant jusqu'à 83 % de récupération de tokens d'invite et 63 % d'économies d'énergie lors de la préremplissage en surmontant les problèmes d'invalidation de cache inhérents aux approches traditionnelles de correspondance de préfixes.

Auteurs originaux : Bole Ma, Jan Eitzinger, Harald Köstler

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bole Ma, Jan Eitzinger, Harald Köstler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous gérez une bibliothèque très animée et ultra-rapide où un bibliothécaire (l'IA) doit lire un énorme tas de documents pour répondre à une question. Pour être rapide, le bibliothécaire conserve une « triche » (un cache) des pages les plus récentes qu'il a lues afin de ne pas avoir à les relire depuis le début à chaque fois.

Le Problème : Le « Où » contre le « Quoi »

Dans l'ancienne méthode (appelée Mise en cache des préfixes), la triche du bibliothécaire était organisée strictement par emplacement.

« Page 1 : l'invite système. »
« Page 2 : le Document A. »
« Page 3 : le Document B. »

Si le bibliothécaire pose une nouvelle question et que l'ordre change légèrement — disons « La page 1 est toujours l'invite système, mais le Document A est maintenant sur la page 5 » — l'ancienne triche devient inutilisable. Le bibliothécaire pense : « Oh, la page 2 est différente, donc je dois jeter toute la triche et tout relire depuis le début. »

Dans le monde de l'IA agentique (l'IA qui utilise des outils, recherche sur le web et parle à d'autres IA), cela arrive constamment. L'IA peut récupérer le même document, mais parce qu'elle l'insère dans une partie différente de la conversation, l'« emplacement » change. L'ancien système voit cela comme un tout nouveau désordre illisible, forçant l'IA à gaspiller du temps et de l'énergie à relire ce qu'elle connaît déjà.

La Solution : Irminsul (le bibliothécaire du « Contenu »)

L'article présente un nouveau système appelé Irminsul. Au lieu d'organiser la triche par l'endroit où se trouve une page, Irminsul l'organise par ce que dit réellement la page.

Pensez-y ainsi :

Ancienne méthode : « Je me souviens du livre seulement s'il est sur la 3ᵉ étagère. »
Irminsul : « Je me souviens du livre parce que c'est une copie de Harry Potter, peu importe sur quelle étagère il se trouve. »

Irminsul découpe la conversation en blocs basés sur le texte réel (le contenu). Si l'IA revoit le « Document A », même s'il est à un endroit différent, Irminsul dit : « J'ai déjà vu ce texte exact ! Je peux réutiliser mes notes. »

L'Ingrédient Secret : L'Ajustement de la « Position »

Vous pourriez demander : « Si le texte est le même, mais que la position est différente, l'IA ne va-t-elle pas se confondre ? »

Oui, généralement. Dans l'IA, la « position » d'un mot compte beaucoup (c'est comme savoir si un mot est au début ou à la fin d'une phrase).

L'Ancien Problème : Pour corriger la position, les anciens systèmes devaient réécrire l'intégralité de la triche pour chaque mot. C'était comme réécrire un livre entier juste pour changer le numéro de page. C'était lent et coûteux.
L'Astuce Irminsul : L'article se concentre sur un type spécifique d'architecture d'IA appelé MLA (Attention Latente Multi-Têtes). Cette architecture est spéciale car elle divise les « notes » en deux parties :
1. Le Contenu (90 %) : Le sens réel des mots. Cette partie est identique quelle que soit la position.
2. La Position (10 %) : Un petit tag qui dit « Je suis ici ».

Irminsul réalise qu'il doit seulement ajuster ce petit tag de 10 %. Il utilise un « tour » mathématique astucieux (appelé rotation $\delta$ ) pour mettre à jour instantanément le tag de position sans réécrire le livre entier. C'est comme prendre une photo d'un document et simplement le glisser à un nouvel endroit sur le bureau, plutôt que de prendre une nouvelle photo de toute la pièce.

Les Résultats

L'article a testé cela sur trois systèmes d'IA réels (DeepSeek, Kimi et JoyAI) qui agissent comme des agents.

Récupération : Sur des tâches complexes où l'IA déplace des documents, Irminsul a pu réutiliser environ 77 % à 83 % du travail que l'ancien système jetait.
Énergie : Parce qu'il n'a pas à relire le texte, il économise environ 63 % de l'énergie nécessaire pour traiter ces parties répétées.
Précision : L'IA répond aussi correctement qu'avant ; elle ne se confond pas avec la nouvelle méthode.

La Règle de la « Première Page »

Il y a un petit hic. Les tout premiers mots de n'importe quelle conversation agissent comme une « ancre gravitationnelle » pour l'attention de l'IA. L'article a constaté que si vous essayez de réutiliser un bloc qui commence juste au début d'une conversation, l'IA se confond.

La Correction : Irminsul relit simplement tout le tout premier bloc de texte (les 32 premiers mots) à chaque fois, mais pour tout ce qui suit, il utilise la réutilisation intelligente basée sur le contenu. Ce petit coût garantit que le reste du système fonctionne parfaitement.

Résumé

Irminsul est une manière plus intelligente pour l'IA de se souvenir des choses. Au lieu de dire : « Je me souviens de cela parce que c'était dans l'emplacement n° 5 », elle dit : « Je me souviens de cela parce que c'est la même histoire. » En réalisant que l'« histoire » (le contenu) est plus importante que l'« emplacement » (la position), et en utilisant une astuce spéciale pour corriger rapidement le tag de position, elle rend les agents IA plus rapides, moins coûteux à exécuter et bien meilleurs pour gérer des conversations complexes et changeantes.

Résumé technique : Irminsul : Mise en cache indépendante de la position native pour MLA dans la mise en service d'LLM agentic

1. Énoncé du problème

La mise en service actuelle des LLM en production repose fortement sur la mise en cache des préfixes (par exemple, RadixAttention de SGLang, PagedAttention de vLLM), qui met en cache les états Clé-Valeur (KV) basés sur des préfixes exacts de séquences de tokens. Bien que efficace pour le tour de parole conversationnel standard, ce mécanisme échoue catastrophiquement dans les charges de travail agentic.

Dans les systèmes agentic (par exemple, utilisation d'outils, génération augmentée par la récupération, orchestration multi-agent), les invites sont assemblées dynamiquement à partir d'instructions système statiques, de documents récupérés et de sorties d'outils. Même si le contenu d'un document ou d'un schéma d'outil reste identique d'un tour à l'autre, sa position au sein de l'invite change en raison de :

L'insertion dynamique de documents récupérés.
Le réordonnancement des sorties d'outils.
Des invites système ou en-têtes de métadonnées de longueur variable.

Parce que les caches de préfixe standard nécessitent un alignement identique au niveau des octets à partir de la position 0, un simple décalage d'un octet dans la structure de l'invite invalide tout le cache pour les tokens en aval. Les opérateurs signalent des régressions sévères, notamment une chute des taux de succès du cache de 100 % à 35 % et des pics de temps jusqu'au premier token (TTFT) de 10 à 16 secondes sur du contenu inchangé.

Les systèmes antérieurs de Mise en cache indépendante de la position (PIC) (par exemple, CacheBlend, EPIC) tentent de résoudre ce problème pour les architectures à Attention par requêtes groupées (GQA) en corrigeant le tenseur de Clé complet de dimension $d_K$ via une rotation inverse. Cependant, cela entraîne un coût architectural significatif : la correction doit être appliquée à toute la ligne KV par token, ce qui la rend coûteuse en calcul et annule souvent les avantages de la mise en cache.

2. Méthodologie : L'approche Irminsul

Irminsul propose un système de mise en cache adressée par le contenu spécifiquement conçu pour les architectures à Attention Latente Multi-Têtes (MLA) (utilisées dans DeepSeek-V2/V3/R1, Kimi-K2, GLM-5, Mistral Large 3).

2.1 Insight structurel : Décomposition MLA

Le catalyseur central d'Irminsul est la décomposition structurelle de la paire KV dans les modèles MLA. Contrairement à la GQA, où la position est fusionnée de manière indissociable dans le tenseur de Clé complet, la MLA factorise le KV de chaque token en :

$cKV$ (Latente de contenu) : Un vecteur latent de 512 dimensions, indépendant de la position. Ce composant est réutilisable à l'identique à n'importe quelle position absolue.
$k_r$ (Clé rotative) : Un petit vecteur de 64 dimensions portant l'information de position (RoPE).

Irminsul exploite le fait que $cKV$ constitue environ 89 % de la ligne KV et ne nécessite aucune correction lors de sa réutilisation. Seule la tranche $k_r$ (~11 %) nécessite un ajustement, qui peut être corrigé sous forme close via une seule rotation $\delta$ (où $\delta$ est le décalage de position).

2.2 Conception du système

Irminsul étend le cache radix de SGLang avec les mécanismes suivants :

Clé par hachage de contenu avec CDC : Au lieu de hacher des blocs fixes, Irminsul utilise un Découpage Défini par le Contenu (CDC) basé sur un hachage Gear glissant sur des fenêtres de 64 tokens. Les chunks sont émis lorsque le hachage tombe en dessous d'un seuil, garantissant que les limites des chunks s'alignent sur le contenu plutôt que sur des décalages d'octets arbitraires. Chaque chunk est empreinté à l'aide de xxHash64.
Recherche dans le registre : Le registre de cache mappe les hachages de contenu aux $(cKV, k_r, base\_pos)$ stockés.
Règle de rotation $\delta$ : Lors d'un succès de cache, le système calcule le décalage de position $\delta = p_{cible} - p_{source}$ . Il récupère le $cKV$ stocké et applique une matrice de rotation $R(\delta)$ à la $k_r$ stockée pour générer la clé de position correcte pour la nouvelle localisation. Cette opération est fusionnée dans le noyau FlashMLA, engendrant une latence négligeable.
Extraction du premier chunk : Pour gérer le phénomène de "puits d'attention" (où le modèle prête une attention intense au début de la séquence), Irminsul pré-remplit les 32 premiers tokens de n'importe quel chunk via un pré-remplissage standard si le chunk commence à la position absolue 0. Cela évite le besoin de recalculer les limites sur les chunks suivants, car le puits est local au début de la séquence, et non au début du chunk.
Stratégies hybrides (S1/S2) :
- S2 (Prévention par coopération) : Dans des environnements contrôlés, l'assembleur d'invites insère un marqueur de limite de 64 tokens autour des zones partagées pour forcer des limites CDC déterministes.
- S1 (Détection et récupération) : Pour le trafic non contrôlé, un mécanisme de repli subdivise les échecs CDC en fenêtres fixes de 128 tokens pour récupérer une réutilisation partielle.

3. Contributions clés

Système Irminsul : Le premier système PIC natif pour MLA. Il atteint une rotation $\delta$ de haute précision avec une erreur L2 relative de $4,7 \times 10^{-3}$ en bf16, ce qui est un ordre de grandeur plus serré que la quantification standard KV en FP8.
Preuve de faisabilité (Analyse ROC) : L'article fournit une étude ROC sans seuil démontrant que le composant $cKV$ de la MLA est hautement invariant à la position (AUC $\approx$ 0,77), tandis que les vecteurs K bruts dans la GQA/MHA sont entrelacés avec la position (AUC < 0,5). Cela valide que la réutilisation adressée par le contenu est structurellement solide pour la MLA mais pas pour les architectures softmax pures sans correction.
Étude d'efficacité énergétique : Une analyse transversale des architectures montrant que, tandis que l'attention basée sur softmax (GQA, MLA, MHA) économise 63 à 86 % de l'énergie de pré-remplissage par succès de cache, les architectures hybrides SSM/linéaires (Mamba2, GDN, KDA) économisent ~0 % car leur état récurrent n'est pas indexé par token, rendant les "succès de cache" indéfinis au niveau de la couche récurrente.
Métriques de récupération : Évaluation sur trois déploiements natifs MLA-MoE (DeepSeek-V2-Lite, Kimi Moonlight-16B, JoyAI-Flash) montrant qu'Irminsul récupère jusqu'à ~83 % des tokens d'invite au-delà de la correspondance exacte de préfixe sur le trafic agentic, contre une récupération proche de zéro pour les caches de préfixe standard sur du contenu décalé.

4. Résultats

Récupération de cache : Sur le trafic agentic avec "variation précoce" (par exemple, en-têtes de métadonnées d'agent décalés), Irminsul récupère 77,2 % (DeepSeek-V2-Lite) et 82,7 % (JoyAI-48B) des tokens qui seraient autrement recalculés. La mise en cache standard de préfixe ne capture que ~1,5 % dans ces scénarios.
Économies d'énergie : Par succès de cache, Irminsul délivre 63 % d'économies d'énergie de pré-remplissage sur les modèles MLA (contre 86 % sur la GQA). Cela confirme que le principal avantage de la PIC est réalisé dans les architectures basées sur softmax.
Cohérence de la sortie : Sur quatre jeux de données (QA, GovReport, NIAH) et trois modèles, les trajectoires gourmandes d'Irminsul correspondent ou dépassent la réutilisation naïve. Sur la tâche "Aiguille dans une Botte de Foin" (NIAH) avec JoyAI-48B, la PIC correspond exactement au rappel de pré-remplissage complet (0,820) tout en réduisant la divergence KL de 22 % par rapport à la réutilisation naïve.
Latence : Le système fonctionne dans les budgets de latence de production. La rotation $\delta$ est fusionnée dans le chemin de chargement HBM-vers-SRAM, évitant toute utilisation supplémentaire de la bande passante HBM.

5. Signification et revendications

L'article soutient que la mise en cache adressée par le contenu devrait être une primitive de premier ordre dans la pile de mise en service des LLM, plutôt qu'une adaptation sur la correspondance de préfixe.

Structurel vs Algorithmique : L'article postule que l'incapacité des systèmes PIC antérieurs à résoudre pleinement le problème pour la GQA est une limitation structurelle (fusion de la position dans le tenseur de Clé complet), et non simplement une lacune technique. La factorisation de la position ( $k_r$ ) par rapport au contenu ($cKV$) par la MLA est la clé qui rend possible une PIC efficace et à faible surcharge.
Charges de travail agentic : À mesure que les systèmes agentic deviennent dominants, le "re-encodage de tokens" du contexte partagé (documents, schémas) représente une inefficacité massive. Irminsul recadre cette redondance non pas comme un problème de calcul, mais comme un problème de mémoire, permettant à la pile de mise en service de facturer la réutilisation de la mémoire plutôt que le recalcul.
Portée : Les auteurs limitent explicitement leurs revendications de sécurité aux architectures MLA (spécifiquement la forme matmul absorbée utilisée en production). Ils notent que si la GQA peut théoriquement supporter la PIC, le coût de correction est élevé. Ils notent également que les modèles hybrides SSM (comme Mamba2) ne bénéficient pas de la PIC en raison de leur structure d'état récurrent.
Travaux futurs : L'article reconnaît que l'"Attention fortement compressée" (HCA) de DeepSeek-V4 agrège les tokens, ce qui dissout l'identité par token requise pour le découpage d'Irminsul. L'adaptation de la primitive de découpage au calendrier d'agrégation de HCA est identifiée comme la prochaine étape immédiate.

En résumé, Irminsul démontre qu'en exploitant les propriétés algébriques spécifiques de la MLA, il est possible de mettre en cache le contenu indépendamment de sa position dans l'invite, récupérant ainsi des coûts de calcul et d'énergie significatifs dans la mise en service d'LLM agentic sans compromettre la qualité de la sortie.