Résumé Technique : Leyline : Directives de Cache KV pour l'Inférence Agentique

1. Énoncé du Problème

Les systèmes de service de Grands Modèles de Langage (LLM) modernes ont évolué autour d'une hypothèse de charge de travail spécifique : les prompts arrivent une seule fois, et le cache KV croît de manière monotone (ajout uniquement). Cette hypothèse sous-tend des optimisations telles que la mise en cache de préfixes et l'éviction unidirectionnelle. Cependant, les LLM Agentiques (Yao et al., 2023 ; Yang et al., 2024) brisent cette monotonie par l'édition pilotée par politique. Les agents modifient fréquemment l'historique de la conversation en réessayant des appels d'outils échoués, en supprimant des sorties obsolètes ou en changeant de trajectoire.

Ce comportement crée deux problèmes distincts de gestion du cache :

1. Réutilisation Invariante à la Position : Un contenu identique change de position absolue entre les tours (par exemple, en raison de l'insertion d'appels d'outils). La mise en cache de préfixe exacte échoue à réutiliser ces blocs car leurs positions ont changé, bien que les données Key-Value (KV) sous-jacentes restent valides. Des travaux récents (Ma et al., 2026) traitent cela via un appariement adressé par le contenu.
2. Mutation Pilotée par la Politique (Le focus de ce papier) : Un agent ou une politique peut avoir besoin de supprimer ou de remplacer activement une plage de contenu mis en cache (par exemple, tronquer d'anciennes sorties d'outils pour libérer de la mémoire) et de poursuivre la génération sans re-pré-remplir (re-prefill) l'intégralité du contexte suivant.
   • État Actuel : Les systèmes de production (ex: Anthropic, 2025) gèrent cela en éditant la liste des messages et en déclenchant un re-pré-remplissage complet, occasionnant le coût total de la re-computation du préfixe que l'édition était censée économiser.
   • Limitations des Kernels : Les méthodes d'éviction existantes au niveau du kernel (Zhang et al., 2023 ; Li et al., 2024 ; Xiao et al., 2024) prennent des décisions autonomes et ne peuvent pas accepter de directives explicites d'une politique externe pour effectuer des éditions in situ spécifiques.

Il n'existe aucun primitif existant permettant à une politique de diriger le système de service pour épisser activement le cache KV tout en préservant la correction des calculs d'attention en aval sans re-pré-remplissage.

2. Méthodologie : Le Primitif Leyline

Les auteurs introduisent Leyline, un primitif côté service conçu pour combler l'écart entre l'intention de la politique et l'exécution du kernel.

2.1 L'Abstraction de la Directive

Leyline découple le quoi éditer du comment l'éditer via une directive en 4-uplet déclarative :
$$D = (s_{start}, s_{end}, R, m)$$

• $(s_{start}, s_{end})$ : La plage d'indices de tokens de la séquence à remplacer.
• $R$ : La séquence de tokens de remplacement (souvent un court stub, ex: [évincé : 3 anciens tours d'outils]).
• $m$ : Le mode sémantique, choisi parmi :
  • AMORTIZE (Amortir) : Le mode par défaut. Le système effectue un épissage in situ. Le remplacement est inséré, et les positions en aval sont ré-indexées. Crucialement, les valeurs KV sous-jacentes ($K_{nope}$ et $V$) pour les tokens en aval sont préservées, maintenant l'attention du modèle sur le contenu original qui a été évincé, plutôt que sur le nouveau stub.
  • FORGET (Oublier) : Le système dirige l'édition vers un re-pré-remplissage standard avec préfixe tronqué. Ceci est utilisé lorsqu'un véritable oubli de contenu est requis (ex: anonymisation), garantissant que le modèle ne conserve pas d'influence du contenu évincé.

2.2 Le Mécanisme : $\delta$-Rotation

L'innovation technique centrale permettant le mode AMORTIZE est une correction en forme close des décalages d'encodage de position, spécifiquement pour les architectures de type Multi-Head Latent Attention (MLA) (ex: DeepSeek-V2).

• Insight Structurel : Dans MLA, le tenseur Key est divisé en $K_{nope}$ (indépendant de la position) et $K_{pe}$ (dépendant de la position, pivoté par RoPE).
• L'Opération : Lorsqu'une plage de longueur $|S|$ est remplacée par une séquence de longueur $|R|$, tous les tokens en aval se décalent de $\Delta = |R| - |S|$.
• La Correction : Au lieu de re-calculer l'attention pour les tokens en aval, Leyline applique une $\delta$-rotation aux valeurs $K_{pe}$ du cache pour tous les slots en aval :
  $$K_{pe}^{new}[i] = R(\Delta) \cdot K_{pe}[i]$$
  En raison de la clôture de rotation unitaire de RoPE ($R(a)R(b) = R(a+b)$), appliquer $R(\Delta)$ à l'existant $R(i)$ est algébriquement équivalent à avoir calculé $R(i+\Delta)$ à partir de zéro.
• Résultat : Le système met à jour l'encodage de position en une seule multiplication matricielle par slot, préservant les tenseurs $K_{nope}$ et $V$. Cela permet au modèle de poursuivre la génération avec le calcul d'attention du contexte complet original, malgré le fait que le cache physique ait été épissé.

2.3 Intégration dans la Pile de Service

Leyline s'intègre dans la pile de service (démontré spécifiquement avec SGLang) via trois étapes :

1. Radix Match : Le préfixe inchangé ($[0, s_{start})$) est apparié contre le cache radix comme d'habitude.
2. Prefill : Les tokens de remplacement $R$ sont pré-remplis dans de nouveaux slots.
3. Rotation : Le kernel applique la $\delta$-rotation à la bande $K_{pe}$ de tous les slots en aval et les ré-indexe.

L'interface est agnostique au signal : toute politique capable d'émettre un tuple de remplacement de plage (ex: une règle de troncature, un détecteur de tours d'outils obsolètes) peut piloter le cache sans que le kernel n'ait besoin d'inspecter la raison.

3. Contributions Clés

1. Distinction du Problème : Le papier distingue formellement la réutilisation (décalages de position de contenu identique) de la mutation (édition active pilotée par la politique), identifiant la mutation comme le sous-problème ouvert dans la gestion de cache agentique.
2. Abstraction de Directive : Une interface en 4-uplet qui découple la politique (ce qu'il faut éditer) du mécanisme (comment épisser), permettant une édition de cache in situ explicite sans re-pré-remplissage.
3. Canal d'Édition Sémantique : Une nouvelle limite d'interface pour les piles de service post-agentiques, située au-dessus du stockage par bloc pour décomposer les éditions d'agents en opérations par bloc tout en préservant la correction de l'encodage de position.
4. Validation en Deux Voies :
   • Voie Mécanisme : Démontre que le kernel d'épissage préserve les taux de succès du cache de rejeu et réduit la latence en évitant le coût du re-pré-remplissage.
   • Voie Politique : Démontre qu'une politique de troncature simple routée via cette interface améliore les taux de résolution des agents en réduisant le bruit contextuel.

4. Résultats

4.1 Performance du Mécanisme (Microbenchmark SGLang)

• Taux de succès du cache : Le bras d'épissage a augmenté le taux de succès du cache de rejeu de +11,2 points de pourcentage (pp) par rapport à une base radix standard sur des concurrences $C \in \{1, 4, 8, 16\}$.
• Latence : La latence de bout en bout a été réduite jusqu'à 241 ms (à $C=8$) en économisant le coût du re-pré-remplissage sur le chemin critique.
• Correctness : Le chemin d'épissage a maintenu une concordance de 100 % sur l'argmax du premier token avec le chemin à préfixe chaud (contexte complet), confirmant que la $\delta$-rotation préserve le calcul d'attention du contexte original.

4.2 Performance de la Politique (Debug-Gym)

• Tâche : 8 tâches debug-gym mini_nightmare utilisant le modèle JoyAI-LLM Flash.
• Politique : Une règle de troncature de 10 lignes qui supprime les sorties d'outils plus anciennes que $n=2$ tours.
• Résultat : La politique de troncature routée via Leyline a amélioré le taux de résolution agentique de 31,2 % (baseline, sans troncature) à 45,5 % (+14,3 pp).
• Analyse : Le gain a été porté par des tâches à longues trajectoires (ex: shopping_cart, sum_tree). En supprimant les anciens tours d'outils, le modèle peut prêter attention plus efficacement aux quelques tours qui comptent réellement. Sans Leyline, exercer cette politique aurait forcé un re-pré-remplissage complet à chaque troncature, annulant les gains d'efficacité.

4.3 Vérification de la Correctitude

• Microbenchmark à Prompt Unique : Scénarios construits où les chemins de contexte complet et de re-pré-remplissage doivent diverger. Leyline a systématiquement concordé avec la prédiction du contexte complet (suivant l'influence du chunk original) plutôt qu'avec la prédiction du re-pré-remplissage (qui perdait l'influence du chunk).
• Trans-Architecture : Validé sur quatre modèles MLA (DeepSeek-V2-Lite, JoyAI-LLM Flash, GLM-4.7-Flash, Moonlight-16B-A3B).
• Stabilité Numérique : La $\delta$-rotation introduit une légère dérive (bornée à $\sim 4,7 \times 10^{-3}$ en erreur relative L2 en bf16), qui s'accumule de manière sous-linéaire. Les auteurs notent que l'exécution de la rotation en fp32 (tout en stockant le KV en bf16) atténue efficacement cette dérive.

5. Signification et Revendications

Le papier affirme que Leyline fournit l'interface manquante pour l'édition de cache pilotée par politique dans les systèmes agentiques.

• Changement d'Interface : Il déplace la limite de l'interface de la pile de service. Les systèmes pré-agentiques n'exposaient que le prompt ; les systèmes post-agentiques nécessitent un canal d'édition de cache. Leyline définit concrètement ce canal.
• Découplage : Il permet aux politiques de déclarer leur intention (ex: "oublier ce span" ou "amortir cette édition") sans que la politique ait besoin de comprendre les mécaniques de kernel sous-jacentes (RoPE, MLA, arbres radix).
• Mémoire Programmable : Les auteurs soutiennent que cela transforme la gestion du cache KV, passant d'un jeu de devinettes réactif du côté système (éviction) à un problème de planification coopératif où l'agent déclare le sort de son contexte, et la couche de stockage l'exécute.
• Portée : Le papier valide le verbe splice (épissage). Il reconnaît que le kernel de rotation est actuellement spécifique à MLA mais note que l'abstraction de la directive est agnostique à l'architecture et que des extensions à GQA/MHA sont réalisables via des passes de re-calcul de bordure.

Le papier conclut que si le mécanisme (splice) permet la classe de politique sans coûts de re-pré-remplissage, c'est la classe de politique elle-même qui apporte le gain de déploiement (taux de résolution plus élevés). Le vocabulaire de l'interface de directive (incluant de futurs verbes comme PIN, DECAY, SCRATCH) représente l'agenda pour la gestion de la mémoire agentique future.