Résumé Technique : Kamera : Un KV Cache Multimodal Unifié et Invariant à la Position pour la Réutilisation sans Réentraînement

1. Énoncé du Problème

Les agents multimodaux (ex. : agents web, analyseurs de vidéos longues, navigateurs de documents) réexaminent fréquemment le même contenu visuel (images, captures d'écran) à mesure que leur fenêtre de contexte glisse, que le raisonnement itère ou que les prompts changent. Les mécanismes de mise en cache actuels (caches de préfixe, caches radix) traitent le stockage de clés-valeurs (KV) comme une structure indexée par position. Par conséquent, lorsqu'un bloc mis en cache est déplacé vers une nouvelle position (en raison d'une fenêtre glissante, d'un réordonnancement ou d'un rappel après éviction), il y a un échec de cache (cache miss). Le système doit alors ré-encoder le contenu visuel et re-pré-remplir (re-prefill) le cache KV à partir de zéro, ce qui entraîne un surcoût de calcul significatif (ex. : réexécution de l'encodeur de vision et du prefill du LLM).

L'article identifie que la réutilisation naïve des KV n'est pas fondamentalement sans perte. Bien qu'une lecture à un seul saut (single-hop readout) — ce qu'une requête extrait d'un bloc — soit récupérée exactement par les opérations standards de fusion d'états, le conditionnement inter-blocs (cross-chunk conditioning) est perdu. Lorsqu'un bloc $B$ est pré-rempli après un antécédent $A$, ses jetons absorbent des informations provenant de $A$ (résolution de coréférences, liaison d'entités). Si $B$ est mis en cache seul ($KV(B|\emptyset)$) et réutilisé plus tard après un $A$ différent ou déplacé, le modèle perd la liaison spécifique que $B$ avait absorbée de l'original $A$. Ce déficit ($\Delta = KV(B|A) - KV(B|\emptyset)$) provoque une dégradation silencieuse de la précision du raisonnement multi-étapes (multi-hop reasoning), tout en laissant intacte la récupération à un seul saut (single-hop recall). Les méthodes de mise en cache antérieures indépendantes de la position (ex. : CacheBlend, EPIC) tentent de corriger cela en recalculant un ensemble épars de jetons « importants », mais l'article soutient qu'elles ciblent le mauvais axe, car le déficit est diffus à travers les jetons mais de faible rang dans les caractéristiques (low-rank in features).

2. Méthodologie : L'Opérateur Kamera

La solution proposée, Kamera, découple la position du conditionnement, permettant une réutilisation invariante à la position sans ré-encodage. La méthode repose sur deux composants stockés pour chaque bloc :

1. KV Canonique : Le contenu sans position ($KV(B|\emptyset)$) (clés et valeurs sans le conditionnement spécifique de l'antécédent).
2. Patch de Conditionnement de Rang-$m$ : Un terme de correction de faible rang $U_m V_m^\top$ représentant le déficit $\Delta$.

L'opération de réutilisation est définie par :
$$\widehat{KV}(B|A) = R(\delta) \cdot KV(B|\emptyset) + U_m V_m^\top$$
Où :

• Relocalisation ($R(\delta)$) : Les clés sont re-rotées par le déphasage de l'encodage de position rotatif (RoPE) $\delta$ correspondant à la nouvelle position. Il s'agit d'une opération algébrique exacte, et non d'un passage direct (forward pass).
• Application du Patch : Le patch de rang-$m$ est ajouté pour restaurer la liaison inter-blocs. Ce patch est calculé une seule fois au moment de la compilation (ou lors de la première réutilisation) via un passage direct conditionné unique sur $[A, B]$, suivi d'une décomposition en valeurs singulières (SVD) pour extraer les $m$ facteurs supérieurs.

Support d'Architecture Unifiée :
L'opérateur unifie trois grandes familles d'attention :

• MHA (Multi-Head Attention) : Séparation standard du contenu et du RoPE.
• GQA (Grouped Query Attention) : Relocalise l'intégralité des clés via la ré-application du RoPE ; applique des patches aux $K$ et aux $V$.
• MLA (Multi-Head Latent Attention) : Relocalise uniquement le $k_{rope}$ découplé (64-dim) tout en réutilisant le latent $c_{KV}$ octet par octet ; applique des patches sur les deux canaux.

3. Contributions Clés

• Diagnostic du Déficit : L'article démontre que la perte lors de la réutilisation est un phénomène diffus dans les jetons, de faible rang dans les caractéristiques et profond dans les couches (diffuse-in-tokens, low-rank-in-features, and deep-layer). Les sélecteurs de jetons oracle nécessitent environ $50\ \%$ des jetons pour récupérer l'écart, alors que l'énergie du déficit est concentrée dans environ $32$ directions de caractéristiques, principalement dans les couches profondes. Cela invalide les stratégies de re-calcul de jetons épars.
• Séparation Position/Conditionnement : Un mécanisme sans réentraînement qui stocke un bloc canonique et un petit patch de faible rang. Cela permet une re-rotation RoPE exacte pour toute position et une restauration par patch de la liaison avec l'antécédent.
• Trois Opérations de Fenêtre peu coûteuses :
  1. Réordonner : Un seul « patch d'orbite » (moyenné sur les permutations) sert à tout ordre d'un ensemble mis en cache, permettant un re-classement RAG ou des trames remaniées avec un coût quasi nul.
  2. Survie en Fenêtre Glissante : Lorsque la fenêtre glisse et que d'anciens blocs sont évincés, les blocs survivants ne nécessitent qu'une re-rotation exacte ($R(\delta)$) ; aucun patch n'est nécessaire (quasi sans perte) pour les architectures GQA/MLA standards, bien que les architectures deepstack puissent nécessiter un patch de suppression.
  3. Rappel (Éviction Réversible) : Les blocs évincés peuvent être réhydratés à partir du stockage canonique en utilisant un patch frais conditionné sur leur contexte antérieur fixe, évitant ainsi tout ré-encodage visuel.
• Déploiement en Production : Implémenté comme un crochet (hook) sans réentraînement dans le moteur de production SGLang (noyau FlashAttention-3), reconstruisant les caches KV à l'intérieur d'une marge d'erreur de arrondi bf16 (résiduel KL du prochain jeton $\approx 10^{-3}$).

4. Résultats

• Récupération de la Précision : Sur les benchmarks de liaison inter-blocs (MM-NIAH, MileBench, QA de documents de deux pages), la réutilisation aveugle des KV divise par deux la précision multi-étapes (ex. : $0,59 \to 0,41$ sur Qwen2.5-VL). Un patch de rang-16/32 restaure la précision au plafond du re-prefill ($0,64, 0,72$), surpassant les bases de comparaison de re-calcul de jetons (CacheBlend, VLCache) qui ne récupèrent que $20\text{--}40\ \%$ du déficit.
• Efficacité :
  • Mémoire : Un patch de rang-64 coûte environ $25\ \%$ des octets KV du segment ; un patch de rang-16 coûte environ $6\ \%$.
  • Latence : Remplace le prefill LLM par application de patch sans passage direct, améliorant le Temps Jusqu'au Premier Jeton (TTFT) jusqu'à 29$\times$ pour les longs segments vidéo par rapport au ré-encodage complet.
  • Amortissement : Le coût de formation du patch est amorti après environ $9$ réutilisations par rapport à une base qui effectue un re-prefill à chaque fois.
• Robustesse : La méthode atteint une pleine précision multi-étapes à travers divers backbones (Qwen2.5-VL, Qwen3-VL, Kimi-VL, DeepSeek-VL) et familles d'attention (GQA, MLA, MHA).

5. Signification et Revendications

L'article affirme que le re-calcul est évitable pour les agents multimodaux. En identifiant que le déficit de réutilisation est un signal de conditionnement de faible rang et de couche profonde plutôt qu'une erreur de parcimonie de jetons, Kamera fournit un opérateur unifié et sans réentraînement qui fait du cache KV une structure adressée par le contenu et invariante à la position, plutôt qu'un tableau indexé par position.

La signification réside dans la transformation de la gestion du contexte :

• Éviction Réversible : Les agents peuvent évincer agressivement le contenu sachant qu'il peut être réhydraté à faible coût sans ré-encodage visuel.
• Liberté de Planification : Puisque le réordonnancement est gratuit sur une orbite, le placement des blocs devient une variable de planification plutôt qu'une conséquence de l'ordre d'arrivée.
• Déplacement du Coût : Le coût passe d'un calcul répété et coûteux (encodeur de vision + prefill) à la bande passante mémoire (stockage de petits patches), s'alignant sur la nature limitée par la mémoire des phases de décodage modernes.

Les auteurs notent que l'effet est plus impactant dans les flux visuels et vidéo redondants où les agents dépensent leur budget de calcul, tandis que le texte dense (où le cache de préfixe suffit déjà) ne présente pas un tel déficit. Ce travail établit que le contexte au-delà de la fenêtre n'a pas besoin d'être un contexte re-calculé, ni nécessite que le modèle soit réentraîné pour le servir.