Résumé Technique : NestedKV

Énoncé du Problème

Les modèles de langage à contexte long font face à un goulot d'étranglement critique dans leur déploiement pratique : le cache Key-Value (KV) croît linéairement avec la longueur du contexte et la taille du lot, dominant les coûts de mémoire d'inférence même lorsque les poids du modèle sont fixes. Bien que des méthodes de compression de cache KV sans entraînement existent, elles reposent généralement sur un seul signal « ancre » pour classer l'importance des tokens — tels que la masse d'attention passée, la récence, l'allocation par couche ou la distinctivité des clés.

L'article soutient que ces approches mono-vues deviennent fragiles sous une compression agressive ou dans des contextes longs. Par exemple, les méthodes basées sur l'attention concentrent souvent la masse sur la queue de l'invite ou sur des « puits d'attention », les amenant à évacuer des tokens porteurs de réponses qui résident dans des régions à faible attention. De même, une moyenne globale peut manquer des shifts épisodiques locaux, tandis qu'une règle locale peut surajuster des blocs répétitifs. Le problème central est que le contexte utile peut être globalement distinctif, localement épisodique ou immédiatement pertinent, nécessitant une approche plus nuancée et multi-échelle pour la maintenance de la mémoire.

Méthodologie : NestedKV

NestedKV est une méthode de compression de cache KV sans entraînement, basée uniquement sur les clés, inspirée du Système de Mémoire Continuum issu de l'Apprentissage Emboîté (Nested Learning). Au lieu de classer les tokens selon une métrique unique, elle traite l'évacuation comme une maintenance de mémoire limitée au moment du test, utilisant une architecture à trois niveaux :

1. État de Mémoire Continuum (Apprenants Internes)

NestedKV maintient trois ancres de mémoire distinctes au-dessus du flux de clés mis en cache pour chaque token $i$ :

• Mémoire Stable ($\mu_s$) : Une moyenne globale de toutes les clés normalisées, capturant les régularités au niveau du document.
• Mémoire Épisodique ($\mu_e(i)$) : Une moyenne de bloc local (taille de bloc $b \approx N/32$), capturant la structure au niveau du passage ou du tour.
• Mémoire Courante ($\mu_c(i)$) : Une moyenne sur fenêtre glissante (taille de fenêtre $W=64$), capturant la continuité à court terme et la redondance immédiate.

Pour chaque token, la méthode calcule des scores d'anomalie cosinus par rapport à ces trois échelles : $a_k(i) = -\cos(\hat{k}_i, \mu_k)$. Un score élevé indique que le token est anormal (distinctif) par rapport à cette échelle de mémoire spécifique.

2. Apprenant Externe : Fusion Adaptative et Routage par Surprise

La méthode combine ces trois classements d'anomalies via un apprenant externe sans entraînement opérant sur deux axes :

• Fusion Adaptative par Tête : Différentes têtes d'attention se spécialisent dans différents rôles temporels. NestedKV mesure le pouvoir discriminatif de chaque échelle par tête (l'écart entre les tokens supérieurs et inférieurs) et utilise un softmax avec un log-prior fixe pour pondérer les échelles. Cela crée un score fusionné $a_{blend}(i)$.
• Routage Géré par la Surprise : La méthode calcule la « surprise induite par la compression » comme l'écart-type des trois scores d'anomalie.
  • Faible Surprise : Les trois échelles s'accordent ; le token conserve le score fusionné.
  • Forte Surprise : Les échelles divergent (par exemple, un token est globalement typique mais localement anormal). Dans ce cas, la méthode achemine le score vers la mémoire individuelle la plus forte ($a_{win}(i) = \max(a_s, a_e, a_c)$) pour éviter d'annuler des signaux critiques par moyennage.

3. Allocation de Mémoire par Tête

Au lieu d'allouer la mémoire uniformément entre les têtes, NestedKV implémente un mécanisme de budgétisation compétitif. Il sélectionne les paires token-tête ayant le résidu global le plus élevé à travers la couche, sous réserve d'une sauvegarde par tête (assurant que chaque tête conserve un état minimum). Cela distribue le budget de la couche selon l'endroit où les signaux de mémoire continuum sont les plus surprenants.

Contributions Clés

1. Recadrage de la Compression : Les auteurs recadrent la compression KV sans entraînement comme une détection d'anomalies de mémoire continuum sur le flux de clés, fournissant une interprétation de l'apprentissage emboîté de l'évacuation des tokens comme une maintenance de mémoire limitée au moment du test.
2. Algorithme NestedKV : L'introduction d'une méthode utilisant trois statistiques de clés à échelles temporelles (stable, épisodique, courante) comme apprenants internes, combinées via un apprenant externe sans entraînement qui s'adapte par tête et route en fonction de la surprise induite par la compression.
3. Validation Empirique : Évaluation extensive sur six benchmarks (RULER, LongBench, LooGLE, LongBench-E, InfiniteBench, MMLU-Pro) sur les modèles Qwen3 et Llama-3.2, démontrant que le scoring multi-échelle temporelle est particulièrement précieux sous une compression agressive.

Résultats Expérimentaux

L'évaluation se concentre sur les modèles Qwen3-4B et Llama-3.2-3B-Instruct à travers diverses longueurs de contexte (4k–32k) et ratios d'évacuation ($r \in \{0.25, 0.50, 0.75, 0.85, 0.95\}$).

• Performance sous Compression Aggressive : NestedKV montre son avantage le plus fort lorsque le cache conservé est petit. Sur RULER (contexte 4k, $r=0.75$), NestedKV améliore KeyDiff, une base forte, de 19,10 points sur Qwen3-4B.
• LongBench : À $r=0.75$, NestedKV atteint un score moyen de 50,06 sur Qwen3-4B, surpassant significativement KeyDiff (30,77). Sous une compression extrême ($r=0.95$), NestedKV conserve 37,32 points, tandis que KeyDiff chute à 17,55.
• Robustesse : La méthode maintient des performances proches de celles d'un cache KV complet sur les benchmarks de connaissances à contexte court (MMLU-Pro) même à des ratios de compression élevés, indiquant qu'elle ne compromet pas la capacité des invites courtes.
• Études d'Ablation : Le retrait soit de l'état de mémoire continuum, soit de l'allocation adaptative par tête, entraîne des baisses de performance significatives (environ 8 points chacune). Le retrait des deux provoque une chute d'environ 19 points, suggérant que les composants sont synergiques.
• Efficacité : La méthode ajoute une surcharge minimale, avec une latence de préremplissage inférieure à 0,5 % de celle des bases mono-ancre comme KeyDiff, tandis que la latence de décodage et la mémoire de pointe restent presque identiques à celles des autres méthodes compressées.

Signification et Revendications

L'article revendique que NestedKV adresse l'insuffisance structurelle des méthodes de compression à ancre unique. En déplaçant le score de compression de l'espace d'attention vers le flux de clés en utilisant une vue de mémoire continuum, la méthode conserve avec succès les tokens qui sont distinctifs aux échelles globale, locale ou immédiate.

Les auteurs soulignent que le bénéfice principal de NestedKV n'est pas nécessairement une performance de pointe à faible compression, mais plutôt une dégradation gracieuse à mesure que le budget mémoire rétrécit. Le scoring multi-échelle temporelle permet au modèle de préserver divers tokens de soutien que les méthodes à signal unique (qui reposent uniquement sur l'attention ou la distinctivité globale) évacueraient à tort. La méthode ne nécessite aucun entraînement, aucune modification du LLM sous-jacent et est compatible avec les noyaux d'attention optimisés.

Limitations notées par les auteurs :

• L'hypothèse selon laquelle la redondance par rapport aux statistiques stable/épisodique/courante est un signal utile peut être plus faible pour les tâches de complétion de code où la répétition locale est le motif à préserver.
• La méthode est limitée aux modèles à poids ouverts figés et n'apprend pas de paramètres spécifiques à la tâche ni ne modifie les noyaux de décodage.