Résumé Technique : Knowledge Packs – Livraison de Connaissances à Coût Zéro via l'Injection de Cache KV

1. Problématique

Les systèmes de RAG (Retrieval-Augmented Generation) actuels résolvent le problème de la connaissance en insérant du texte récupéré directement dans l'invite (prompt) du modèle. Bien que la recherche soit peu coûteuse, l'accumulation de ces textes consomme une part significative du budget de contexte (tokens).

• Coût linéaire : Pour des agents effectuant plusieurs recherches, le coût en tokens devient prohibitif (ex. : 5 recherches peuvent consommer plus de 700 tokens pour les faits seuls).
• Limitation de contexte : Dans les contextes longs, l'ajout répété de documents réduit la capacité du modèle à traiter d'autres informations.
• Hypothèse de l'auteur : Il existe une méthode pour fournir la même connaissance sans consommer de tokens d'entrée, en exploitant les propriétés mathématiques des transformeurs causaux.

2. Méthodologie

L'article propose une approche en deux volets : l'injection de cache KV pour la connaissance et le « steering » (pilotage) de l'espace des valeurs pour le comportement.

A. Injection de Cache KV (Knowledge Packs)

L'idée centrale repose sur l'Équivalence KV-Préfixe.

• Principe : Dans un transformeur décodeur avec un masque causal, le cache Key-Value (KV) généré par un passage avant (forward pass) sur un texte de faits $F$ est bit-identique aux entrées KV que produirait un passage conjoint sur la concaténation $F \circ q$ (faits + question).
• Processus :
  1. Phase de préparation (Offline) : Les faits sont formatés selon le modèle de chat spécifique (chat template) du modèle (ex. : ajout des tokens system pour Qwen). Un passage avant est effectué pour générer et stocker le cache KV ($K^{(l)}, V^{(l)}$).
  2. Phase d'inférence (Online) : Lors d'une requête $q$, le modèle génère la réponse en injectant directement le cache KV pré-calculé comme préfixe, sans réinjecter le texte des faits dans le prompt.
• Contrainte Critique (Chat Template) : Le texte des faits doit être entouré par le modèle de chat du modèle (special tokens). L'utilisation de texte brut (sans tokens spéciaux) crée un décalage de distribution (OOD) et dégrade la précision de 6 à 7 points de pourcentage (pp).

B. Pilotage de l'Espace des Valeurs (Value Steering)

Au-delà de la simple injection, l'article exploite l'asymétrie de l'architecture RoPE (Rotary Positional Embedding) :

• Asymétrie K/V : Les clés (Keys) sont rotées en fonction de la position, rendant l'arithmétique sur les clés destructrice pour la cohérence. Les valeurs (Values) ne sont pas rotées et tolèrent l'arithmétique.
• Mécanisme : L'auteur applique des deltas contrastifs uniquement sur les valeurs cachées ($V$) :
  $$V_{steered}^{(l)} = V_{base}^{(l)} + \alpha \cdot (V_{good}^{(l)} - V_{bad}^{(l)})$$
  où $K$ reste inchangé. Cela permet de modifier le style de génération (ex. : codage défensif) sans réexécuter l'inférence sur les exemples de style.

C. Composition et Mise à l'échelle

• Composition séquentielle : Pour combiner plusieurs caches, il faut traiter le second paquet avec le premier comme préfixe pour maintenir les positions correctes (RoPE). Une simple concaténation brise les encodages de position.
• Routage par banques (Banked Routing) : Pour gérer des bases de connaissances massives (>5000 faits), les faits sont regroupés par clusters (k-means) et seuls les caches des banques pertinentes sont chargés, avec un recalcul à la volée pour les faits top-rankés.

3. Contributions Clés

1. Preuve de l'Équivalence KV-Préfixe : Démonstration théorique et empirique (0 divergence sur 700 questions) que l'injection de cache KV produit des résultats identiques à l'insertion de texte dans le prompt, à condition que le formatage soit correct.
2. Identification du Piège du Template : Mise en évidence que les travaux antérieurs affirmant que le KV surpasse le RAG étaient souvent biaisés par un mauvais formatage (texte brut vs template). Le texte brut cause une chute de performance de 6-7pp.
3. Économie de Tokens : Réduction du coût tokenique de O(n) (RAG) à O(1) (KV) pour l'apport de connaissances, permettant des économies allant jusqu'à 95% sur des flux de travail multi-étapes.
4. Pilotage Comportemental par Valeurs : Démonstration que l'on peut orienter le comportement du modèle (style, ton) via des deltas sur les valeurs intermédiaires (couches 33-66%), indépendamment de la livraison de connaissances, sans modification des poids.

4. Résultats Expérimentaux

Les expériences ont été menées sur Qwen3-8B et Llama-3.1-8B sur des tâches de QA (HotpotQA) et de codage.

• Précision (HotpotQA) :
  • KV-chat (avec template) = RAG : Précision identique (ex: 65.2% sur Qwen, 61.5% sur Llama).
  • KV-raw (sans template) : Chute de performance (59.2% et 56.0%).
  • Divergences : 0 divergence sur 700 questions entre RAG et KV-chat.
• Économie de Tokens :
  • Sur 5 étapes de recherche, le RAG consomme 700 tokens supplémentaires, tandis que le KV reste constant (31-35 tokens pour la question).
  • Économies de tokens : 80% à 96% selon le nombre d'étapes.
• Pilotage (Steering) :
  • Application de deltas sur les valeurs intermédiaires améliore la qualité du code défensif sans perte de cohérence syntaxique (jusqu'à $\alpha=2.0$ pour Qwen, $\alpha=1.5$ pour Llama).
  • Les directions de pilotage sont quasi-orthogonales et composables.
• Mode Dual (Connaissance + Pilotage) :
  • À $\alpha \le 0.7$, il est possible de combiner livraison de connaissances et pilotage comportemental sans dégradation de la précision factuelle (EM), tout en augmentant la formalité des réponses.

5. Signification et Implications

• Optimisation sans perte : Le « Knowledge Pack » est une optimisation sans perte (lossless) pour les API payantes au token et les contextes longs. Il permet de stocker des connaissances dans le cache plutôt que dans le prompt.
• Limitations pratiques :
  • Spécificité du modèle : Un cache KV est lié à une architecture spécifique (un cache Llama ne fonctionne pas sur Qwen).
  • Coût de stockage : Nécessite ~1 Ko par fait (texte + embedding + cache), mais reste très faible comparé au contexte.
  • Portée du pilotage : Le pilotage par valeurs atteint environ la moitié de l'efficacité du pilotage par texte (prompt), mais avec un coût nul à l'inférence.
• Impact sur la recherche : Cet article corrige une erreur méthodologique répandue (le formatage des templates) et ouvre la voie à de nouvelles techniques de contrôle de modèles via l'ingénierie directe de l'état interne (KV cache) plutôt que par le prompt.

En conclusion, cette recherche propose un changement de paradigme : au lieu de « lire » les connaissances à chaque requête, on les « injecte » directement dans l'état latent du modèle, offrant une efficacité radicale en termes de tokens tout en permettant un contrôle fin du comportement du modèle.