Agent Memory Below the Prompt: Persistent Q4 KV Cache for Multi-Agent LLM Inference on Edge Devices

Ce papier présente une méthode de persistance des caches KV en quantification 4 bits sur disque pour les systèmes multi-agents LLM sur appareils embarqués, permettant de restaurer directement l'état d'attention et de réduire considérablement le temps de génération tout en économisant la mémoire.

L'essentiel

🧠 Le Problème : Le "Cerveau" qui s'oublie

Imaginez que vous avez un assistant personnel très intelligent (un modèle d'IA) qui vit directement sur votre ordinateur portable (votre "périphérique"), sans avoir besoin d'internet. C'est génial pour la confidentialité et la rapidité.

Mais il y a un gros souci : la mémoire de votre ordinateur (la RAM) est comme un petit bureau.

• Si vous demandez à un seul agent de travailler, il pose ses dossiers sur le bureau. Tout va bien.
• Si vous lancez 10 agents différents (un pour le code, un pour l'écriture, un pour la recherche, etc.), ils ont tous besoin de leurs propres dossiers.
• Le bureau est trop petit ! Dès qu'il est plein, vous devez jeter les dossiers d'un agent pour en mettre un autre.

Le problème actuel : Quand vous revenez vers l'agent que vous avez jeté, son cerveau est vide. Il doit tout relire et réapprendre depuis le début. Sur un ordinateur portable, cela prend 15 secondes par agent. Si vous changez d'agent 10 fois, vous passez 2 minutes à attendre que l'IA "se réveille". C'est comme si votre assistant oubliait tout ce que vous veniez de lui dire à chaque fois que vous lui demandiez de changer de tâche.

💡 La Solution : Le "Coffre-fort" Magique

Les auteurs de ce papier ont trouvé une astuce géniale pour résoudre ce problème. Au lieu de jeter les dossiers au sol, ils les rangent dans un coffre-fort ultra-rapide (le disque dur SSD de l'ordinateur) et les y laissent en sécurité.

Voici comment leur système fonctionne, étape par étape :

1. Le Coffre-fort Compact (Quantification Q4)

Les dossiers des agents sont énormes. Pour les faire tenir dans le coffre-fort, ils les compressent.

• L'analogie : Imaginez que vous devez ranger 100 livres. Au lieu de garder les livres entiers (format FP16), vous les photocopiez sur des feuilles de papier très fin et les pliez en tout petits carrés (format Q4).
• Le résultat : Vous pouvez ranger 4 fois plus d'agents dans le même espace. Sur un ordinateur portable, au lieu d'avoir 3 agents, vous pouvez en avoir 12 !

2. Le Retour Instantané (Persistance sur Disque)

Quand vous voulez reprendre un agent, vous n'avez pas besoin de le faire réapprendre. Vous allez simplement chercher son dossier dans le coffre-fort.

• L'analogie : C'est la différence entre construire une maison de zéro (15 secondes) et ouvrir une porte déjà construite (0,5 seconde).
• Le système charge le dossier compressé directement dans la mémoire de l'IA. L'IA se souvient instantanément de tout ce qui a été dit avant.

3. Le Chef d'Orchestre (Interleaving)

Le système est malin : il ne fait pas attendre l'utilisateur.

• L'analogie : Imaginez un chef d'orchestre avec 5 musiciens. Pendant que le musicien A joue sa mélodie (génère du texte), le chef va chercher le dossier du musicien B dans le coffre-fort pendant que A joue.
• Résultat : Quand vous demandez à B de jouer, il est déjà prêt. Vous ne voyez jamais le temps de chargement. C'est comme si la magie opérait en arrière-plan.

🚀 Pourquoi c'est révolutionnaire ?

1. Plus d'attente : Au lieu de 15 secondes d'attente pour que l'IA se "réveille", vous avez une réponse en moins d'une seconde. C'est comme passer d'un train à vapeur à un TGV.
2. Plus d'agents : Grâce à la compression (Q4), vous pouvez faire tourner une équipe entière d'agents sur votre ordinateur portable, même avec peu de mémoire.
3. Sécurité totale : Comme tout reste sur votre ordinateur (pas de cloud), vos conversations privées restent privées. Personne ne peut voler vos "dossiers" pendant le transfert.
4. Qualité préservée : Même avec la compression, l'IA reste aussi intelligente. La différence de qualité est infime (comme une légère différence de couleur sur une photo compressée), mais le gain de vitesse est énorme.

🏁 En résumé

Ce papier décrit un système qui transforme l'ordinateur portable en un bureau d'agents infini.

• Avant : Votre ordinateur oublie tout dès qu'il manque de place.
• Maintenant : Votre ordinateur a un mémoire externe magique qui lui permet de se souvenir de tout, instantanément, sans jamais perdre de temps à réapprendre.

C'est une avancée majeure pour faire tourner des intelligences artificielles complexes, rapides et privées directement dans notre poche, sans dépendre des serveurs géants d'Internet.

Résumé technique

1. Problématique : La Gestion de Mémoire pour les Agents Multiples sur les Périphériques Edge

Les systèmes d'agents LLM (Large Language Models) fonctionnant sur des appareils périphériques (edge devices) comme les MacBook Pro (Apple Silicon) font face à une contrainte critique : la pénurie de mémoire RAM.

• Le goulot d'étranglement : Chaque agent nécessite son propre cache KV (Key-Value) pour maintenir son contexte conversationnel. Sur un appareil avec 24 Go de RAM (dont environ 10,2 Go disponibles pour les caches après déduction du système et des poids du modèle), il est impossible de maintenir simultanément les caches de plusieurs agents à des contextes longs (ex: 8K ou 32K tokens) en format FP16.
• Le coût de l'éviction : Lorsqu'un agent est évincé de la mémoire pour laisser place à un autre, son cache est perdu. Pour le réactiver, le système doit effectuer un re-préremplissage (re-prefill) complet du contexte à travers le modèle. Sur un M4 Pro, cela prend environ 15,7 secondes pour un contexte de 4K tokens, rendant l'interaction non réactive.
• Limites des solutions actuelles : Les approches existantes (comme vLLM ou SGLang) gèrent le cache en mémoire volatile. Elles échouent face à la pression mémoire multi-agent ou après un redémarrage du serveur, car elles ne persistent pas l'état du cache sur le disque.

2. Méthodologie et Architecture du Système

L'article propose une architecture système conçue pour transformer la restauration de contexte d'un problème de calcul (O(n)) en un problème d'E/S (I/O), en exploitant la persistance sur disque et la quantification.

A. Persistance du Cache KV en Format Q4

Au lieu de libérer les blocs de cache lors de l'éviction, le système les écrit sur le SSD dans un format quantifié sur 4 bits (Q4).

• Format de stockage : Utilisation du format safetensors avec des poids uint32 (données packagées) et des échelles/biais bfloat16.
• Gain de mémoire : La quantification Q4 réduit la taille du cache d'environ 72 % par rapport au FP16 (ratio de 0,281). Cela permet de stocker 4 fois plus de contextes d'agents dans la même mémoire.
• Chargement direct : Le cache est rechargé directement dans la couche d'attention sans passer par le modèle, éliminant le calcul de préremplissage.

B. Pool de Blocs et Isolation par Agent

• Pool de blocs persistant : Le cache est divisé en blocs fixes de 256 tokens. Chaque agent possède son propre espace de noms isolé dans le pool, garantissant que les caches ne sont pas corrompus ou mélangés, même après un redémarrage ou un changement de modèle.
• Isolation de sécurité : Cette isolation prévient les attaques de reconstruction de prompt (comme démontré par PROMPTPEEK) et facilite la conformité RGPD/HIPAA en permettant la suppression ciblée des données d'un agent spécifique.

C. Inférence Quantifiée en Lot (Batched Quantized Inference)

• BatchQuantizedKVCache : Une implémentation permettant l'inférence concurrente sur les caches quantifiés de plusieurs agents.
• Planification Interleaved : Un planificateur alterne entre les phases de préremplissage (par morceaux de 512 tokens) et de décodage. Cela permet de masquer la latence de chargement du cache (environ 500 ms) derrière la phase de génération de l'agent précédent.
• Adaptabilité Architecturale : Le système gère des architectures distinctes (GQA pour Gemma/Llama, MLA pour DeepSeek) via une abstraction ModelCacheSpec, rendant le système agnostique au modèle.

D. Injection de Contexte Inter-Phase

Pour les workflows multi-étapes (ex: négociation, débat), le système accumule l'état du cache KV à travers les phases. Au lieu de recalculer le contexte à chaque nouvelle étape, le système charge le cache de la phase précédente et l'étend (match EXTEND), évitant ainsi toute recomputation.

3. Contributions Clés

1. Pool de blocs persistant : Un mécanisme de stockage sur disque en Q4 (safetensors) qui survit aux redémarrages et à la pression mémoire, offrant une isolation stricte par agent.
2. BatchQuantizedKVCache : Une infrastructure permettant l'inférence simultanée sur des caches quantifiés, avec un ordonnancement optimisé pour les appareils edge.
3. Injection de contexte inter-phase : Une méthode pour réutiliser l'état d'attention accumulé entre les phases d'une conversation sans recalcul.
4. Abstraction agnostique : Le système fonctionne sur trois architectures fondamentalement différentes (Gemma 3 12B, DeepSeek-Coder-V2-Lite 16B, Llama 3.1 8B) via une interface API compatible OpenAI.

4. Résultats Expérimentaux

Les évaluations ont été menées sur un MacBook Pro M4 Pro (24 Go RAM) avec un budget de cache de 10,2 Go.

A. Réduction de la Latence (TTFT - Time To First Token)

La restauration de cache Q4 réduit drastiquement le temps de réponse par rapport au préremplissage froid :

• Gemma 3 (12B) : Réduction de 22x à 136x (de 15,7 s à ~577 ms pour 4K-32K).
• DeepSeek (16B) : Réduction de 11x à 76x.
• Llama 3.1 (8B) : Réduction de 24x à 111x.
• Persistance : Après un redémarrage du serveur, le temps de réponse reste à des niveaux "chauds" (warm), contrairement aux systèmes FP16 qui reviennent à zéro.

B. Capacité et Densité Mémoire

• À un contexte de 8K tokens, le format FP16 ne permet d'accueillir que 3 agents simultanément, tandis que le format Q4 en permet 12.
• À 16K tokens, FP16 ne peut même pas supporter un seul workflow multi-agent (épuisement de la mémoire), alors que Q4 en supporte 6.
• Comparaison avec vllm-mlx : Le système proposé survit à des scénarios de pression mémoire et de redémarrage qui font échouer complètement le cache préfixe FP16 de vLLM.

C. Qualité et Perplexité

L'impact de la quantification Q4 sur la qualité du modèle est minime et mesurable :

• Gemma 3 : Changement de perplexité de -0,7 % (dans le bruit de mesure).
• Llama 3.1 : +2,8 %.
• DeepSeek : +3,0 %.
  Ces résultats sont cohérents avec la littérature existante sur la quantification KV à 4 bits.

D. Scénarios Multi-Agents

• Workflows en phases : Dans un scénario d'interrogation en 5 phases, l'utilisation de la persistance inter-phase réduit le temps total de 23 % (Gemma) et 17 % (DeepSeek).
• Routage d'experts : Dans un benchmark de routage vers 10 experts, le passage d'un préremplissage froid à un cache chaud réduit le TTFT de 24x.

5. Signification et Impact

Ce travail représente une avancée significative pour le déploiement d'agents LLM autonomes sur des appareils grand public (Edge AI) :

1. Viabilité du Multi-Agent Local : Il rend possible l'exécution de workflows complexes impliquant 10 à 20 agents simultanés sur un seul ordinateur portable, ce qui était impossible auparavant sans redémarrages constants ou pertes de contexte.
2. Expérience Utilisateur Réactive : En masquant la latence de chargement derrière la génération et en réduisant le TTFT à moins d'une seconde, le système rend les agents interactifs réactifs, respectant les seuils d'acceptabilité humaine (Nielsen).
3. Souveraineté des Données : En permettant une inférence entièrement locale avec persistance de l'état, le système élimine le besoin d'envoyer des historiques de conversation vers le cloud, répondant aux exigences strictes de confidentialité (RGPD, HIPAA).
4. Nouvelle Approche Systémique : L'article démontre que la combinaison de la quantification, de la persistance sur disque et de la gestion de la mémoire virtuelle pour l'état d'attention est une voie supérieure aux solutions purement computationnelles pour les contraintes matérielles fixes.

En conclusion, ce système transforme la gestion de la mémoire des agents LLM d'un problème de calcul coûteux en un problème de gestion de stockage efficace, ouvrant la voie à des assistants personnels intelligents et multi-agents véritablement autonomes sur les appareils mobiles.