🤖 machine learning

Structured Memory for Edge Language Models: Persistent Context and Corpus Retrieval via O(1) SSM State Injection

Cet article introduit PRECOG et SMC, un système de génération augmentée par récupération pour les modèles d'espace d'états qui pré-encode des corpus de documents en états cachés de taille fixe pour parvenir à une injection de contexte en $O(1)$ , permettant des modèles de langage de bord interactifs avec des accélérations massives par rapport au RAG traditionnel basé sur les Transformers.

Auteurs originaux : Anusha Madan Gopal, Aras Pirbadian, Kristofor D. Carlson, M Anthony Lewis, Jonathan Tapson

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anusha Madan Gopal, Aras Pirbadian, Kristofor D. Carlson, M Anthony Lewis, Jonathan Tapson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à répondre à des questions en lui fournissant une immense bibliothèque de livres. Dans le monde de l'intelligence artificielle, la méthode la plus populaire pour faire cela revient à donner au robot une pile de papiers en lui disant : « Lis chaque mot de ces papiers avant de répondre à ma question. » Cela fonctionne, mais c'est lent. Si la pile est énorme, le robot doit passer beaucoup de temps simplement à lire le contexte avant même de pouvoir dire « Bonjour ». De plus, le robot doit se souvenir de chaque mot qu'il vient de lire, ce qui occupe beaucoup de mémoire, comme essayer de garder toute une encyclopédie dans sa tête pendant qu'on parle.

Les scientifiques cherchent un moyen de rendre ce processus plus rapide et plus léger, surtout pour les robots qui vivent sur de petits appareils comme des téléphones ou des appareils électroménagers intelligents, où la mémoire est limitée et où la vitesse est primordiale. Ils explorent un autre type d'architecture cérébrale appelé « Modèle d'Espace d'État » (SSM - State-Space Model). Voyez le SSM non pas comme un robot qui lit un livre page par page et mémorise chaque mot, mais comme un robot qui lit un livre puis compresse instantanément toute l'histoire en une seule, minuscule et magique carte de résumé. Cette carte contient la signification de ce qui a été lu, mais pas les mots eux-mêmes, et peu importe où dans le livre l'histoire s'est déroulée. La grande question que les chercheurs posent est la suivante : pouvons-nous utiliser cette astuce de la « carte de résumé » pour sauter l'étape de la lecture lente ? Si nous le pouvons, nous pourrions créer une IA capable de répondre instantanément, même sur de petits appareils, sans avoir besoin d'un ordinateur massif dans le cloud.

Ce document présente une astuce ingénieuse appelée PRECOG (qui signifie Pre-Computed Context Injection ou Injection de Contexte Pré-Calculée) qui répond par l'affirmative : « Oui, nous le pouvons. » Les auteurs, travaillant avec un type spécifique de modèle d'IA appelé TENNs-LLM, ont trouvé comment prendre un bloc de texte, le faire passer une fois dans l'IA pour créer cette minuscule « carte de résumé » (un état caché), puis la sauvegarder. Plus tard, lorsqu'un utilisateur pose une question, au lieu de faire relire le texte par l'IA, le système extrait simplement la carte de résumé sauvegardée et l'injecte directement dans le cerveau de l'IA. C'est comme sauter la partie lecture d'un examen pour simplement donner à l'élève les notes préparées qu'il a déjà étudiées.

Les résultats sont époustouflants en termes de vitesse. Sur le matériel spécifique de bord (edge hardware) testé par l'équipe, l'ancienne méthode de « lecture » du contexte a pris environ 27 secondes juste pour obtenir la première réponse. Avec PRECOG, ce temps est tombé à moins de 6 millisecondes. C'est une accélération d'environ 4 500 fois, transformant un processus qui était inutilisable en un processus qui semble instantané et interactif. Le document prouve mathématiquement que ce raccourci ne rend pas l'IA « bête » ; les réponses sont tout aussi bonnes que si elle avait lu le texte mot par mot, car la façon dont ce type spécifique d'IA fonctionne permet à la carte de résumé d'être un remplacement parfait pour le texte.

Le document présente également une seconde fonctionnalité appelée SMC (Structured Memory Consolidation ou Consolidation de Mémoire Structurée). Si PRECOG concerne la mémorisation d'une bibliothèque de livres, la SMC concerne la mémorisation de la vie d'une personne. Elle organise les mémoires à long terme de l'IA (comme vos préférences ou vos conversations passées) en différents « dossiers » ou grappes, comme « Émotions », « Faits » ou « Lieux ». Elle peut ensuite charger instantanément le bon dossier dans le cerveau de l'IA lorsque vous commencez une conversation, de sorte que l'IA se souvienne de qui vous êtes et de ce que vous aimez sans que vous ayez à le lui rappeler à chaque fois. Tout ce système est conçu pour fonctionner sur de petits appareils à faible consommation, rendant possible l'existence d'un assistant IA super intelligent et riche en mémoire, directement dans votre poche.

Les auteurs sont très confiants dans leurs calculs. Ils ont prouvé que pour ce type spécifique d'IA, la méthode de la « carte de résumé » n'est pas une approximation ou une supposition ; elle est mathématiquement identique à la lecture du texte. Cependant, ils soulignent également que cette astuce ne fonctionne que pour ce type spécifique d'architecture d'IA. Les modèles d'IA plus courants (appelés Transformers) sont construits différemment ; ils s'emmêlent dans l'ordre des mots, on ne peut donc pas simplement remplacer le texte par une carte de résumé. Pour ces modèles, vous devez toujours relire le texte à chaque fois. Mais pour l'avenir de l'IA de bord, petite et rapide, ce document suggère une voie où nous pouvons disposer d'une mémoire puissante sans le bagage lourd d'une lecture lente.

Résumé Technique : Mémoire Structurée pour les Modèles de Langage en Périphérie via l'Injection d'État SSM en O(1)

1. Énoncé du Problème

Le déploiement pratique de la Génération Augmentée par Récupération (RAG) sur les appareils en périphérie (edge) est actuellement limité par deux contraintes structurelles de l'architecture Transformer dominante :

Coût de Pré-remplissage Linéaire : Le RAG en contexte nécessite la ré-ingestion des jetons de contexte récupérés jeton par jeton lors de la phase de pré-remplissage (prefill). Cela impose une latence et un coût énergétique proportionnels à la longueur du contexte ( $O(L_{context})$ ), ce qui est prohibitif sur le matériel de périphérie limité en bande passante.
Caches KV Liés à la Position : Les caches Clé-Valeur (KV) des Transformers intègrent des encodages positionnels (rotatifs ou absolus), ce qui les rend non réutilisables à travers différents contextes ou positions. De plus, la taille du cache augmente linéairement avec la longueur du contexte, créant un goulot d'étranglement de stockage qui s'adapte mal à la taille du corpus.

Les Modèles d'Espace d'États (SSM) offrent une alternative théorique en compressant le contexte antérieur dans un état caché récurrent de taille fixe et indépendant de la position. Cependant, les implémentations RAG existantes reposent toujours sur une ingestion jeton par jeton, échouant à exploiter les propriétés algébriques uniques des SSM qui pourraient éliminer entièrement le coût de pré-remplissage.

2. Méthodologie

Le document introduit PRECOG (Pre-Computed Context Injection) et SMC (Structured Memory Consolidation), deux mécanismes qui exploitent l'invariance de translation temporelle des SSM pour contourner l'ingestion de contexte.

PRECOG : Injection de Contexte Pré-Calculé

PRECOG recadre le RAG en pré-calculant les états cachés des documents récupérés hors ligne et en les injectant directement au moment de la requête.

Indexation Hors Ligne : Les corpus de documents sont partitionnés en blocs (chunks). Un modèle de langage SSM traite chaque bloc pour capturer l'état caché final ( $\bar{h}^{(i)}$ ) pour chaque couche. Ces états de taille fixe (192 Ko pour le modèle de 1,2 milliard de paramètres) sont stockés sur un stockage flash, associés à des clés d'encodeurs de phrases légers pour la récupération.
Injection au Moment de la Requête : Lors de la réception d'une requête, le système récupère les $k$ blocs correspondants via leurs clés. Au lieu de ré-ingérer le texte, le système charge les états cachés pré-calculés correspondants et les injecte comme l'état récurrent initial ( $\bar{h}_{init}$ ) du modèle. Le modèle traite ensuite uniquement les jetons de la requête.
Garantie Théorique (Théorème 1) : Le document prouve que pour tout état initial $h_0$ , contexte $c$ et requête $q$ , la trajectoire d'état $S(h_0, c \oplus q)$ est algébriquement identique à $S(S(h_0, c), q)$ . Parce que les mises à jour des SSM dépendent uniquement de l'état actuel et du jeton (et non de la position absolue), l'injection d'un état pré-calculé est mathématiquement équivalente au traitement séquentiel des jetons de contexte. Cela garantit que PRECOG correspond exactement à la qualité de réponse du RAG en contexte (modulo le bruit de quantification).

SMC : Consolidation de Mémoire Structurée

SMC étend le mécanisme d'injection d'état à la mémoire persistante sur l'appareil pour accumuler les préférences de l'utilisateur, l'historique des interactions et les journaux (logs).

Clustering Hiérarchique : Les blocs d'interaction sont acheminés vers des clusters de domaines cognitifs (ex: Émotionnel, Temporel, Spatial, Factuel) et ensuite vers des sous-clusters basés sur les modèles de rappel (épisodique vs sémantique).
Curseur Fidélité-Stockage : Un paramètre $K$ $K$ contrôle la rétention des états par bloc :
- $K=N_c$ : Mémoire épisodique sans perte (tous les états sont conservés).
- $K=1$ : Mémoire sémantique (seul l'état final est conservé, identique aux blocs PRECOG).
Initialisation de Session en O(1) : Au début d'une session, le système identifie le domaine dominant et injecte directement l'état sémantique consolidé correspondant dans le SSM. Cela initialise le modèle avec un historique d'interactions sans ré-ingérer aucun jeton, maintenant une latence en $O(1)$ quelle que soit la longueur de l'historique accumulé.

3. Contributions Clés

Refactorisation Algorithmique du RAG : Le document démontre que le coût d'ingestion du contexte peut être réduit de $O(L_{context})$ à $O(1)$ en injectant des états cachés de SSM pré-calculés, un mécanisme structurellement impossible pour les Transformers en raison de l'enchevêtrement positionnel.
Preuve d'Équivalence Exacte : Le Théorème 1 fournit une garantie formelle que PRECOG produit des trajectoires d'état identiques au RAG en contexte, assurant que l'accélération ne se fait pas au détriment de la qualité de la réponse.
Substrat de Mémoire Unifié : Le même primitif d'injection d'état unifie la récupération de corpus statiques (PRECOG) et la mémoire persistante dynamique (SMC), permettant aux modèles de périphérie de fusionner la connaissance récupérée et l'historique de l'utilisateur en une seule étape de requête.
Faisabilité du Déploiement en Périphérie : En instanciant ces méthodes sur TENNs-LLM (un modèle de langage à portes et SSM de 1,2 milliard de paramètres avec un état caché total de 192 Ko), les auteurs démontrent que la récupération au niveau de l'état est pratique sur le matériel neuromorphique de périphérie, où la petite empreinte de l'état respecte les contraintes de mémoire sur puce.

4. Résultats

Le système a été évalué sur l'ensemble de développement SQuAD v1.1 en utilisant un backbone TENNs-LLM de 1,2 milliard de paramètres.

Qualité : PRECOG (injection top-1) a atteint un Exact Match (EM) de 58,0 et un F1 de 73,4, égalant la référence du RAG en contexte (EM 58,2, F1 73,6) dans les limites du bruit de quantification FP16. Cela valide empiriquement l'équivalence théorique.
Latence : Sur le matériel de périphérie (processeur neuromorphique simulé), PRECOG réduit la latence de pré-remplissage de ~27 secondes (nécessaire pour l'ingestion en contexte d'un bloc de 512 jetons) à <6 ms pour l'overhead de récupération et d'injection elle-même. Le Temps pour le Premier Jeton (TTFT) total, incluant l'ingestion des jetons de la requête, est d'environ 585 ms. L'accélération de ~4 500× citée dans le document se réfère spécifiquement à l'élimination de la phase d'ingestion de contexte de ~27 s, et non à la latence totale de la requête.
Efficacité du Stockage : Pour un bloc de 512 jetons, l'état PRECOG nécessite 192 Ko, tandis qu'un cache KV de Transformer comparable nécessite ~16 Mo (une réduction de 85×). Pour un corpus de 10 000 blocs, PRECOG nécessite 1,9 Go de stockage contre 160 Go pour une approche hypothétique par cache KV, rendant cette dernière infaisable sur des appareils grand public.
Ablations :
- Profondeur d'Injection : L'injection des 12 couches inférieures uniquement (96 Ko) a préservé 99 % du score F1 complet, suggérant une optimisation potentielle supplémentaire du stockage.
- Longueur de Bloc : Les performances correspondent au RAG en contexte pour des blocs allant jusqu'à ~600 jetons (l'horizon de mémoire effectif du modèle). Au-delà, PRECOG se dégrade progressivement car le SSM oublie naturellement les jetons lointains, reflétant le comportement du RAG en contexte avec le même backbone.

5. Signification et Revendications

Le document affirme que PRECOG et SMC représentent un changement fondamental dans la manière dont la récupération et la mémoire sont gérées pour les modèles de langage en périphérie. La signification réside dans :

Exclusivité Architecturale : Le mécanisme repose sur l'invariance de translation temporelle des SSM, ce qui le rend "architecturalement impossible" pour les caches KV des Transformers.
Viabilité en Périphérie : Il résout le "goulot d'étranglement du pré-remplissage" qui empêche actuellement le RAG interactif sur les appareils limités en bande passante, permettant une transition de l'inférence dépendante du cloud vers une interaction en périphérie à faible latence.
Principe de Conception : Les auteurs postulent qu'à mesure que les SSM réduisent l'écart de qualité avec les Transformers, leurs propriétés structurelles (état de taille fixe, indépendant de la position) permettront une nouvelle classe d'algorithmes de récupération, de mise en cache et d'extension de mémoire inaccessibles aux architectures basées sur l'attention.

Le document reste modeste quant aux limites, reconnaissant que PRECOG hérite de l'horizon de mémoire fini du SSM (ne peut récupérer l'information que le backbone oublierait) et que l'heuristique de composition top- $k$ (pour la récupération multi-blocs) est une approximation sans la garantie d'exactitude de l'injection top-1. De plus, les chiffres de déploiement neuromorphique sont basés sur des mesures FPGA et des simulations de puissance de 12 nm, en attente de vérification par un tirage physique (tape-out).