💬 NLP

LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference

L'article présente LiveMem, une méthode de mémoire intrinsèque pour les LLM pré-entraînés à attention complète qui maintient un état de mémoire persistant et porteur, indépendant de la fenêtre de contexte active, permettant ainsi la continuité de l'état et la rétention d'informations à long terme dans des scénarios d'inférence prolongés où les preuves historiques ne sont plus présentes dans le contexte immédiat.

Auteurs originaux : Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu

Publié 2026-08-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parliez à un ami très intelligent qui se souvient de tout ce que vous avez jamais dit. Dans le monde de l'intelligence artificielle, cet ami est un « Grand Modèle de Langage » (LLM). Habituellement, ces modèles sont comme des étudiants passant un examen : ils lisent un ensemble spécifique d'instructions et une histoire, répondent à une question, puis l'examen est terminé. Mais et si vous vouliez que cet ami soit un compagnon de vie, discutant avec vous pendant des années, vous aidant à planifier un voyage, se souvenant de vos chansons préférées et résolvant des problèmes au fil de centaines de conversations ?

Le problème est que ces amis IA ont une « mémoire de travail » qui est étonnamment petite. Pensez à cela comme à un tableau blanc dans une salle de classe. L'enseignant (l'IA) ne peut voir que ce qui est écrit sur le tableau en ce moment même. Si le cours dure trop longtemps, l'enseignant doit effacer les anciennes notes pour faire de la place aux nouvelles. Une fois effacées, ces anciennes notes disparaissent du tableau. Les systèmes d'IA traditionnels tentent de résoudre cela en gardant un immense carnet de notes de tout ce qui a été dit et en le feuilletant chaque fois qu'une question se pose. Mais c'est lent et lourd ; c'est comme devoir interrompre la conversation pour chercher un fait dans une bibliothèque au lieu de s'en souvenir simplement. La grande question que se posent les scientifiques est la suivante : pouvons-nous donner à l'IA un moyen de garder un « sentiment » ou un « résumé » du passé sur son tableau blanc, même après que les mots spécifiques ont été effacés, afin qu'elle ne perde jamais le fil de la conversation ?

C'est exactement ce que l'article « LiveMem » aborde. Les chercheurs, dirigés par Zhichen Liu et Ruihan Sun, proposent une nouvelle façon pour l'IA de gérer de longues conversations sans perdre la tête. Ils introduisent un système appelé LiveMem, qui agit comme un « sac à dos » magique et permanent pour les pensées de l'IA.

Voici comment cela fonctionne : imaginez que l'IA possède deux façons de penser. La première est son « Cerveau Principal », qui regarde la conversation actuelle sur le tableau blanc. Ce tableau blanc est de taille limitée ; lorsqu'il est plein, les notes les plus anciennes sont effacées pour faire de la place aux nouvelles. C'est normal. Mais LiveMem ajoute une seconde partie : un « Second Cerveau » ou un État de Mémoire Récurrente. Ce second cerveau est comme un sac à dos que l'IA porte en permanence. À mesure que l'IA lit de nouveaux mots, elle met à jour ce sac à dos. Lorsque le tableau blanc est plein et que les anciennes notes sont effacées, les informations importantes de ces notes effacées ne sont pas perdues ; elles sont emballées dans le sac à dos.

Les chercheurs ont entraîné ce système en utilisant une technique spéciale. Ils ne se sont pas contentés de laisser l'IA lire de longues histoires ; ils l'ont forcée à pratiquer l'« oubli » du tableau blanc tout en gardant le sac à dos bien rempli. Ils ont utilisé une méthode appelée « rotation de contexte » (context turnover), où ils prenaient une longue conversation, montraient le début à l'IA, puis effaçaient le début du tableau blanc, et posaient une question à l'IA sur ce passage. Si l'IA ne comptait que sur le tableau blanc, elle échouerait car les notes avaient disparu. Mais parce que LiveMem avait emballé les détails clés dans son sac à dos, l'IA pouvait toujours répondre correctement.

L'article montre que LiveMem est très performant. Dans leurs tests, lorsque la preuve d'une question était complètement effacée de la vue immédiate de l'IA (le tableau blanc), LiveMem pouvait toujours répondre à la question avec une grande précision. Par exemple, dans un test appelé « LongMemEval », lorsque l'élément de preuve était repoussé loin de la fenêtre de conversation actuelle, LiveMem surpassait nettement les autres méthodes. Alors que les modèles sans ce « sac à dos » (comme le Qwen3-4B standard) tombaient à une précision extrêmement basse, LiveMem affichait des résultats plus de dix points de pourcentage supérieurs. Cela suggère que l'IA ne se contente pas de deviner ; elle transporte réellement l'historique via son état de mémoire.

Cependant, les auteurs précisent avec prudence que ce « sac à dos » n'est pas un studio d'enregistrement parfait. Il ne stocke pas chaque mot exactement tel qu'il a été prononcé. Si vous demandez à l'IA de réciter une phrase spécifique qui a été effacée il y a trois jours, elle pourrait ne pas obtenir le résultat 100 % exact. C'est plutôt un résumé ou un sentiment de ce qui s'est passé. L'article exclut explicitement l'idée que ce système soit une archive parfaite et sans perte de chaque jeton (token). C'est un état « avec perte » (lossy) qui garde vivantes les parties utiles de la mémoire.

L'équipe a également découvert que la manière dont on entraîne l'IA est cruciale. Si l'on mélange simplement tous les types de données, l'IA pourrait ne pas apprendre à utiliser efficacement le sac à dos. Ils ont découvert qu'un calendrier d'entraînement spécifique — commençant par de longues histoires pour « réveiller » la mémoire latérale, puis passant à un mélange de différentes tâches — fonctionnait le mieux. Cela a permis à l'IA d'apprendre à écrire dans son sac à dos et à lire dedans de manière efficace.

En résumé, LiveMem suggère une nouvelle façon de construire des assistants IA qui peuvent véritablement se souvenir de leur histoire. Au lieu de simplement consulter de vieilles notes dans une bibliothèque ou de compter sur un minuscule tableau blanc, LiveMem donne à l'IA un état persistant qui évolue avec chaque conversation. Bien qu'il ne s'agisse pas d'une archive parfaite de chaque mot, il parvient à maintenir vivante l'« histoire » de l'interaction, permettant à l'IA de rester cohérente et utile même après que les détails spécifiques du passé ont été effacés de sa vue immédiate. Cela nous rapproche d'agents d'IA qui peuvent être de véritables compagnons de vie, maintenant un sens continu de soi et de l'histoire au fil du temps.

Résumé Technique : LiveMem

Définition du Problème : Continuité de l'État sous Rotation de Contexte

Les assistants et agents IA de longue durée opèrent sur des cycles d'interaction qui dépassent inévitablement la fenêtre de contexte fixe des grands modèles de langage (LLM). Les solutions existantes comme la génération augmentée par récupération (RAG) et les systèmes de mémoire externe fournissent un « accès historique » (récupération de dossiers passés spécifiques sur demande), mais elles ne parviennent pas à fournir une continuité de l'état. Ces systèmes agissent comme des stockages persistants (comme des carnets de notes) mais ne maintiennent pas un état de calcul fluide et continu qui évolue à mesure que le contexte de travail change.

Le problème central identifié est la manière de maintenir la continuité de l'inférence lorsque le contexte de travail subit une rotation (c'est-à-dire lorsque d'anciens jetons sont évincés pour faire de la place aux nouveaux). Les méthodes existantes peinent à porter le calcul en avant à travers un état à capacité fixe dont la durée de vie est indépendante du contexte actif. L'article pose que si la récupération externe gère l'« accès historique », un mécanisme distinct est nécessaire pour la « continuité de l'état » — un état de mémoire continu et mis à jour en ligne qui persiste tout au long du cycle de vie du modèle.

Méthodologie : Architecture et Entraînement de LiveMem

LiveMem est introduit comme une méthode de mémoire intrinsèque qui augmente un LLM pré-entraîné à pleine attention par une branche de mémoire récurrente parallèle. Le système est conçu pour fonctionner sous des contraintes strictes de rotation de contexte.

1. Architecture

LiveMem modifie un transformeur décodeur standard en ajoutant une branche de mémoire de chemin latéral à chaque couche d'attention :

Chemin Principal (Attention) : Maintient un contexte de travail borné (cache KV) pour un accès précis à court terme. Lorsque la limite de contexte est atteinte, les entrées Clé-Valeur (KV) les plus anciennes sont évincées (rotation de contexte).
Chemin Latéral (Mémoire Récurrente) : Utilise Gated DeltaNet-2 (GDN2) comme squelette pour un état récurrent parallèle ( $S_t$ ). Cette branche lit et met à jour continuellement un état de mémoire de taille fixe à partir des mêmes représentations cachées que le chemin principal.
Intégration : La sortie de la branche GDN2 ( $r_t$ ) est ajoutée directement à la sortie de l'attention ( $a_t$ ) à chaque couche du décodeur ( $o_t = a_t + r_t$ ).
Mécanisme : La mise à jour de l'état GDN2 implique des portes d'apprentissage de décroissance (decay), d'effacement (erase) et d'écriture (write). Crucialement, lorsqu'un bloc de jetons est évincé du chemin d'attention principal, son information est préservée dans l'état de mémoire récurrent. Le système conserve le prompt système comme un « puits d'attention » (attention sink) pour assurer la stabilité structurelle.

2. Rotation de Contexte et Cohérence d'Inférence

Le système impose une politique d'éviction stricte du type « le plus ancien en premier » pendant l'entraînement et l'inférence.

Entraînement : Des masques d'attention dynamiques sont utilisés pour simuler la rotation de contexte, forçant le modèle à compter sur l'état de mémoire pour les informations qui ont été retirées de la fenêtre active.
Inférence : Les pages KV évincées sont libérées en mémoire, les rendant inaccessibles au mécanisme d'attention. L'état récurrent est le seul porteur restant de cette information historique.

3. Post-Entraînement Orienté Mémoire

L'ajout d'un module récurrent ne garantit pas qu'il portera une mémoire efficace. LiveMem emploie un régime de post-entraînement spécifique pour s'assurer que l'état devient « vivant » (c'est-à-dire qu'il influence réellement les prédictions futures après la disparition des jetons sources) :

Apprentissage Supervisé (SFT) : Le modèle est entraîné sur des tâches de QA sur documents longs et de raisonnement multi-étapes où l'historique est tronqué de la fenêtre d'attention. La perte (loss) est appliquée uniquement aux jetons de réponse, forçant le modèle à utiliser l'état de mémoire pour générer des réponses correctes.
Apprentissage par Renforcement (RL) : Le modèle est optimisé davantage via l'algorithme GRPO avec un signal de récompense basé sur l'exactitude de la réponse. Cela encourage le modèle à mieux préserver et récupérer l'information de l'état de mémoire, particulièrement dans des scénarios impliquant plusieurs questions partageant un contexte historique.
Stratégie d'Entraînement : Un curriculum est utilisé où le modèle est d'abord « échauffé » avec des données de textes longs pour activer la branche latérale, suivi d'un entraînement sur un mélange rééquilibré pour affiner la maintenance de la mémoire.

Contributions Clés

Formalisation de la Continuité de l'État : L'article définit la « continuité de l'état sous rotation de contexte » comme une capacité d'inférence distincte, la séparant des mécanismes de récupération externes. Il la modélise comme une exigence à l'échelle du cycle de vie où un état de mémoire à capacité fixe persiste indépendamment du contexte actif.
Architecture LiveMem : Une conception de bout en bout intégrant une branche latielle récurrente basée sur GDN2 dans un LLM à pleine attention, permettant au modèle de maintenir un état continu pendant que la fenêtre d'attention principale tourne.
Paradigme d'Entraînement : La proposition de tâches de post-entraînement orientées mémoire (SFT et RL) spécifiquement conçues pour forcer le modèle à apprendre comment écrire, préserver et lire depuis un état de mémoire après que les jetons d'origine ne sont plus visibles par l'attention.
Validation Empirique : Une évaluation complète démontrant que l'état de mémoire peut porter des informations pertinentes pour la tâche au-delà de la fenêtre active, même lorsque les preuves sont complètement évincées.

Résultats Expérimentaux

Aperçu des Performances :
LiveMem a été évalué sur Qwen3-4B pour les tâches de Wiki QA, Conversation QA, Test-Time Learning (TTL) et Long Document QA, avec des fenêtres de contexte restreintes à 8k ou 32k jetons.

Performance Globale : LiveMem (spécifiquement la variante RL) a obtenu des performances globales de premier plan, surpassant les bases de référence comme RAG, Context2LoRA, $\delta$ -Mem et une base de référence récurrente.
Tâches Multi-Questions (MQ) : Alors que les autres méthodes (y compris RAG et $\delta$ -Mem) ont connu des chutes de performance spectaculaires sur les tâches multi-étapes et multi-questions, LiveMem a maintenu sa position de leader, indiquant une capacité supérieure à gérer simultanément plusieurs chaînes logiques via un état persistant.
Long QA : LiveMem a obtenu des scores équilibrés et forts sur les tâches de documents longs, là où les autres méthodes étaient souvent spécialisées sur des sous-ensembles spécifiques.

Analyse de la Continuité de l'État (LongMemEval) :

Éviction des Preuves : Les expériences ont montré que lorsque les preuves de support étaient complètement retirées de la fenêtre de contexte active, LiveMem maintenait une précision nettement plus élevée que les bases de référence (ex: ~16,5 % contre ~3,1 % pour Qwen3-4B dans les scénarios d'éviction totale).
Analyse de Distance : À mesure que la distance entre la preuve et la fenêtre actuelle augmentait, la précision de LiveMem montrait un léger déclin mais restait stable et mesurable, prouvant que l'état de mémoire retient l'information à travers plusieurs intervalles de rotation.
Ablation : L'entraînement de la branche latérale avec les paramètres complets offrait une meilleure stabilité que LoRA, suggérant que l'écart de distribution entre l'attention et GDN2 nécessite une adaptation complète.

Limites :
L'article note que l'état de mémoire de LiveMem est perteux (lossy). Il ne peut pas reconstruire de manière fiable des jetons arbitraires et fins (ex: des « aiguilles » spécifiques dans une botte de foin) une fois qu'ils sont évincés, comme le démontrent les tests de Needle-in-a-Haystack (NIAH) où LiveMem se comporte de manière similaire au modèle de base sous des contextes bornés. Le système est conçu pour une influence pertinente à la tâche, et non pour un rappel archivistique exact.

Signification et Revendications

L'article affirme que LiveMem établit la continuité de l'état comme une abstraction distincte et complémentaire pour l'inférence continue des LLM.

Complémentarité : Il soutient que l'« accès historique » (récupération) et la « continuité de l'état » (mémoire récurrente) sont orthogonaux. La récupération détermine ce que l'information passée est lue, tandis que l'état récurrent détermine comment la cohérence de l'information est maintenue sur le cycle de vie après la lecture.
Praticité : En maintenant un état de mémoire indépendant des requêtes qui survit à la rotation de contexte, LiveMem comble une lacune critique entre l'attention à capacité limitée et la récupération externe, progressant vers une inférence à contexte infini pratique où l'état interne du modèle évolue continuellement sans dépendre uniquement de la ré-extraction de l'historique.
Modestie : Les auteurs déclarent explicitement que LiveMem n'est pas universellement optimal ; la récupération et la mémoire paramétrique possèdent toujours des forces. Cependant, les résultats démontrent suffisamment que les états de mémoire intrinsèques peuvent porter des informations historiques au-delà du contexte de travail, une capacité qui n'avait pas été traitée par les patchs de mémoire basés sur l'ingénierie existants.