Résumé technique : Architecture augmentée par la mémoire pour la gestion du contexte à long terme dans les grands modèles de langage

Problématique

Les grands modèles de langage (LLM) sont confrontés à une limitation critique dans le maintien de la cohérence des interactions lors de dialogues prolongés en raison d'une mémoire contextuelle contrainte. Les architectures standards basées sur les transformeurs reposent sur des tailles d'entrée fixes, ce qui limite leur capacité à capturer les dépendances à long terme. Par conséquent, à mesure que les conversations s'allongent, des informations contextuelles essentielles sont perdues, entraînant des échanges fragmentés, une réduction de la pertinence des réponses et des hallucinations potentielles. Bien que les approches existantes d'augmentation de la mémoire tentent de stocker les interactions passées, elles souffrent souvent d'un gonflement de la mémoire et d'une augmentation de la latence d'inférence, particulièrement lorsqu'elles s'appuient sur des stratégies de gestion sous-optimales comme l'éviction LRU (Least Recently Used), qui peut écarter des informations hautement pertinentes mais plus anciennes. Il existe un besoin pressant pour une architecture capable de gérer dynamiquement la mémoire afin de ne conserver que le contexte le plus pertinent sans augmenter de manière significative la charge de calcul.

Méthodologie

Les auteurs proposent une architecture augmentée par la mémoire conçue pour la génération de réponses ancrées dans le contexte. Le cadre fonctionne via les mécanismes suivants :

1. Plongement et Récupération : Les requêtes de l'utilisateur ($Q_t$) sont projetées dans des plongements (embeddings) de haute dimension ($q_t$) à l'aide d'un réseau d'encodage ($f_{enc}$). Ces plongements sont comparés à un magasin de mémoire ($M_t$) contenant les plongements des interactions passées ($m_i$).
2. Sélection basée sur la similitude : Le système récupère l'entrée de mémoire la plus pertinente ($m_{retrieved}$) en calculant la similitude cosinus ($\alpha$) entre le plongement de la requête actuelle et les entrées de mémoire stockées. Cette mémoire récupérée conditionne le décodeur du LLM pour générer une réponse contextuellement ancrée ($R_t$).
3. Mise à jour de la mémoire : Après la génération d'une réponse, une nouvelle entrée de mémoire est créée en encodant la requête et la réponse concaténées ($[Q_t || R_t]$) et ajoutée au magasin de mémoire.
4. Stratégies de gestion de la mémoire : Pour éviter une croissance indéfinie de la mémoire, le système emploie deux stratégies distinctes lorsque la taille de la mémoire dépasse un seuil ($N$) :
   • Éviction LRU : Supprime l'entrée de mémoire ayant le plus ancien horodatage d'accès.
   • Élagage basé sur la pertinence : Calcule un score de pertinence ($\kappa$) pour chaque entrée de mémoire basé sur sa similitude maximale avec les requêtes récentes au sein d'une fenêtre glissante ($T$). L'entrée ayant le score de pertinence le plus bas est élaguée. Cette stratégie vise à préserver le contexte crucial même s'il n'est pas le plus récemment accédé.

L'architecture est modulaire, nécessite des modifications minimales au LLM de base, et utilise un réseau de récupération pour sélectionner les mémoires, se distinguant ainsi des approches de génération augmentée par récupération (RAG) statiques.

Principales contributions

Le document présente trois contributions principales :

1. Élagage basé sur la pertinence : Une nouvelle stratégie de gestion de la mémoire qui privilégie la rétention d'informations hautement pertinentes plutôt que la simple récence (LRU), améliorant ainsi la qualité et la cohérence des réponses.
2. Architecture modulaire : Une conception qui s'intègre de manière transparente aux cadres de travail LLM existants (ex: LLAMA 3, Gemma 2) sans nécessiter de changements architecturaux significatifs au modèle de base.
3. Gestion efficace du contexte à long terme : Capacité démontrée à maintenir la cohérence dans des dialogues étendus, menant à des réponses plus pertinentes par rapport aux modèles de référence.

Résultats expérimentaux

Le cadre proposé a été évalué sur trois tâches : le Jeu des 20 Questions, Persona-Chat et DailyDialog, en utilisant les modèles LLAMA 3 8B et Gemma 2 9B.

• Amélioration de la précision : Dans le Jeu des 20 Questions, le LLAMA 3 8B augmenté par la mémoire a amélioré la précision de 62,3 % (référence) à 80,4 %, tandis que le Gemma 2 9B est passé de 64,8 % à 82,1 %.
• Cohérence contextuelle : Sur les ensembles de données de dialogue, la méthode proposée a obtenu des scores de cohérence contextuelle (CCS) plus élevés. Notamment, le Gemma 2 9B a atteint un CCS de 0,83 sur Persona-Chat, contre 0,72 pour le modèle de référence.
• Efficacité de la gestion de la mémoire : L'élagage basé sur la pertinence a systématiquement surpassé l'éviction LRU. Pour le LLAMA 3 8B, l'élagage basé sur la pertinence a atteint 80,4 % de précision avec une surcharge de mémoire de 1022,7 Mo, alors que l'éviction LRU est tombée à 76,5 % de précision. L'élagage basé sur la pertinence a également réduit la latence par rapport à la base de référence « sans élagage ».
• Impact du modèle de plongement : Le choix du modèle de plongement a considérablement affecté les performances. GTE-large a produit la précision la plus élevée (80,4 % pour LLAMA 3, 82,1 % pour Gemma 2), surpassant MiniLM-L6-v2 et Universal Sentence Encoder, grâce à sa capacité supérieure à capturer les relations sémantiques.

Signification et affirmations

Le document affirme que la solution proposée améliore considérablement les applications en temps réel telles que les assistants virtuels, les chatbots et les systèmes de support client en permettant des interactions soutenues et contextuellement conscientes. En employant l'élagage basé sur la pertinence plutôt que l'éviction LRU, la méthode conserve efficacement le contexte essentiel, évite le gonflement de la mémoire et assure l'évolutivité pour les environnements à ressources limitées.

Les auteurs soutiennent que cette avancée comble le fossé entre la fluidité conversationnelle de type humain et la faisabilité technologique, élevant le standard des systèmes de dialogue. Le travail est présenté comme une approche modulaire et adaptable qui fonctionne sans modifications architecturales significatives, ce qui la rend adaptée à l'intégration dans divers cadres de travail LLM pour répondre au défi persistant de la rétention de contexte à long terme.