Résumé Technique : UniMem

Problématique

L'article traite du dilemme stabilité-plasticité auquel sont confrontés les agents de Grands Modèles de Langage (LLM) déployés dans des flux de tâches réels, sans frontières définies et évolutifs. Les paradigmes de mémoire existants se divisent en deux catégories, chacune présentant des limitations significatives dans ce contexte :

• Mémoire Externe (ex: RAG) : Offre une grande plasticité en permettant l'incorporation immédiate de nouvelles preuves sans mise à jour des gradients. Cependant, elle ne parvient pas à internaliser les schémas d'exécution récurrents, ce qui entraîne une performance sous-optimale sur les tâches répétées et génère un surcoût de recherche lors de l'inférence.
• Mémoire Paramétrique (ex: PEFT, LoRA) : Assure une exécution stable et efficace en internalisant la connaissance des tâches dans des paramètres entraînables. Toutefois, elle repose généralement sur des limites de tâches explicites et des budgets de paramètres fixes, ce qui rend difficile l'adaptation à des flux hétérogènes où la composition et l'échelle des tâches changent dynamiquement.

S'appuyer uniquement sur l'une ou l'autre de ces approches résulte en un compromis où les agents manquent soit de généralisation sur les schémas récurrents, soit de capacité à accommoder efficacement de nouvelles tâches sporadiques. Les auteurs formulent cela comme un défi de gestion de flux de tâches hétérogènes, sans frontières et évolutifs sans étiquettes de tâches prédéfinies.

Méthodologie

Inspiré par la théorie des Systèmes d'Apprentissage Complémentaires (CLS) — qui postule que le cerveau humain résout le compromis stabilité-plasticité grâce à un stockage épisodique complémentaire (hippocampe) et une consolidation progressive en connaissances à long terme (néocortex) — les auteurs proposent UniMem.

UniMem est un cadre d'auto-routage qui découple l'identification des tâches de l'exécution des tâches, permettant une expansion autonome de la mémoire. Les composants clés sont :

1. Architecture d'Auto-Routage

UniMem utilise des jetons de routage apprenables comme contrôleurs de mémoire pour sélectionner le chemin de mémoire approprié pour chaque requête entrante.

• Jetons de Routage ($E$) : Une matrice contenant des jetons pour les tâches connues ($e_k$) et un Sentinelle de Nouveauté ($e_{NOVEL}$).
• Mécanisme de Routage : Étant donné une requête $q$, le modèle calcule une distribution de routage sur les jetons. Une requête est routée vers un jeton de tâche connue $e_k$ uniquement si sa probabilité dépasse à la fois la probabilité de la sentinelle de nouveauté et un seuil de confiance $\tau_{route}$. Sinon, elle est routée vers la voie de nouveauté.
• Exécution Découplée :
  • Tâches Connues : Lorsqu'un jeton connu est sélectionné, un Bloc de Mémoire Paramétrique ($P_k$) correspondant est activé. Dans ce travail, $P_k$ est instancié sous la forme d'une Mémoire KV Procédurale (paires clé-valeur apprenables, par couche) injectée via une attention croisée dans le squelette (backbone) gelé du LLM.
  • Nouvelles Tâches : Les requêtes routées vers $e_{NOVEL}$ sont stockées dans un Tampon Épisodique et gérées via la Génération Augmentée par Récupération (RAG) pour l'exécution, évitant ainsi une allocation prématurée de paramètres.

2. Cycle de Vie Épisodique-vers-Paramétrique

Le système opère en deux phases pour gérer l'expansion de la mémoire :

• Phase I : Initialisation : Le système apprend les jetons de routage pour un ensemble initial de tâches connues et calibre la sentinelle de nouveauté à l'aide d'un sous-ensemble de tâches pseudo-inconnues pour distinguer les requêtes connues des requêtes nouvelles.
• Phase II : Découverte et Consolidation Autonomes :
  • Mise en Tampon (Buffering) : Les requêtes nouvelles s'accumulent dans le Tampon Épisodique.
  • Découverte : Lorsque le tampon atteint sa capacité, UniMem déclenche une découverte de tâches non supervisée. Il utilise la Distance de Compression Normalisée (NCD) pour mesurer la similitude procédurale et HDBSCAN pour former des clusters candidats sans frontières définies.
  • Filtrage : Les clusters subissent un filtrage d'outliers basé sur l'embedding et des vérifications de cohésion.
  • Consolidation : Les clusters de haute qualité sont promus à de nouveaux blocs de mémoire paramétrique. Un nouveau jeton de routage est alloué et associé à un nouveau bloc de Mémoire KV Procédurale, qui est ensuite optimisé via un Ajustement Fin Supervisé (SFT) sur les échantillons groupés. Les clusters épars ou de faible qualité restent dans le tampon épisodique.

Principales Contributions

1. Formalisation du Problème : Les auteurs formalisent le défi de la gestion de la mémoire pour les agents LLM dans des environnements de streaming hétérogènes et sans frontières, soulignant les limites des approches à paradigme unique existantes.
2. Cadre UniMem : Ils proposent un système de mémoire unifié qui route de manière autonome les tâches rares vers la mémoire épisodique (RAG) et consolide les schémas fréquents dans une mémoire paramétrique extensible, inspiré de la théorie CLS.
3. Validation Empirique : Des évaluations approfondies à travers divers contextes de long horizon démontrent que UniMem surpasse systématiquement les bases de référence tout en maintenant une exécution de tâche et une stabilité de mémoire robustes.

Résultats Expérimentaux

Les auteurs ont évalué UniMem sur deux benchmarks : Super-Natural Instructions (SNI) (passant de 10 à 100 tâches) et SuperGLUE Mixed Stream (tâches de raisonnement sans frontières).

• Performance : UniMem a obtenu un gain moyen de 4,0 points de Correspondance Exacte (EM) sur trois modèles de base (LLaMA-3.2-3B, LLaMA-3.1-8B, Qwen3-8B) sur SNI, surpassant les bases de référence incluant Zero-Shot, RAG, Replay LoRA et le modèle centré sur les jetons TOKMEM.
• Comparaison avec TOKMEM : UniMem a nettement surpassé TOKMEM (ex: 47,56 % EM contre 40,54 % sur LLaMA-3.2-3B avec 100 tâches), validant le bénéfice du découplage des jetons de routage légers des blocs de mémoire procédurale à haute capacité.
• Comparaison avec Replay LoRA : UniMem a amélioré l'EM moyen de +6,20 et +2,44 points par rapport à Replay LoRA sur LLaMA-3.2-3B et LLaMA-3.1-8B respectivement, démontrant une meilleure gestion des schémas de tâches hétérogènes sans oubli catastrophique.
• Précision du Routage : La couche de routage a maintenu une précision élevée (ex: >85 % pour LLaMA-3.1-8B à 100 tâches), identifiant efficacement les unités de mémoire paramétrique appropriées.
• Études d'Ablation :
  • KV par tâche vs Partagé : La mémoire KV spécifique à la tâche a nettement mieux performé que la mémoire KV partagée, surtout à mesure que la diversité des tâches augmentait.
  • Mécanisme de Gating : La désactivation des portes apprises pour l'injection de la mémoire KV a provoqué des chutes de performance substantielles, confirmant leur nécessité pour réguler les signaux hétérogènes.
  • Tampon Épisodique : La suppression du tampon épisodique pour les tâches sporadiques a entraîné une dégradation des performances, soulignant son rôle dans la couverture non paramétrique des requêtes de la "longue traîne".

Signification et Revendications

L'article affirme qu'UniMem offre une direction scalable pour construire des agents auto-évolutifs dotés d'une mémoire paramétrique extensible. En séparant l'identification des tâches de l'exécution et en utilisant un cycle de vie guidé par la nouveauté, UniMem permet aux agents de :

• Gérer des flux de tâches hétérogènes sans étiquettes de tâches explicites.
• Maintenir la fidélité d'exécution tout en développant de manière autonome la mémoire.
• Éviter l'allocation prématurée de paramètres pour des schémas épars ou incertains.

Les auteurs positionnent UniMem comme une solution qui comble le fossé entre la flexibilité de la récupération externe et l'efficacité de l'internalisation paramétrique, permettant aux agents LLM d'opérer efficacement dans des environnements ouverts et en flux continu. Ils reconnaissent des limites, telles que la stratégie de consolidation conservatrice et l'instanciation spécifique de la mémoire paramétrique, suggérant que des travaux futurs pourraient explorer des critères plus adaptatifs et différents modules de mémoire.