Résumé technique : MeMo – Vers des modèles de langage avec des mécanismes de mémoire associative

Énoncé du problème

Les modèles de langage à grande échelle (LLM) actuels, basés sur les Transformers, atteignent des performances élevées en apprenant des dépendances séquentielles complexes par un entraînement intensif, où la mémorisation est un sous-produits émergent de l'optimisation des poids. Bien que cette approche excelle dans la généralisation, elle manque souvent de transparence et de contrôle explicite sur les informations stockées. Les auteurs soutiennent que le paradigme prédominant traite l'apprentissage comme le mécanisme primaire, la mémorisation comme un résultat secondaire. Cependant, pour les tâches nécessitant un rappel factuel exact, la réponse à des questions et la récupération d'informations, la capacité d'un modèle à mémoriser explicitement des données est cruciale. Les méthodes existantes pour éditer ou contrôler les LLM reposent souvent sur des interventions post-hoc, tandis que les auteurs proposent un changement fondamental : concevoir des architectures où la mémorisation précède l'apprentissage. L'objectif est de créer un modèle de langage qui stocke explicitement des séquences de jetons (tokens) de manière transparente et éditable, permettant un oubli contrôlé et une manipulation directe des connaissances stockées.

Méthodologie

Le document présente MeMo, une nouvelle architecture de modélisation du langage qui remplace l'apprentissage standard par poids des Transformers par des matrices de corrélation de mémoire (CMM) stratifiées. L'architecture repose sur trois piliidiers théoriques fondamentaux :

1. Vecteurs aléatoires gausiens multivariés : Les jetons et les séquences sont représentés comme des vecteurs aléatoires dans un espace de haute dimension. En exploitant le lemme de Johnson-Lindenstrauss, ces vecteurs sont projetés dans un espace de dimension inférieure ($R^d$) tout en préservant leurs distances. Cela garantit que les jetons distincts sont presque orthogonaux ($a^T b \approx 0$ si $a \neq b$) et que les jetons identiques sont hautement corrélés ($a^T b \approx 1$ si $a = b$).
2. Matrices de corrélation de mémoire (CMM) : Au lieu d'apprendre des poids, MeMo stocke les associations comme la somme des produits extérieurs de paires clé-valeur. Une CMM $C$ est définie par $C = \sum k_i v_i^T$, où $k_i$ représente une séquence (clé) et $v_i$ le jeton suivant (valeur). La récupération s'effectue en multipliant le vecteur de la séquence d'entrée par la matrice CMM.
3. Transformée de Johnson-Lindenstrauss (JLT) : Cette transformée est utilisée pour intégrer les séquences de jetons dans l'espace cible $R^d$, garantissant que les séquences d'entrée et les vecteurs de sortie résident dans le même espace dimensionnel, facilitant ainsi le processus de récupération associative.

Variantes d'architecture

Le document détaille deux configurations :

• MeMo à couche unique : Utilise une seule CMM pour mémoriser des fenêtres de jetons de longueur fixe ($h$) et prédire le jeton suivant. Il démontre qu'une seule matrice peut généraliser sur des séquences partielles en fonction du chevauchement des jetons.
• MeMo multi-couches : Pour gérer des séquences plus longues, l'architecture empile plusieurs couches de CMM.
  • Phase de mémorisation : Les couches inférieures encodent les séquences d'éléments en représentations uniques. Ces représentations sont stockées comme clés dans la CMM, les valeurs étant la séquence encodée dans son ensemble. La couche finale stocke la relation entre les séquences longues et le jeton suivant.
  • Phase de récupération : Les couches intermédiaires récupèrent les encodages de longueurs de séquences croissantes, qui sont ensuite additionnés pour interroger la couche finale pour la prédiction du jeton suivant.
  • Oubli : Une caractéristique unique de MeMo est sa capacité à « oublier » explicitement des textes stockés. Cela est réalisé en soustrayant le produit extérieur de la séquence et du jeton de la matrice CMM, effaçant ainsi l'association spécifique sans réentraînement.

Contributions clés

1. Changement de paradigme : Le document propose un passage de « apprendre pour mémoriser » à « mémoriser pour apprendre », en concevant une architecture où la mémoire est explicite et structurelle plutôt qu'implicite dans les poids.
2. Architecture MeMo : L'introduction d'un modèle de langage basé sur des CMM stratifiées et des représentations de vecteurs aléatoires, offrant un mécanisme mathématiquement transparent pour la prédiction de séquences.
3. Éditabilité et transparence : La conception supporte intrinsèquement l'édition de modèles, incluant la capacité spécifique d'oublier des textes, offrant un mécanisme pour atténuer les fuites de données et les biais sociaux en supprimant des associations stockées spécifiques.
4. Modélisation explicite des connaissances : L'architecture ouvre la possibilité d'intégrer la modélisation explicite des connaissances (ex: graphes de connaissances, ontologies linguistiques) directement dans les modèles de langage neuronaux, réduisant potentiellement la dépendance aux données.

Résultats expérimentaux

Les auteurs ont mené des expériences pour évaluer la capacité de mémorisation des configurations à couche unique et multi-couches :

• Capacité de la couche unique : Des expériences avec des séquences aléatoires de symboles ont montré une relation linéaire entre le nombre total de paramètres dans la CMM et le nombre de séquences pouvant être stockées avec une grande précision (définie par une précision moyenne > 0,9). Cela s'aligne sur les lois d'échelle linéaires observées dans les Transformers traditionnels, mais s'applique ici à la mémorisation explicite.
• Capacité multi-couches :
  • Dimensionnalité : L'augmentation de la dimension interne $d$ a considérablement amélioré la performance de mémorisation. Une dimension de $d=4096$ était nécessaire pour maintenir une précision élevée (> 0,97) sur des séquences simples, tandis que $d=8192$ était nécessaire pour des séquences complexes avec des taux de « leurres » élevés (jetons répétés nécessitant des contextes différents).
  • Profondeur des couches : L'augmentation du nombre de couches ($l$) a amélioré la capacité à mémoriser des séquences plus longues et à gérer des contextes complexes. Par exemple, avec 40 leurres, au moins trois couches étaient nécessaires pour atteindre une capacité de stockage supérieure à 0,88 pour 250 000 séquences.
  • Généralisation : L'approche multi-couches a réussi à étendre la capacité de mémorisation au-delà de ce qu'une seule couche pouvait accomplir, validant l'approche des CMM empilées pour des contextes plus longs.

Signification et affirmations

Le document affirme que MeMo représente une étape significative vers des modèles de langage transparents et éditables. En découplant la mémorisation des mises à jour de poids opaques des Transformers standards, MeMo offre :

• Contrôle : Un contrôle direct sur ce qui est mémorisé, comment c'est stocké et comment c'est accédé.
• Sécurité : La capacité d'atténuer les fuites de données et les biais sociaux grâce à des mécanismes d'oubli explicites.
• Intégration : Le potentiel de tirer parti des études linguistiques traditionnelles et des structures de connaissances explicites à l'ère des grands modèles de langage.

Les auteurs reconnaissent des limites, notant que l'implémentation actuelle présente des problèmes de compatibilité avec l'écosystème Hugs Face existant, empêchant une comparaison directe avec les Transformers de pointe via des suites d'évaluation standard. Cependant, ils affirment que cela ne diminue pas les capacités de mémorisation démontrées de l'architecture. Ce travail vise à rendre le contrôle aux experts du savoir et aux linguistes, offrant une voie pour réduire la dépendance aux données des LLM en rendant les mécanismes de mémoire explicites et gérables.