Résumé Technique : L'Utilisateur comme Engramme

1. Énoncé du Problème

Le document identifie une faille architecturale fondamentale dans les méthodes actuelles de personnalisation des Grands Modèles de Langage (LLM) avec une mémoire spécifique à l'utilisateur. La mémoire personnelle se compose de deux éléments distincts : le contenu (faits spécifiques sur un utilisateur, ex : « Mon cardiologue est le Dr Vasquez ») et la capacité de raisonnement (l'aptitude à synthétiser ces faits pour formuler des réponses).

Les approches actuelles confondent ces deux éléments :

• Les méthodes non paramétriques (Apprentissage en Contexte, RAG) conservent les faits en dehors des poids. Bien qu'elles évitent de contaminer le modèle, elles engendrent des coûts élevés en jetons de contexte et dépendent de la précision de la récupération, qui se dégrade à mesure que la base de connaissances croît.
• Les méthodes paramétriques (Adaptateurs LoRA par utilisateur) écrivent les faits directement dans les poids du modèle. Cependant, comme les modifications LoRA sont globales (affectant les matrices Q/K/V/O sur l'ensemble du modèle), elles souffrent d'une contamination architecturale. L'écriture des faits d'un utilisateur sous forme de delta LoRA courbe la fonction du modèle de manière globale, dégradant les performances sur les textes sans rapport avec cet utilisateur et entravant souvent la capacité du modèle à raisonner indirectement sur les faits stockés.

Le défi central consiste à intérioriser les faits de l'utilisateur dans les poids du modèle sans contaminer les textes non liés ni sacrifier les capacités de raisonnement partagées du modèle de base.

2. Méthodologie : L'Utilisateur comme Engramme

Les auteurs proposent L'Utilisateur comme Engramme, une architecture en couches qui sépare le stockage du contenu de la compétence de raisonnement, reflétant les systèmes d'apprentissage complémentaires du cerveau (l'hippocampe pour les traces épisodiques, le néocortex pour les compétences partagées).

A. La Table de Mémoire Engramme (Couche de Contenu)

Au lieu de modifier les poids globaux, la méthode utilise un modèle Engramme (une architecture parcimonieuse introduite par Cheng et al., 2026) qui inclut une table de mémoire adressable par le contenu aux côtés des couches de transformeurs standards.

• Mécanisme : À des couches spécifiques, le modèle hache le n-gramme de suffixe des jetons récents en adresses déterministes dans une grande table d'incorporation (embedding table $E$).
• Éditions Chirurgicales : Le fait d'un utilisateur n'est pas écrit comme un delta de poids, mais comme un chevauchement de ligne locale dans cette table de mémoire.
  • Adressage : La phrase déclencheuse (ex : « Mon cardiologue est ») est hachée vers un ensemble spécifique de lignes ($R_f$).
  • Écriture : Le système écrit un vecteur de valeur dans ces lignes spécifiques. Trois stratégies sont utilisées :
    1. UNEMBED_P : Solution en forme close (rapide, <1ms).
    2. OPT : Étapes de gradient par fait.
    3. Joint OPT : Optimise toutes les lignes pour un utilisateur simultanément afin de prévenir l'interférence (par défaut pour >30 faits).
• Localité : L'édition est transparente (« glass box »). Elle ne s'active que lorsque le n-gramme déclencheur spécifique est présent. Pour tout autre texte, la table de mémoire reste inchangée et le flux résiduel n'est pas affecté, au bit près.

B. L'Adaptateur de Raisonnement Partagé (Couche de Compétence)

La compétence de raisonnement est déconnectée des faits de l'utilisateur.

• Un LoRA partagé unique est entraîné sur une population d'utilisateurs tenue à l'écart.
• Cet adaptateur apprend le schéma de raisonnement sur les faits (ex : « Étant donné les faits X, Y et Z, répondez à la question Q ») sans mémoriser le contenu spécifique de l'utilisateur.
• Lors de l'inférence, le système charge le LoRA partagé et remplace les lignes de l'Engramme de l'utilisateur spécifique.

C. Composition et Service

• Composition Additive : Comme les faits de différents utilisateurs hachent vers des adresses disjointes dans la table de mémoire, leurs chevauchements sont additifs et sans perte. Plusieurs utilisateurs peuvent partager une seule instance de modèle sans combinateur.
• EngramServer : Un système de service léger (50 lignes de code) qui gère les cartes de chevauchement par utilisateur en mémoire CPU (DRAM), les basculant dans la mémoire GPU (HBM) pour la passe directe (forward pass) et les restaurant immédiatement après. Cela n'engendre qu'une latence négligeable (0,03 ms à 2 ms).

3. Résultats Clés

A. Élimination de la Contamination

• Texte Non Lié : L'écriture d'un fait sous forme de LoRA par utilisateur augmente les bits par octet (bpb) de validation sur le texte non lié d'environ 1,78 (une augmentation de >33 000× de la perte par rapport à la ligne de base). En revanche, l'écriture du même fait en tant que ligne d'Engramme ne produit qu'un changement de seulement +0,00005 bpb, soit pratiquement zéro.
• Préservation du Raisonnement : Sur les modèles de base ajustés par instruction, les LoRA par utilisateur dégradent souvent le raisonnement indirect (85 % des utilisateurs présentent de moins bonnes performances sur les bases faibles). La conception en couches de l'Engramme maintient les capacités de raisonnement de la base, aucun utilisateur ne présentant de performance inférieure à celle de la base intacte.

B. Rappel et Performance de Raisonnement

• Rappel Direct : La conception en couches (Engram + LoRA partagé) atteint un rappel direct quasi parfait (100 %), égalant le LoRA par utilisateur.
• Raisonnement Indirect : La conception en couches surpasse significativement le LoRA par utilisateur sur les questions indirectes (raisonnement sur les faits). Sur une graine canonique, elle atteint un rappel indirect de 44 % contre 6 % pour le LoRA par utilisateur (une amélioration de 5,6× à 7,4×).
• Comparaison avec la Récupération (RAG) :
  • Sur les requêtes à déclencheur exact, le RAG performe bien mais paie un coût en jetons de contexte.
  • Sur les requêtes paraphrasées, la performance du RAG chute significativement en raison des limitations de l'encodeur, tandis que l'insertion multi-déclencheur de l'Engramme maintient un rappel élevé (96,9 % contre 75 % pour le RAG).
  • Scalabilité : À mesure que la base de connaissances (KB) croît, le rappel du RAG se dégrade en raison de la confusion du pool de candidats. La précision de la conception en couches reste invariante par rapport à la taille de la KB. Le papier identifie un point de croisement à ~100 faits : au-delà de ce seuil, la conception en couches sur un modèle plus petit surpasse le RAG sur un modèle 2,5× plus grand.

C. Efficacité

• Stockage : La table Engram d'un utilisateur est d'environ 88 Ko pour 100 faits. Un LoRA par utilisateur est de ~14,2 Mo. Cela représente une réduction de stockage par utilisateur d'environ 161×.
• Latence : L'application du chevauchement est sub-milliseconde, permettant un débit élevé (232 requêtes/s sur un seul GPU) qui évolue de manière plate avec le nombre d'utilisateurs.

4. Limites

Le papier note explicitement les contraintes suivantes :

• Raisonnement Multi-étapes (Multi-hop) : Le mécanisme Engram est indexé sur des déclencheurs de surface. Il correspond aux mots mais ne les compose pas. Si une question nécessite de chaîner deux faits (« Mon médecin est Patel ; Patel travaille chez Globex ; où travaille mon médecin ? »), le rappel s'effondre, à moins que la chaîne spécifique ne soit explicitement stockée ou que la requête corresponde exactement au déclencheur du second fait.
• Densité Intra-Utilisateur : Bien que le Joint OPT atténue l'interférence, le rappel diminue à mesure que le nombre de faits simultanés par utilisateur augmente (tombant à ~35 % à 1 000 faits) en raison de l'interférence de passage direct entre les lignes co-actives.
• Pré-entraînement Requis : La méthode nécessite un modèle de base pré-entraîné avec l'Engram. Les auteurs ont entraîné quatre modèles Mini-Engram (de 178M à 1,22 milliard de paramètres) pour démontrer la faisabilité, mais notent que le déploiement en production dépend de la disponibilité de tels poids.

5. Signification et Revendications

Le papier affirme que L'Utilisateur comme Engramme résout le conflit « contenu vs compétence » dans la personnalisation par une séparation architecturale plutôt que par un partage de paramètres.

• Innovation Architecturale : C'est la première méthode à atteindre des éditions paramétriques locales avec un coût de contexte nul. Elle occupe un quadrant unique dans l'espace de conception : des éditions locales qui ne contaminent pas le reste du modèle.
• Scalabilité : Elle permet de servir des millions d'utilisateurs sur une seule instance de modèle avec une composition additive et sans perte, évitant l'explosion du stockage des LoRA par utilisateur et la dégradation de la récupération du RAG.
• Analogie Biologique : Ce travail valide une implémentation computationnelle de la théorie des systèmes d'apprentissage complémentaires, démontrant que la séparation des traces épisodiques rapides et parsemées (lignes d'Engram) des compétences distribuées et lentes (LoRA partagé) empêche l'interférence catastrophique et préserve les capacités de raisonnement.

Les auteurs concluent que le « problème » de la personnalisation n'est pas propre aux adaptateurs, mais est inhérent à toute méthode qui force un ensemble unique de poids à agir à la fois comme mémoire et comme esprit. En donnant à chaque utilisateur une petite trace privée à côté d'une compétence partagée, la personnalisation cesse de combattre le modèle sur lequel elle s'exécute.