💬 NLP

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

Cet article introduit Engram, un module de mémoire conditionnelle évolutif qui modernise les plongements $N$ -gramme pour une recherche en $O(1)$ , révélant une loi d'allocation de parcimonie en forme de U qui optimise le compromis entre calcul neuronal et mémoire statique pour améliorer significativement les performances de raisonnement, de codage et de récupération de contexte long dans les grands modèles de langage.

Auteurs originaux : Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Z

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Zhang, Yixu Wei, M. Y Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle géant et complexe. Pendant longtemps, les solveurs de puzzles les plus intelligents (les modèles d'IA) ont été construits comme de gigantesques usines. Ils possèdent des milliers de travailleurs spécialisés (appelés « Mixture-of-Experts » ou MoE) qui n'interviennent que lorsqu'ils sont nécessaires pour résoudre une logique complexe ou de nouvelles idées. C'est excellent pour la réflexion, mais c'est un peu maladroit lorsqu'il s'agit de se souvenir de faits simples et ennuyeux.

Voyez cela ainsi : si vous demandiez à un mathématicien brillant : « Quelle est la capitale de la France ? », il ne se contenterait pas de dire « Paris ». Il devrait lancer une simulation mentale complète, redérivant la réponse à partir de zéro à chaque fois, dépensant ainsi énormément d'énergie cérébrale juste pour se rappeler quelque chose qu'il sait depuis toujours. C'est comme utiliser un superordinateur pour chercher un numéro de téléphone dans sa propre tête.

La Grande Découverte : Une « Fiche de Révision » pour le Cerveau
Les chercheurs de DeepSeek-AI et de l'Université de Pékin se sont demandé : Et si nous donnions à ces modèles une « fiche de révision » dédiée pour les choses qu'ils ont juste besoin de mémoriser ?

Ils ont introduit un nouvel outil appelé Engram. Au lieu de forcer l'IA à « réfléchir » à chaque mot, l'Engram agit comme une table de recherche ultra-rapide, en O(1) (ce qui signifie qu'il prend le même temps infime que l'on cherche un mot ou un million de mots). Il est basé sur une idée de l'ancienne école appelée N-grammes (regarder des groupes de mots ensemble), mais ils l'ont modernisée avec une technologie de pointe pour qu'elle fonctionne parfaitement à l'intérieur d'une IA géante.

Le Secret de la « Forme en U »
L'équipe a découvert une règle fascinante sur la façon de construire ces modèles, qu'ils appellent une loi d'échelle en forme de U.

Imaginez que vous ayez un budget fixe de « puissance cérébrale » (étapes de calcul). Vous pouvez dépenser tout votre budget pour les « travailleurs de la pensée » (MoE), ou vous pouvez tout dépenser pour la « fiche de révision de mémoire » (Engram).

Si vous dépensez 100 % pour les travailleurs de la pensée, le modèle est bon en logique mais mauvais pour se souvenir des faits.
Si vous dépensez 100 % pour la fiche de révision, le modèle se souvient des faits mais ne peut pas bien raisonner.
Le Point d'Équilibre : L'étude a montré que la meilleure performance se produit lorsque l'on répartit le budget. Vous avez besoin des deux. Plus précisément, ils ont découvert que prendre environ 20 à 25 % du budget de mémoire « disponible » aux travailleurs de la pensée pour le donner au module de mémoire Engram rend l'ensemble du système plus intelligent. C'est comme réaliser qu'un génie a besoin d'une bonne bibliothèque, et pas seulement d'un cerveau rapide.

Que s'est-il réellement passé ? (La Preuve)
Ils ont construit un modèle appelé Engram-27B et l'ont comparé à un modèle standard de « pensée seule » de taille et de vitesse identiques. Les résultats ont été étonnamment probants :

Connaissances : Il s'est amélioré sur les questions de culture générale et les faits (obtenant par exemple +3,4 sur MMLU et +4,0 sur CMMLU).
Raisonnement : Plus surprenant encore, il s'est nettement amélioré en raisonnement général et en énigmes logiques (obtenant +5,0 sur BBH et +3,7 sur ARC-Challenge).
Mathématiques et Code : Il s'est également amélioré en codage et en mathématiques (comme +3,0 sur HumanEval).

L'article suggère que cela se produit parce que le module Engram gère les choses « ennuyeuses » (comme se souvenir qu'« Alexandre le Grand » est un nom spécifique) afin que le cerveau principal n'ait pas à perdre de temps à reconstruire cette information. Cela libère les couches profondes de l'IA pour qu'elles puissent se concentrer sur une réflexion complexe et profonde. C'est comme avoir un secrétaire qui gère tous les rendez-vous pour que le PDG puisse se concentrer sur la stratégie.

L'Astuce de la « Mémoire Longue »
L'un des effets secondaires les plus cool est la manière dont ces modèles gèrent les histoires longues. Parce que le module Engram saisit instantanément les détails locaux, l'IA principale dispose de plus d'« attention » pour se souvenir de l'histoire du début à la fin. Dans les tests, le modèle Engram a pu trouver une aiguille spécifique dans une botte de foin textuelle 97,0 % du temps, alors que le modèle standard n'a réussi que 84,2 %.

La Magie du Matériel
Enfin, l'article soutient qu'il ne s'agit pas seulement d'une astuce logicielle, mais aussi d'une astuce compatible avec le matériel. Comme la « fiche de révision » utilise des adresses fixes (identifiants déterministes), l'ordinateur peut commencer à récupérer la prochaine partie de la mémoire pendant qu'il effectue encore les calculs pour la partie actuelle. Cela signifie qu'ils peuvent stocker une table massive de 100 milliards de paramètres sur le disque dur d'un ordinateur ordinaire (mémoire hôte) et obtenir des résultats presque aussi rapides que s'ils étaient sur le GPU ultra-rapide. La pénalité de vitesse était négligeable, moins de 3 %.

Ce qu'ils disent explicitement que ce n'est PAS
L'article est très clair sur ce que ce n'est pas :

Ce n'est pas simplement un vocabulaire plus large. Ils ont essayé d'agrandir le vocabulaire (OverEncoding), et cela n'a pas fonctionné aussi bien qu'Engram.
Ce n'est pas un remplacement de la partie « pensée ». Si vous supprimez entièrement les travailleurs de la pensée (MoE), le modèle échoue dans son raisonnement. La mémoire est une aide, pas un remplacement.
Ce n'est pas une solution miracle pour tout. L'article note que bien qu'il aide pour les faits et le raisonnement, la « structure dorsale » (l'IA principale) reste celle qui fait le gros du travail pour des choses comme la compréhension de texte, qui repose davantage sur le contexte que sur la mémoire statique.

À quel point en sont-ils sûrs ?
Les auteurs sont très confiants dans leurs mesures. Ils ne se sont pas contentés de simuler cela ; ils ont entraîné de vrais modèles sur 262 milliards de tokens de données et les ont testés sur des benchmarks réels. Ils ont démontré que la règle de la « forme en U » se vérifie pour différentes tailles et que les gains de performance sont réels, mesurables et reproductibles. Ils ont même visualisé les « portes » (gates) à l'intérieur du modèle pour montrer qu'il active réellement la mémoire spécifiquement pour des éléments comme les noms et les expressions, exactement comme ils l'avaient conçu.

En résumé, l'article suggère que l'avenir de l'IA ne consiste pas seulement à créer des cerveaux plus gros, mais à donner à ces cerveaux un moyen plus rapide, plus efficace et plus intelligent de chercher l'information.

Résumé Technique : Mémoire Conditionnelle via Recherche Évolutive (Engram)

1. Énoncé du Problème

Les modèles de langage de grande taille (LLM) actuels, particulièrement ceux utilisant des architectures de Mélange d'Experts (MoE), reposent sur le calcul conditionnel pour augmenter la capacité. Cependant, les Transformers standards manquent d'un primitif natif pour la recherche de connaissances (lookup). Par conséquent, les modèles doivent simuler l'extraction de manière inefficace par le biais d'un calcul dynamique.

Les auteurs soutiennent que les signaux linguistiques présentent une hétérogénéité intrinsèque :

Raisonnement Compositionnel : Nécessite un calcul profond et dynamique.
Recherche de Connaissances : Une part substantielle du texte (ex: entités nommées, motifs formulaires) est locale, statique et hautement stéréotypée.

Les Transformers standards forcent le modèle à consommer plusieurs couches précoces d'attention et de réseaux de neurones à propagation avant (FFN) pour reconstruire des recherches statiques (ex: résoudre "Diana, Princesse de Galles") qui pourraient théoriquement être extraites via une simple recherche dans une table. Cela gaspille une profondeur séquentielle précieuse pour des opérations triviales, empêchant le modèle d'allouer des ressources au raisonnement de plus haut niveau.

2. Méthodologie : Le Module Engram

Pour remédier à cela, l'article introduit la Mémoire Conditionnelle comme un axe de parcimonie complémentaire au calcul conditionnel. Elle est instanciée via Engram, un module qui modernise les classiques plongements (embeddings) de $N$ -grammes pour permettre des recherches en temps constant $O(1)$ .

2.1. Architecture

Engram augmente le squelette (backbone) du Transformer en séparant structurellement le stockage des motifs statiques du calcul dynamique. Il opère en deux phases :

Recherche Sparse via Hachage de $N$ -grammes :
- Compression du Tokenizer : Une fonction surjective mappe les identifiants de tokens bruts vers des identifiants canoniques (normalisant la casse, la ponctuation, etc.) pour maximiser la densité sémantique et réduire la taille du vocabulaire.
- Hachage Multi-Têtes : Pour gérer l'espace combinatoire des $N$ -grammes, le module utilise $K$ têtes de hachage distinctes par ordre de $N$ -gramme. Celles-ci mappent les contextes compressés vers des indices dans des tables de plongement via des fonctions déterministes, extrayant des vecteurs statiques.
- Concaténation : Les plongements extraits des différents ordres de $N$ -grammes et têtes de hachage sont concaténés pour former le vecteur de mémoire.
Portage (Gating) et Fusion Sensibles au Contexte :
- Puisque les mémoires statiques manquent de contexte, un mécanisme de portage module la mémoire extraite en utilisant l'état caché actuel (contexte global agrégé) comme Requête (Query).
- Un portage scalaire $\alpha_t$ est calculé via un produit scalaire entre l'état caché normalisé et la Clé (Key) de la mémoire. Si la mémoire contredit le contexte, le portage supprime la mémoire (réduction du bruit).
- Une convolution causale légère en profondeur (depthwise) étend le champ récepteur avant que la mémoire portée ne soit fusionnée dans le squelette via une connexion résiduelle.

2.2. Efficacité du Système et Co-conception d'Infrastructure

Contrairement au MoE, qui nécessite un routage dynamique et une communication de l'état caché, Engram utilise un adressage déterministe basé uniquement sur les identifiants de tokens d'entrée.

Préchargement (Prefetching) : Les indices sont connus avant la passe avant (forward pass), permettant le préchargement asynchrone des plongements depuis la mémoire hôte (CPU/DRAM) via PCIe.
Chevauchement (Overlap) : Cela permet de faire chevaucher la communication avec le calcul des blocs Transformer précédents, n'entraînant qu'un overhead négligeable.
Déchargement (Offloading) : De massives tables de plongement (ex: 100 milliards de paramètres) peuvent être déchargées vers la mémoire hôte, contournant les contraintes de mémoire GPU.

2.3. Allocation de la Parcimonie

Les auteurs formulent le problème d'allocation de la parcimonie : étant donné un budget de paramètres fixe, comment la capacité doit-elle être répartie entre les experts MoE (calcul dynamique) et la mémoire Engram (recherche statique) ?

Ils définissent un ratio d'allocation $\rho$ représentant la fraction des paramètres inactifs assignés au MoE.
Les expériences révèlent une loi d'échelle en forme de U : un MoE pur ( $\rho=100\%$ ) et un Engram pur ( $\rho=0\%$ ) sont sous-optimaux. La meilleure performance est obtenue avec une allocation hybride (ex: $\rho \approx 75\%–80\%$ ), où environ 20–25 % du budget de parcimonie est réalloué à l'Engram.

3. Résultats Clés

3.1. Performance de Pré-entraînement

Les auteurs ont entraîné quatre modèles sur 262 milliards de tokens, faisant correspondre strictement les paramètres activés (3,8 milliards) et les FLOPs d'entraînement :

Dense-4B : Référence (Baseline).
MoE-27B : Référence standard MoE.
Engram-27B : Iso-paramétrique au MoE-27B, avec 5,7 milliards de paramètres réalloués à l'Engram (réduisant les experts de 72 à 55).
Engram-40B : Étend la mémoire Engram à 18,5 milliards de paramètres (Total 39,5 milliards).

Constats :

Supériorité sur le MoE : L'Engram-27B a surpassé la référence iso-paramétrique MoE-27B sur divers domaines.
Gains de Raisonnement : Contrairement à l'intuition selon laquelle la mémoire n'aide que la recherche de connaissances, l'Engram a montré des gains significatifs en raisonnement général (BBH +5,0, ARC-Challenge +3,7) et en code/mathématiques (HumanEval +3,0, MATH +2,4).
Gains de Connaissance : Amélioration des performances sur les tâches intensives en connaissances (MMLU +3,0, CMMLU +4,0).
Mise à l'échelle (Scaling) : L'Engram-40B a encore réduit la perte (loss), suggérant que l'axe de la mémoire s'échelle efficacement sans calcul supplémentaire.

3.2. Capacités de Long Contexte

En déchargeant les dépendances locales vers des recherches (lookups), l'Engram libère la capacité d'attention pour le contexte global.

Benchmark RULER : L'Engram-27B a atteint 97,0 % de précision sur le Multi-Query Needle-in-a-Haystack (NIAH) contre 84,2 % pour la référence MoE.
Efficacité : L'Engram-27B a égalé la performance LongPPL de la référence avec seulement 82 % des FLOPs de pré-entraînement.

3.3. Analyse Mécaniste

Profondeur Effective : En utilisant LogitLens et CKA (Centered Kernel Alignment), les auteurs ont découvert que les couches précoces de l'Engram produisent des représentations sémantiquement équivalentes à des couches beaucoup plus profondes de la référence MoE. Cela suggère que l'Engram "approfondit" le réseau en évitant aux couches précoces de reconstruire des caractéristiques statiques.
Dichotomie Fonctionnelle : Les études d'ablation ont montré que les benchmarks de connaissances factuelles se sont effondrés (ne conservant que 29–44 % de performance) lorsque l'Engram était désactivé, tandis que la compréhension de lecture est restée robuste (81–93%), confirmant que l'Engram agit comme le principal réservoir de connaissances paramétriques.

3.4. Efficacité du Système

Débit (Throughput) : Le déchargement d'une table Engram de 100 milliards de paramètres vers la mémoire hôte a entraîné une pénalité de débit négligeable de <3 % (2,8 % sur un backbone de 8B), validant la stratégie de préchargement et de chevauchement.

4. Signification et Revendications

L'article affirme que la Mémoire Conditionnelle est un primitif de modélisation indispensable pour les prochaines générations de modèles parcimonieux. Sa signification réside dans trois domaines principaux :

Complémentarité Structurelle : Il établit que la recherche statique et le calcul dynamique ne sont pas mutuellement exclusifs mais structurellement complémentaires. L'optimisation de l'allocation entre les deux produit une loi d'échelle en forme de U qui surpasse le MoE pur.
Efficacité via le Découplage : En découplant le stockage des paramètres du calcul grâce à l'adressage déterministe, l'Engram permet aux modèles de passer à des comptes de paramètres massifs (ex: 40B+) sans être contraints par la mémoire GPU ou les coûts de calcul, contournant ainsi efficacement les goulots d'étranglement matériels.
Approfondissement du Réseau : L'analyse mécaniste suggère que fournir une recherche de connaissance explicite décharge les couches précoces du squelette des tâches de reconstruction statique. Cela augmente effectivement la profondeur disponible du réseau pour le raisonnement complexe, expliquant les gains inattendus dans les tâches de raisonnement et de code.

Les auteurs positionnent l'Engram non pas simplement comme une augmentation de recherche (RAG), mais comme un changement architectural fondamental qui modernise les concepts de $N$ -grammes pour l'ère des modèles parcimonieux à grande échelle, offrant un nouvel axe de parcimonie qui complète le paradigme MoE dominant.