🤖 AI

MoNe: Modular Neural Memory for Efficient Long Context Inference

MoNe est un système de mémoire neurale léger et modulaire qui se fixe à des Transformers gelés pour permettre une inférence de contexte long efficace en découplant le coût d'inférence de la longueur du contexte, atteignant une complexité de requête constante et une utilisation de la mémoire considérablement réduite sans réentraînement.

Auteurs originaux : Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

Publié 2026-08-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'intelligence artificielle moderne a atteint un stade où elle peut lire des livres entiers, analyser des années de journaux de discussion ou digérer de vasts contrats juridiques en une seule fois. Pour ce faire, ces systèmes s'appuient sur un mécanisme qui leur permet de revenir sur tout ce qu'ils viennent de traiter pour comprendre la question actuelle. Cependant, cette capacité a un coût élevé. À mesure que la quantité de texte augmente, l'énergie et la mémoire informatique nécessaires pour le traiter n'augmentent pas seulement ; elles explosent. Imaginez essayer de lire une bibliothèque en comparant chaque mot que vous lisez actuellement à chaque mot que vous avez lu depuis que vous avez commencé. L'effort requis croît si vite qu'il devient rapidement impossible pour les ordinateurs standards, en particulier les plus petits comme ceux des téléphones ou des ordinateurs portables, de gérer plus de quelques milliers de mots à la fois. Cette limitation force les systèmes actuels soit à oublier le début d'une longue histoire, soit à s'appuyer sur des outils externes pour trouver des faits spécifiques, manquant ainsi souvent la vue d'ensemble qui relie les détails dispersés.

Une équipe de chercheurs de Qualcomm AI Research a développé une nouvelle approche appelée MoNe, qui permet à ces modèles d'intelligence artificielle de gérer de vastes quantités d'informations sans avoir besoin d'être réentraînés ou sans surcharger leur matériel. Au lieu de forcer l'ordinateur à relire constamment l'intégralité de l'historique d'une conversation ou d'un document à chaque fois qu'il répond à une question, MoNe agit comme un carnet de notes spécialisé dans lequel le modèle écrit au fur et à mesure qu'il lit. Le système traite le texte long en petits segments gérables. À mesure qu'il lit chaque segment, il met à jour ce carnet de notes interne, distillant l'information essentielle sous une forme compacte. Une fois que l'intégralité du texte a été lue et que le carnet est rempli, le modèle peut répondre aux questions en utilisant uniquement le contenu de ce carnet. Crucialement, le modèle n'a jamais besoin de revenir consulter le long texte original. Cette conception signifie que le coût de la réponse à une question reste le même, que le document original soit un court e-mail ou un roman de cent mille mots.

Les chercheurs ont testé cette méthode sur un ensemble standard de défis conçus pour voir si un modèle pouvait trouver un fait spécifique caché profondément dans une grande pile de texte, une tâche souvent appelée recherche d'une aiguille dans une botte de foin. Ils ont également testé sa capacité à extraire des mots fréquemment mentionnés et à résoudre des problèmes qui nécessitent de relier plusieurs morceaux d'informations dispersés à travers le texte. Lorsque la longueur du texte restait dans les limites d'entraînement originales du modèle, la nouvelle méthode fonctionnait presque parfaitement, surpassant les approches standards qui tentent de tout lire à la fois. Plus impressionnant encore, lorsque les chercheurs ont poussé le système à gérer des longueurs de texte bien au-delà de ce pour quoi le modèle avait été initialement conçu — jusqu'à cent vingt-huit mille tokens — la nouvelle méthode a continué à fonctionner avec une grande précision. En revanche, l'approche standard, qui tente de lire tout le texte d'un coup, a totalement échoué à mesure que le texte devenait plus long, chutant vers une précision proche de zéro. Une méthode alternative courante, qui tente de rechercher des extraits de texte pertinents, a également éprouvé des difficultés lorsque la réponse nécessitait de rassembler de nombreux faits différents et dispersés.

Les gains d'efficacité de cette nouvelle méthode sont substantiels. À la longueur de texte la plus longue testée, les chercheurs ont constaté que leur approche réduisait la puissance informatique nécessaire d'environ quatre-vingts pour cent par rapport à la méthode standard. Elle a également réduit la mémoire de pointe requise de la même marge. Il s'agit d'une amélioration critique car cela signifie que le raisonnement complexe sur de longs contextes pourrait éventuellement s'exécuter sur des appareils aux ressources limitées, plutôt que de nécessiter des serveurs massifs et coûteux. Le système y parvient en maintenant l'empreinte mémoire constante ; la taille du carnet de notes interne ne croît pas à mesure que le texte s'allonge. Les chercheurs ont démontré que ce système pouvait être attaché à des modèles pré-entraînés existants sans modifier leur structure centrale, en ajoutant seulement une petite quantité de stockage de données supplémentaire. Ils ont également montré que le système pouvait se généraliser à des longueurs de texte trente-deux fois plus longues que celles pour lesquelles il a été entraîné, simplement en traitant le texte en segments de taille fixe et en mettant à jour son état interne étape par étape.

Bien que les expériences actuelles se soient concentrées sur des tâches de récupération spécifiques utilisant une taille de modèle particulière, les résultats suggèrent une voie viable pour rendre l'intelligence artificielle plus capable de gérer des informations de longue forme du monde réel. La méthode ne nécessite pas de construire entièrement de nouveaux types de cerveaux informatiques à partir de zéro, ni de demander au modèle d'être réentraîné sur de nouveaux ensembles de données massifs. Au lieu de cela, elle introduit un ajout léger et modulaire qui apprend à compresser l'information à la volée. Cela permet au système de maintenir une mémoire claire et constante du passé tout en gardant le coût de la réflexion sur le présent bas. Alors que la demande pour une intelligence artificielle capable de raisonner sur des heures de conversation ou des milliers de pages de documentation continue de croître, cette approche offre un moyen pratique de maintenir ces systèmes rapides, efficaces et capables de comprendre le contexte complet du monde qu'on leur demande de naviguer.

Résumé technique : MoNe – Mémoire neurale modulaire pour une inférence de contexte long efficace

1. Énoncé du problème

Le traitement de contextes longs est essentiel pour des applications telles que les assistants personnalisés, le questionnement sur documents (QA) et les systèmes agentiques. Cependant, l'approche dominante, l'apprentissage en contexte (In-Context Learning ou ICL), présente une complexité quadratique ( $O(N^2)$ ) en FLOPs et linéaire ( $O(N)$ ) en mémoire de cache KV par rapport à la longueur du contexte $N$ . Cela rend l'inférence de contexte long prohibitvement coûteuse sur le matériel aux ressources limitées (par exemple, les appareils mobiles) et fait que les petits modèles peinent à extraire des informations de manière fiable, même à l'intérieur de leurs fenêtres de contexte natives.

Les approches alternatives font face à des limitations significatives :

Génération augmentée par récupération (RAG) : Bien qu'elle réduise les coûts d'attention, la RAG repose sur la récupération par plongement (embedding) de segments indépendants. Cela échoue lorsque les tâches nécessitent la synthèse de multiples faits éparpillés et interdépendants qui sont individuellement sans importance particulière.
Modèles récurrents/linéaires (ex. Mamba, TTT, Titans) : Ils atteignent une complexité linéaire mais nécessitent l'entraînement de nouvelles architectures entières à partir de zéro, empêissant une intégration fluide avec les Transformers pré-entraînés gelés existants sans un réentraînement complet.

2. Méthodologie : MoNe

MoNe (Modular Neural Memory) est un module plugin léger conçu pour se fixer à n'importe quel Transformer pré-entraîné gelé, permettant un raisonnement de contexte long efficace sans modifier les poids du modèle de base (backbone). L'architecture fonctionne en deux phases distinctes :

2.1. Architecture

MoNe attache un réseau de mémoire neurale à poids rapides à chaque couche de décodeur $l$ du backbone.

Module de mémoire : Chaque couche utilise un MLP SwiGLU avec des paramètres à poids rapides ( $W_{in}, W_{gate}, W_{out}$ ). Contrairement aux cartes linéaires, ce réseau non linéaire augmente la capacité d'expression pour encoder des structures associatives plus riches.
Intégration : Pendant l'inférence, les jetons de requête (query tokens) sont projetés via le $W_q$ du backbone gelé et lus à partir de l'état de poids rapides mis en cache. Les jetons de mémoire résultants sont projetés dans l'espace clé-valeur en utilisant le $W_k$ et le $W_v$ gelés, puis concaténés avec les entrées d'attention standard.
Efficacité des paramètres : Le module n'ajoute qu'un petit nombre de paramètres (surcoût de 6,4 %) via des adaptateurs de bas rang (LoRA) appliqués aux poids gelés.

2.2. Fonctionnement en deux phases

Phase 1 : Apprentissage au moment du test (Prétraitement)

Le contexte $C$ de $N$ jetons est partitionné en segments de taille fixe de $T=512$ jetons.
Les segments sont traités séquentiellement. Pour chaque segment, les poids rapides à chaque couche sont mis à jour via des mises à jour de gradient localisées par couche.
Perte de mémoire associative : Le module de mémoire est optimisé pour maximiser le produit scalaire entre la sortie de la mémoire et les valeurs cibles (dérivées de $W_k$ et $W_v$ gelés). Cette méthode « imprime » l'association $k \to v$ dans les poids rapides sans nécessiter d'erreur de prédiction ou de rétropropagation à travers l'ensemble du backbone.
Encodage positionnel : Un RoPE local au segment est utilisé, assignant des positions locales $p_{local} = j \mod T$ . Cela maintient les indices de position bornés dans $[0, T)$ quel que soit la longueur totale du contexte, permettant une généralisation à des longueurs arbitraires sans interpolation.

Phase 2 : Inférence

Les jetons de requête (query tokens) portent attention uniquement aux jetons de mémoire générés à partir de l'état mis à jour des poids rapides.
Aucun jeton de contexte n'est relu, et aucun jeton de contexte n'est directement visé par l'attention.
Complexité : Cela découple le coût d'inférence de la longueur du contexte, atteignant un prétraitement en $O(N)$ et un coût de requête en $O(1)$ avec une mémoire GPU de pointe qui reste constante quelle que soit $N$ .

3. Principales contributions

Architecture modulaire : Un plugin qui s'intègre à n'importe quel Transformer pré-entraîné gelé, ajoutant seulement 6,4 % de surcoût de paramètres sans modification du backbone.
Procédure d'apprentissage au moment du test : Une méthode utilisant des mises à jour de gradient localisées par couche pour adapter les réseaux de mémoire neurale à poids rapides. Cela permet un prétraitement en $O(N)$ et un coût de requête en $O(1)$ , contrastant avec le coût en $O(N^2)$ de l'ICL. Cela supporte nativement l'extension incrémentielle du contexte et la réutilisation multi-requête.
Généralisation : Capacité démontrée à généraliser des contextes d'entraînement (jusqu'à 4K jetons) vers des contextes d'évaluation de 128K jetons (une extrapolation de 32×) sans entraînement supplémentaire ni interpolation positionnelle.

4. Résultats expérimentaux

Les expériences ont été menées sur le benchmark RULER (S-NIAH, MK-NIAH, Extraction de mots fréquents) en utilisant un backbone Qwen2.5-0.5B-Instruct.

Performance :
- Dans la fenêtre native (4K–32K) : MoNe a atteint une performance quasi parfaite (0,99–1,00 Sub-EM), surpassant de manière significative l'ICL (0,41–0,98) et la RAG (0,58–0,93).
- Au-delà de la fenêtre native (48K–128K) : Alors que la performance de l'ICL s'est effondrée (par exemple, chutant à 0,28 sur S-NIAH à 128K) et que la RAG a plafonné (peinant avec les faits multi-étapes), MoNe a maintenu une forte précision (0,96 sur S-NIAH, 0,94 sur MK-NIAH, 0,96 sur l'extraction de mots fréquents à 128K).
Efficacité :
- À 128K jetons, MoNe a réduit le total des FLOPs d'environ 81 % et la mémoire GPU de pointe de 80 % par rapport à l'ICL.
- La mémoire GPU de pointe pour MoNe est restée constante à 1,41 Go quel que soit la longueur du contexte, alors que l'ICL nécessitait 7,07 Go à 128K.
Études d'ablation :
- Couverture des couches : Attacher MoNe à toutes les 24 couches de décodeur a donné les meilleurs résultats. Limiter MoNe aux 8 dernières couches a provoqué l'effondrement des performances au-delà de 32K.
- Taille du segment : Une taille de segment de $T=512$ offrait le meilleur compromis, généralisant efficacement jusqu'à 128K, tandis que des segments plus petits ( $T=128, 256$ ) se sont rapidement dégradés après 16K.

5. Signification et revendications

L'article affirme que MoNe offre une solution pratique pour l'inférence de contexte long sur des ressources contraintes en découplant le coût de calcul de la longueur du contexte. Sa signification réside dans :

Efficacité : Atteindre une empreinte mémoire constante et un prétraitement linéaire, rendant le raisonnement de contexte long réalisable sur des appareils de bord (edge devices) où les coûts de cache KV seraient autrement prohibitifs.
Compatibilité : Permettre des capacités de contexte long pour les modèles pré-entraînés gelés existants sans nécessent de fine-tuning complet coûteux ou de redéfinition architecturale.
Robustesse : Surpasser à la fois l'ICL standard (qui se dégrade avec la longueur) et la RAG (qui peine avec le raisonnement distribué) sur des tâches nécessitant la synthèse d'informations à travers de longs contextes.

Les auteurs notent que bien que la validation actuelle utilise un backbone de 0,5B et des tâches de récupération contrôlées, la conception du plugin est destinée à passer à l'échelle sur des modèles plus grands et des charges de travail naturalistes (par exemple, QA multi-documents, historiques de conversation) où les avantages d'efficacité d'une inférence à mémoire constante devraient devenir encore plus prononcés.