🤖 machine learning

Raven: High-Recall Sequence Modeling with Sparse Memory Routing

Raven est un modèle de séquence en temps linéaire qui améliore le rappel de contexte long en employant un routage de mémoire creux et dépendant de l'entrée pour ne mettre à jour qu'un sous-ensemble de créneaux de mémoire fixes, équilibrant ainsi efficacement les problèmes d'interférence des modèles d'espace d'état denses et les limitations d'éviction strictes de l'attention par fenêtre glissante.

Auteurs originaux : Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

Publié 2026-07-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de vous souvenir d'une histoire que vous venez d'entendre, mais votre cerveau a une règle bizarre : chaque fois que vous entendez un nouveau mot, vous devez réécrire l'intégralité de l'histoire à partir de zéro, en mélangeant le nouveau mot dans chaque phrase que vous avez jamais écrite. C'est ainsi que fonctionnent certains programmes informatiques appelés « Modèles d'Espace d'États » (State-Space Models). Ils sont excellents pour maintenir l'ambiance générale d'une histoire pendant longtemps, mais parce qu'ils mélangent tout de manière si approfondie, il devient impossible de trouver un détail spécifique, comme un nom ou une date, enfoui au milieu. D'un autre côté, imaginez un autre type de mémoire qui fonctionne comme un carnet avec un nombre fixe de pages. Quand vous remplissez la dernière page, vous la déchirez simplement et la jetez, en la remplaçant par une nouvelle. C'est ainsi que fonctionnent les modèles à « Fenêtre Glissante » (Sliding Window). Ils sont excellents pour se souvenir parfaitement des dernières pages, mais dès qu'une information est poussée hors du bord, elle disparaît à jamais.

C'est le grand problème que les scientifiques du domaine de l'Intelligence Artificielle tentent de résoudre : comment construire un cerveau informatique capable de se souvenir d'une histoire pendant très longtemps sans mélanger les détails, mais aussi sans oublier le début simplement parce qu'il est ancien ? Nous avons besoin d'un système capable de conserver des faits spécifiques et importants pendant longtemps tout en traitant l'information nouvelle de manière efficace. Cela est crucial car, à mesure que les modèles d'IA deviennent plus intelligents, ils doivent lire des livres plus longs, analyser des documents massifs et se souvenir des instructions données au tout début d'une conversation, même après des milliers de mots passés.

Voici venu Raven, un nouveau type de modèle d'IA conçu par des chercheurs pour résoudre ce puzzle de la mémoire. Considérez la mémoire de Raven non pas comme une réécriture désordonnée ou un simple carnet jetable, mais comme un vestiaire de haute technologie doté de centaines de casiers. Dans les anciens systèmes, chaque nouvel article arrivant était forcé dans chaque casier à la fois, ou était poussé dans un casier en fonction de son ordre d'arrivée, éjectant l'élément le plus ancien quel que soit son importance. Raven change les règles. Il utilise un « routeur » intelligent qui agit comme un videur. Lorsqu'une nouvelle information arrive, le videur regarde ce qu'elle est et décide : « C'est un fait banal ? Mettez-le dans un casier partagé qui est nettoyé souvent. C'est un secret super important ? Mettez-le dans un casier spécial et dédié auquel personne d'autre n'est autorisé à toucher. »

Le papier présente un cadre appelé Mémoires de Créneaux de Routage (Routing Slot Memories - RSMs), qui est le plan directeur de Raven. L'innovation clé est que Raven sépare l'endroit où l'information est écrite de la durée de combien de temps elle y reste. Dans les modèles précédents, ces deux choses étaient entremêlées. Raven utilise un système de routage « creux » (sparse), ce qui signifie qu'il ne met à jour qu'un petit groupe sélectionné de casiers (créneaux de mémoire) pour chaque nouveau segment de texte, laissant le reste totalement intact. C'est un événement majeur car cela empêche l'« interférence » qui se produit lorsque l'on tente de tout mettre à jour en même temps. Si un casier spécifique contient un mot de passe crucial, le routeur de Raven peut choisir d'ignorer ce casier pendant des centaines d'étapes, laissant le mot de passe là en toute sécurité pendant que le reste de la mémoire fait son travail.

Les chercheurs ont testé Raven sur des jeux de mémoire très difficiles. L'un d'eux était le test de « l'Aiguille dans une Botte de Foin » (Needle in a Haystack), où l'IA doit trouver une phrase spécifique cachée à l'intérieur d'un document massif. Dans ces tests, Raven a montré qu'il pouvait trouver l'aiguille même lorsque le document était 16 fois plus long que la longueur pour laquelle il avait été entraîné. Alors que d'autres modèles comme Mamba-2 ou la Fenêtre Glissante d'Attention commençaient à échouer et à oublier à mesure que le texte s'allongeait, Raven maintenait une précision quasi parfaite. Par exemple, sur un test de 32 000 tokens, Raven a maintenu plus de 91 % de précision, alors que les autres modèles chutaient significativement.

Ce qui est vraiment génial, c'est que Raven n'a besoin d'aucun artifice complexe pour faire cela. Il ne repose pas sur des convolutions complexes (qui sont comme des filtres de mémoire à court terme utilisés par d'autres modèles) ou des marqueurs de position spéciaux. Il utilise simplement ce système de routage intelligent. Le papier suggère qu'en permettant au modèle d'apprendre à allouer la mémoire en fonction du contenu (ce que le mot est) plutôt que simplement de la position (où il se trouve dans la phrase), cela crée une « spécialisation » naturelle. Certains créneaux de mémoire deviennent des experts pour conserver des détails critiques pour la récupération, tandis que d'autres gèrent le flux général de l'histoire.

Les auteurs ont découvert que cette approche fonctionne non seulement de manière isolée, mais aussi lorsqu'elle est mélangée à d'autres types d'architectures d'IA. Lorsqu'ils ont couplé Raven avec des mécanismes d'attention standards (le genre utilisé par les modèles d'IA les plus populaires aujourd'hui), le système hybride a performé encore mieux sur les tâches à contexte long, surpassant les modèles utilisant la Fenêtre Glissante d'Attention ou d'autres modèles linéaires. Le papier conclut que Raven parvient à combler le fossé entre les modèles qui sont bons pour la persistance à long terme et ceux qui sont bons pour la récupération précise, suggérant que traiter l'allocation de la mémoire comme un choix délibéré et apprenable est un moyen puissant d'édifier des IA plus intelligentes et plus efficaces.

Résumé Technique : Raven - Modélisation de Séquences à Haut Rappel avec Routage de Mémoire Creuse

1. Énoncé du Problème

Les modèles de séquences en temps linéaire, tels que les modèles d'espace d'état (SSM) et les Transformers linéaires, font face à un compromis fondamental dans la gestion de la mémoire pour le rappel de contexte long. Les architectures existantes se divisent généralement en deux extrêmes, qui souffrent tous deux de limitations spécifiques concernant la récupération de jetons (tokens) passés spécifiques :

Mises à jour d'états denses (SSM) : Des modèles comme Mamba-2, GLA et GDN maintiennent un état de taille fixe qui se met à jour densément à chaque étape. Chaque emplacement de mémoire est mis à jour pour chaque nouveau jeton, s'appuyant sur des mécanismes de décroissance appris pour oublier. Bien que cela permette une persistance indéfinie en principe, les mises à jour denses provoquent des interférences, rendant difficile la préservation de jetons individuels spécifiques sans qu'ils ne soient écrasés ou dilués par les informations suivantes.
Écritures creuses basées sur la position (Attention à Fenêtre Glissante - SWA) : La SWA écrit de manière creuse en stockant des représentations explicites de jetons, mais les restreint à une fenêtre récente fixe. Elle utilise une stratégie FIFO (Premier Entré, Premier Sorti) où les jetons anciens sont évincés de force selon leur position. Bien que cela permette un rappel fiable à l'intérieur de la fenêtre, le rappel chute à presque zéro une fois le jeton pertinent évincé, quelle que soit son importance.

Le problème central est que les modèles existants confondent où l'information est écrite avec combien de temps elle persiste. Les SSM écrivent partout et comptent sur la décroissance pour oublier ; la SWA n'écrit nulle part (sauf dans la fenêtre actuelle) et compte sur la position pour oublier. Aucun des deux ne combine efficacement une écriture creuse dépendante du contenu avec une décroissance explicite et contrôlable.

2. Méthodologie : Routing Slot Memories (RSMs)

Les auteurs proposent les Routing Slot Memories (RSMs), un cadre unifié qui découple l'emplacement des écritures de la durée de persistance. Les RSMs maintiennent un ensemble fixe de $M$ emplacements de mémoire (slots) et, à chaque étape de temps $t$ , utilisent un routeur pour déterminer quel sous-ensemble d'emplacements reçoit de nouvelles informations et applique une décroissance.

2.1 Le Cadre RSM

La récurrence générale d'un RSM est définie par :
$S_t = (1 - r_t) \odot S_{t-1} + r_t \odot (D_t S_{t-1} A_t + U_t)$
Où :

$S_t \in \mathbb{R}^{M \times d}$ est l'état de la mémoire avec $M$ emplacements indépendants.
$r_t \in \mathbb{R}^M$ est le vecteur de routage déterminant l'intensité d'écriture pour chaque emplacement.
$D_t$ et $A_t$ contrôlent la décroissance et le mélange des caractéristiques.
$U_t$ est le contenu d'écriture dérivé de l'entrée $x_t$ .

Le cadre positionne les modèles existants sur un spectre :

SSM : Utilisent un routeur dense ( $r_t = \mathbf{1}_M$ ), mettant à jour tous les emplacements avec une décroissance graduelle.
SWA : Utilise un routeur dépendant du temps et "one-hot" ( $r_t = e_t$ ), mettant à jour exactement un emplacement avec un éviction brutale (sans décroissance).
GSA/ABC : Utilisent des routeurs dépendants de l'entrée mais mettent généralement à jour tous les emplacements (écritures denses), limitant leur capacité à isoler les mémoires.

2.2 L'Architecture Raven

Raven est une instanciation spécifique des RSMs conçue pour occuper le "juste milieu" en combinant un routage creux dépendant de l'entrée avec une décroissance explicite.

Structure à Double État : Comme la SWA, Raven maintient des états de Clé ( $S^k_t$ ) et de Valeur ( $S^v_t$ ) séparés.
Routage Creux, Dépendant de l'Entrée : Au lieu d'une fenêtre fixe ou d'une mise à jour dense, Raven utilise un routeur $g_t$ $g_{t}$ dérivé de l'entrée $x_t$ $x_{t}$ . Il emploie une stratégie de sélection Top-K (adaptée au routage DeepSeek MoE) pour sélectionner un petit sous-ensemble de $K$ $K$ emplacements à mettre à jour.
- Les scores sont calculés via une fonction sigmoïde : $m_t = \sigma(W x_t)$ .
- Seules les $K$ entrées les plus élevées sont conservées ; les autres sont mises à zéro.
- Le routeur est normalisé pour garantir que les emplacements sélectionnés reçoivent une intensité d'écriture appropriée.
Décroissance Sélective : La décroissance est appliquée uniquement aux emplacements sélectionnés. La récurrence est :
$S^k_t = \exp(a_t r_t) \odot S^k_{t-1} + (1 - \exp(a_t r_t)) \odot k^\top_t$
Ici, $a_t$ est un scalaire de décroissance dépendant de l'entrée (similaire à Mamba-2). Si un emplacement n'est pas sélectionné ( $r_t[i] \approx 0$ ), le terme $\exp(a_t r_t[i]) \approx 1$ , ce qui signifie que l'emplacement est gelé et conserve parfaitement son contenu jusqu'à ce qu'il soit sélectionné à nouveau.
Conception de Bloc Simplifiée : Contra-irement à de nombreux modèles linéaires (ex. Mamba, GLA), Raven omet les convolutions à courte portée. Il repose uniquement sur les mécanismes de routage et de décroissance pour l'intégration du contexte local et à longue portée, ce qui donne une structure de bloc plus simple.

3. Contributions Clés

Routing Slot Memories (RSMs) : Un cadre formel qui unifie les SSM et la SWA, séparant explicitement le "lieu de l'écriture" (routage) du "mécanisme d'oubli" (décroissance).
Le Modèle Raven : Un modèle de séquence en temps linéaire qui implémente les RSMs en utilisant un routage creux dépendant de l'entrée pour mettre à jour un sous-ensemble d'emplacements de mémoire tout en appliant la décroissance uniquement à ces emplacements mis à jour.
Mécanisme de Rappel à Longue Portée : En routant les jetons critiques pour la récupération (ex. passkeys) vers des emplacements dédiés et en les gelant, Raven empêche l'interférence destructrice commune aux SSM denses et l'éviction brutale de la SWA.
Généralisation de Longueur : Le modèle atteint des performances solides sur des contextes allant jusqu'à 16 $\times$ sa longueur d'entraînement sans curriculum de longueur explicite ou techniques d'interpolation de position (comme RoPE), car les longueurs de séquence effectives variables à travers les emplacements l'exposent naturellement à diverses dynamiques temporelles.

4. Résultats Expérimentaux

Les auteurs ont évalué Raven sur des benchmarks intensifs en matière de récupération et sur des tâches de modélisation de langage générales, en le comparant à des bases solides incluant Mamba-2, GLA, GDN, SWA et des variantes de Transformer (FoX).

Needle-in-a-Haystack (NIAH) :
- Échelle 400M : Raven a maintenu une précision quasi parfaite ( $\ge 99\%$ ) jusqu'à 16K jetons et est resté performant ( $>91\%$ ) à 32K jetons (16 $\times$ la longueur d'entraînement). En revanche, Mamba-2 et GDN se sont dégradés significativement au-delà de 8K.
- Échelle 800M : Raven a atteint 91,0 % de précision sur NIAH-1 à 64K jetons, surpassant nettement la base de comparaison suivante (GDN à 45,2 %).
Tâches de Rappel en Conditions Réelles :
- Sur SWDE (extraction web), FDA (extraction de documents) et SQuAD, Raven a systématiquement surpassé les bases linéaires. Par exemple, sur FDA, il est le seul modèle linéaire à dépasser 22 % de précision, progressant d'environ 8 points par rapport au meilleur SSM de référence.
Modélisation de Langage :
- Raven égale ou dépasse les performances des SSM denses (Mamba-2, GLA) sur les benchmarks zero-shot standards (Lambada, PIQA, HellaSwag, etc.), démontrant que le routage creux ne compromet pas les capacités de modélisation de langage générale.
Architectures Hybrides :
- Lorsqu'il est intégré dans des modèles hybrides (couplé avec des couches d'attention complète), Raven surpasse significativement les hybrides utilisant Mamba-2, GDN ou SWA-RoPE sur les tâches de récupération de contexte long, particulièrement dans la plage 16K–64K.

5. Signification et Revendications

L'article affirme que Raven répond à une lacune architecturale fondamentale dans la modélisation de séquences linéaire. En séparant explicitement où l'information est écrite de combien de temps elle persiste, Raven atteint un niveau de rappel à longue portée auparavant inatteignable par les modèles linéaires sans recourir à l'attention quadratique ou à des configurations hybrides complexes.

Revendications clés :

Supériorité sur la SWA : Raven remplace l'éviction basée sur la position par un routage dépendant du contenu et une décroissance sélective, permettant un rappel parfait sur des tâches où la SWA échoue totalement.
Supériorité sur les SSM Denses : Raven évite l'interférence des mises à jour d'états denses en écrivant de manière sélective, permettant à des jetons spécifiques de persister indéfiniment dans des emplacements dédiés.
Simplicité : Le modèle réalise ces gains sans convolutions à courte portée, simplifiant la structure par rapport aux modèles linéaires précédents.
Spécialisation Émergente : L'analyse montre que Raven apprend naturellement à allouer des emplacements de mémoire spécifiques pour les jetons critiques pour la récupération (ex. mots de passe) tout en utilisant d'autres emplacements pour le contenu général, créant ainsi une allocation de mémoire structurée et consciente du contenu sans supervision explicite.

Les auteurs concluent que le cadre RSM suggère que le routage et l'oubli sont des axes de conception orthogonaux qui doivent être traités comme des choix de conception de premier rang plutôt que comme des sous-produits des mécanismes de décroissance.