💬 NLP

Linear-Time and Constant-Memory Text Embeddings Based on Recurrent Language Models

Ce papier propose une méthode d'inférence par tranches verticales pour des modèles de langage récurrents (comme Mamba2, RWKV et xLSTM) afin de générer des embeddings textuels avec une complexité mémoire constante pour les longues séquences, offrant ainsi une alternative efficace aux transformateurs.

Auteurs originaux : Tobias Grantner, Emanuel Sallinger, Martin Flechl

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Tobias Grantner, Emanuel Sallinger, Martin Flechl

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Problème : Le "Camion de Déménagement" vs. Le "Vélo"

Imaginez que vous voulez résumer des milliers de livres pour les ranger dans une bibliothèque numérique. Pour cela, vous avez besoin de "cartes de visite" pour chaque livre, appelées embeddings (ou plongements). Ces cartes disent à la bibliothèque de quoi parle le livre.

Actuellement, la technologie de pointe pour faire ces cartes utilise des Transformers (les mêmes modèles qui font fonctionner ChatGPT).

Le problème : Ces Transformers fonctionnent comme un gros camion de déménagement. Plus le livre est long, plus le camion doit faire des allers-retours.
- Si le livre fait 10 pages, le camion va vite.
- Si le livre fait 1000 pages, le camion doit faire des milliers de voyages. La mémoire nécessaire explose (comme si le camion devait transporter tout le livre à chaque fois) et le temps de traitement devient énorme. C'est inefficace pour les très longs documents.

💡 La Solution : Le "Vélo de Course" Intelligent

Les auteurs de ce papier (de Dynatrace et de l'Université de Vienne) proposent d'utiliser une technologie plus ancienne mais réinventée : les modèles récurrents (comme Mamba2, RWKV, xLSTM).

L'analogie : Imaginez un cycliste qui lit le livre. Il ne lit pas tout le livre d'un coup. Il lit une phrase, se souvient de l'essentiel, passe à la suivante, et met à jour sa mémoire.
L'avantage : Peu importe si le livre fait 10 pages ou 10 000 pages, le cycliste garde toujours la même taille de "sac à dos" (mémoire). Il ne grossit pas avec la longueur du texte. C'est rapide et économe en énergie.

🧩 L'Innovation Magique : La "Stratégie des Tranches Verticales"

Le vrai défi, c'est que les cyclistes (modèles récurrents) sont souvent trop lents car ils lisent mot par mot, un par un. Les camions (Transformers) peuvent lire des pages entières en même temps (parallélisme).

Les chercheurs ont trouvé une astuce géniale pour avoir le meilleur des deux mondes : la lecture par tranches verticales.

Imaginez que vous devez lire un livre de 1000 pages avec un groupe d'amis :

L'ancienne méthode (Horizontale) : Tout le groupe lit la page 1 ensemble, puis la page 2 ensemble, etc. C'est rapide, mais il faut une énorme table pour poser toutes les pages (trop de mémoire).
La nouvelle méthode (Verticale) :
- Vous découpez le livre en petits blocs de 100 pages.
- Le premier ami lit les 100 premières pages de tous les chapitres (toutes les couches du modèle) avant de passer aux 100 suivantes.
- Le secret : Une fois qu'un bloc est lu, on ne garde en mémoire que le "résumé" de ce bloc, pas tout le texte. On libère de la place pour le bloc suivant.

Résultat :

On garde la vitesse de lecture simultanée (parallèle) sur de petits blocs.
On garde la mémoire constante du cycliste (on ne stocke pas tout le livre d'un coup).
C'est comme si vous aviez un vélo qui peut rouler aussi vite qu'un camion sur les longues distances, sans jamais s'essouffler.

🏆 Les Résultats : Qui gagne ?

Les chercheurs ont testé cette méthode sur de vrais modèles (Mamba2, RWKV, xLSTM) et les ont comparés aux géants Transformers (comme Mistral).

La Qualité (La précision) : Les nouveaux modèles sont presque aussi bons que les Transformers pour comprendre le sens des textes. Ils sont excellents pour le multilingue et très compétitifs en anglais.
La Mémoire (L'espace) : C'est là que la différence est énorme. Pour un texte très long (comme un rapport de 50 pages), le Transformer a besoin de beaucoup de mémoire (il plante souvent), tandis que le modèle récurrent utilise toujours la même petite quantité de mémoire, comme un vélo qui ne grossit pas.
La Vitesse : Sur de longs textes, le nouveau système est beaucoup plus rapide car il ne perd pas de temps à gérer une mémoire qui explose.

🚀 En Résumé

Ce papier nous dit : "Oubliez les camions géants pour les longs documents !"

En utilisant des modèles récurrents intelligents avec une nouvelle méthode de découpage (tranches verticales), nous pouvons créer des moteurs de recherche et d'analyse capables de lire des livres entiers, des rapports juridiques ou des articles scientifiques, sans faire exploser la mémoire de l'ordinateur, tout en restant très rapides et précis.

C'est une avancée majeure pour rendre l'intelligence artificielle accessible sur des ordinateurs moins puissants et pour traiter des documents très longs qui étaient auparavant trop lourds à analyser.

1. Problématique

Les modèles d'incorporation de texte (text embeddings) basés sur l'architecture Transformer sont actuellement l'état de l'art pour des tâches telles que la recherche d'information et la similarité sémantique. Cependant, ils souffrent de deux limitations majeures qui restreignent leur utilité pour les documents longs ou les environnements à ressources limitées :

Complexité computationnelle quadratique : Le coût de calcul de l'attention croît de manière quadratique ( $O(T^2)$ ) par rapport à la longueur de la séquence $T$ .
Mémoire linéaire : La mémoire requise pour stocker les activations intermédiaires croît linéairement avec la longueur de la séquence ( $O(T)$ ).

Bien que des architectures récurrentes modernes (comme Mamba2, RWKV et xLSTM) aient démontré une scalabilité linéaire en temps et une utilisation de mémoire constante pour la génération de texte, leur application à la génération d'embeddings généralistes reste peu explorée. De plus, l'inférence de ces modèles pour l'encodage de séquences entières (nécessaire pour les embeddings) n'est pas encore optimisée pour tirer parti du matériel moderne (GPU) tout en maintenant une faible empreinte mémoire.

2. Méthodologie

Les auteurs proposent une approche combinant l'entraînement de modèles récurrents et une nouvelle stratégie d'inférence.

A. Entraînement des Modèles

Architecture : Ils adaptent des modèles de langage pré-entraînés basés sur Mamba2 (un modèle à espace d'état structuré - SSM).
Procédure : Ils suivent la recette d'entraînement de E5mistral-7b (Wang et al., 2024). Cela implique :
- La suppression de la tête de modélisation du langage pour ne garder que la représentation finale.
- L'utilisation de la fonction de perte InfoNCE (contrastive learning) pour apprendre à distinguer les paires positives des négatives.
- L'ajout d'un instruction tuning : une instruction spécifique est préfixée uniquement au requête (query) et non aux documents, permettant au modèle de s'adapter à diverses tâches sans ré-entraînement, tout en gardant l'encodage du corpus de documents constant.
Données : Fine-tuning sur une combinaison de données publiques et de données synthétiques générées par Llama 3.1, similaires à celles utilisées pour E5mistral-7b.

B. Stratégie d'Inférence : "Vertical Chunking" (Découpage Vertical)

C'est la contribution technique centrale. Les auteurs exploitent la dualité des modèles comme Mamba2, qui peuvent être formulés soit comme une récurrence linéaire (mémoire constante, séquentielle), soit comme une transformation matricielle (parallélisable, mais coûteuse en mémoire).

Pour résoudre le compromis entre parallélisme et mémoire, ils proposent une stratégie de découpage vertical :

Découpage Horizontal (Intra-couche) : La séquence est divisée en blocs de taille $Q$ . À l'intérieur d'un bloc, le calcul est parallélisé via la formulation matricielle (complexité $O(Q^2)$ par bloc).
Découpage Vertical (Inter-couches) : Au lieu de traiter toute la séquence à travers une couche avant de passer à la suivante (inférence horizontale classique), le modèle traite un bloc vertical de taille $V$ à travers toutes les couches $L$ avant de passer au bloc suivant.
Gestion de l'état : L'état latent récurrent est préservé entre les blocs verticaux pour chaque couche, mais les activations intermédiaires complètes de la séquence ne sont pas stockées.
Résultat sur la mémoire : La consommation de mémoire devient constante par rapport à la longueur de la séquence ( $T$ ) dès que $T > V$ . Elle dépend uniquement de la profondeur du modèle ( $L$ ) et de la taille du bloc vertical ( $V$ ), soit $O(L + Q \cdot V)$ .

Cette stratégie est applicable non seulement à Mamba2, mais aussi à RWKV et xLSTM, car ils partagent des propriétés de récurrence linéaire et de formulation parallélisable.

3. Contributions Clés

Validation des modèles récurrents comme embedders : Démonstration que les architectures récurrentes (Mamba2) peuvent atteindre des performances compétitives par rapport aux Transformers pour la génération d'embeddings généralistes.
Stratégie d'inférence à mémoire constante : Introduction d'une méthode de "vertical chunking" qui permet de générer des embeddings pour des séquences très longues avec une empreinte mémoire constante, éliminant le goulot d'étranglement mémoire des Transformers.
Validation multi-architecture : Preuve empirique que cette stratégie fonctionne efficacement sur trois familles d'architectures distinctes : Mamba2, RWKV et xLSTM.
Ressources ouvertes : Publication des checkpoints des modèles fine-tunés et de l'implémentation de l'inférence pour assurer la reproductibilité.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks : MTEB (anglais et multilingue) et LongEmbed.

Performance (Qualité) :
- Les modèles basés sur Mamba2 (1.3B et 7B Codestral) obtiennent des résultats compétitifs par rapport aux modèles basés sur Transformer (Qwen2 1.5B, Mistral 7B) de taille similaire.
- Sur MTEB Multilingue, le modèle Codestral Mamba2 7B surpasse même Mistral 7B v0.1.
- Sur les tâches en anglais, un léger écart (1-2 points) persiste, attribué aux différences de pré-entraînement (Mamba2 1.3B ayant été entraîné sur moins de données que les Transformers équivalents).
- Sur LongEmbed (documents longs), les performances sont quasi identiques entre les familles de modèles.
Efficacité (Temps et Mémoire) :
- Mémoire : Contrairement aux Transformers dont la mémoire croît linéairement avec la longueur de la séquence, les modèles récurrents avec découpage vertical maintiennent une consommation de mémoire constante au-delà d'une certaine taille de bloc (ex: 4096 tokens).
- Temps d'exécution : Pour les séquences courtes, les performances sont comparables. Pour les séquences longues (>4096 tokens), les modèles récurrents surpassent les Transformers en temps d'inférence car ils évitent la complexité quadratique de l'attention complète.
- Parallélisation : Le parallélisme sature à de petites tailles de blocs verticaux (ex: 4096 tokens pour une séquence unique), ce qui signifie que l'on peut obtenir une vitesse proche du traitement complet tout en économisant massivement la mémoire.

5. Signification et Impact

Cet article établit les architectures récurrentes comme une alternative viable et supérieure aux Transformers pour la génération d'embeddings, en particulier dans des scénarios où :

La longueur du contexte est critique (documents longs, livres entiers).
Les ressources mémoire sont limitées (déploiement sur des GPU grand public ou en edge computing).
Le traitement par lots (batching) est nécessaire.

La méthode proposée permet de débloquer l'utilisation de modèles de langage récurrents pour des tâches de récupération et de recherche à grande échelle, offrant un compromis temps-mémoire favorable que les architectures Transformer ne peuvent pas égaler sans techniques d'approximation (comme l'attention glissante) qui dégradent la qualité. Les auteurs suggèrent que l'amélioration des modèles de base récurrents (plus de données de pré-entraînement) pourrait encore réduire l'écart de qualité sur les tâches en anglais, ouvrant la voie à une nouvelle classe de modèles d'embeddings efficaces et évolutifs.