💬 NLP

LMK > CLS: Landmark Pooling for Dense Embeddings

Cet article introduit le pooling Landmark (LMK), une nouvelle stratégie d'apprentissage de représentation qui partitionne les séquences en blocs avec l'insertion de jetons landmarks afin de équilibrer efficacement les caractéristiques locales saillantes et l'extrapolation de contexte long, surpassant ainsi les méthodes traditionnelles de [CLS] et de pooling moyen sur les tâches à contexte long tout en maintenant les performances en contexte court.

Auteurs originaux : Meet Doshi, Aashka Trivedi, Vishwajeet Kumar, Parul Awasthy, Yulong Li, Jaydeep Sen, Radu Florian, Sachindra Joshi

Publié 2026-01-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Meet Doshi, Aashka Trivedi, Vishwajeet Kumar, Parul Awasthy, Yulong Li, Jaydeep Sen, Radu Florian, Sachindra Joshi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de résumer un très long roman pour un ami. Vous devez capturer les parties les plus importantes de l'histoire pour que votre ami comprenne l'ensemble du livre sans avoir à lire chaque page.

Dans le monde de l'Intelligence Artificielle (IA), c'est exactement ce que font les « embeddings denses » (représentations denses). Ils transforment des textes longs (comme des documents, des articles ou du code) en une liste compacte de nombres (un vecteur) qui représente le sens de l'ensemble. L'IA utilise ces résumés pour rechercher des informations, regrouper des documents similaires ou classifier du texte.

Le problème est le suivant : Comment créer ce résumé ?

Les anciennes méthodes : le « Héros » et la « Moyenne »

Pendant longtemps, les chercheurs en IA ont utilisé deux méthodes principales pour résumer un texte, et l'article soutient que les deux présentent des défauts lorsque le texte devient très long.

Le jeton « Héros » ([CLS]) :
Considérez cela comme le fait de nommer un personnage spécifique dans une pièce de théâtre pour être le « Héros » qui détient toute la mémoire de l'histoire. En IA, il s'agit d'un jeton spécial (un marqueur de substitution) placé au tout début du texte. Le modèle est entraîné pour forcer ce jeton unique à tout mémoriser.
- Le défaut : L'article a découvert que ce « Héros » est submergé. Il a tendance à très bien se souvenir du début de l'histoire, mais commence à « décrocher » au milieu et à la fin. Si l'histoire fait 100 pages, le Héros ne se souvient réellement que des premières pages. C'est comme essayer de porter un sac à dos lourd ; plus vous marchez, plus vous abandonnez de choses en chemin.
La « Moyenne » (Mean Pooling) :
Cette méthode consiste à prendre chaque mot du texte, à les additionner, puis à les diviser par le nombre total de mots pour obtenir un résumé « de compromis ».
- Le défaut : Cela dilue les éléments importants. Si un document contient une phrase cruciale qui résout un mystère, mais 999 phrases ennuyeuses, la méthode de la « Moyenne » va noyer cette phrase cruciale. C'est comme préparer une soupe dans laquelle on ajoute une minuscule goutte de sel dans une immense marmite ; la saveur devient faible et fade.

La nouvelle solution : le Landmark Pooling (LMK)

Les auteurs proposent une nouvelle méthode appelée Landmark Pooling (LMK).

Imaginez que vous faites une randonnée sur un très long sentier. Au lieu de compter sur une seule personne au départ pour se souvenir de tout le chemin (le Héros), ou d'essayer de se souvenir de chaque pas de manière égale (la Moyenne), vous placez des panneaux indicateurs (Landmarks) tous les quelques kilomètres.

Comment ça marche : L'IA divise le texte long en segments. À la fin de chaque segment, elle insère un jeton spécial « Landmark ».
Le résumé : Pour créer le résumé final, l'IA ne regarde pas chaque mot, et elle ne regarde pas seulement le début. Elle ne regarde que les Landmarks. Elle prend la « mémoire » de chaque panneau indicateur et fait la moyenne de ceux-ci.

Pourquoi est-ce meilleur ?

Pas de surcharge : Comme il y a de nombreux Landmarks, aucun ne doit porter le poids de tout le livre.
Pas de dilution : Comme les Landmarks sont placés fréquemment, ils capturent la « saveur » de chaque section. La phrase cruciale au milieu du livre possède son propre Landmark, de sorte qu'elle n'est pas noyée par les parties ennuyeuses.
Longue distance : Cela fonctionne très bien même pour des documents massifs (comme des documents de 32 000 mots), là où l'ancienne méthode du « Héros » échoue complètement.

Les résultats : une course contre la longueur

Les chercheurs ont testé cette nouvelle méthode par rapport aux anciennes sur diverses tâches :

Nouvelles courtes : Sur des textes courts, la nouvelle méthode fonctionne aussi bien que l'ancienne méthode du « Héros ». Elle ne casse rien.
Romans longs : Sur des textes très longs, la nouvelle méthode écrase la concurrence. Elle trouve l'information bien mieux que les méthodes du « Héros » ou de la « Moyenne ».

Ils ont également découvert que même s'ils entraînaient l'IA sur des nouvelles courtes, la méthode « Landmark » pouvait toujours gérer des histoires longues plus tard (un concept appelé « extrapolation »). L'ancienne méthode du « Héros », en revanche, devenait confuse et performait mal lorsque le texte devenait plus long que ce pour quoi elle avait été entraînée.

L'essentiel

L'article présente une correction simple et pratique à un grand problème de l'IA : Comment résumer des textes longs sans perdre les détails importants.

En remplaçant le jeton unique du « Héros » par une série de panneaux indicateurs « Landmark », l'IA peut lire toute une bibliothèque de documents sans oublier les parties les plus importantes, ce qui la rend bien meilleure pour trouver des réponses dans un océan d'informations.

Résumé technique : Landmark Pooling pour les plongements denses (Dense Embeddings)

Énoncé du problème

L'apprentissage de représentations est fondamental pour les tâches en aval telles que la recherche, le partitionnement (clustering) et la classification. Les encodeurs de séquences de pointe compressent généralement des séquences de tokens de longueur variable en un vecteur unique de dimension fixe à l'aide d'un opérateur de pooling. Les deux stratégies dominantes sont :

Le pooling [CLS] : Utilisation d'un token spécial [CLS] au début de la séquence pour agréger l'information.
Le pooling par moyenne (Mean Pooling) : Moyennage des plongements (embeddings) de tous les tokens de la séquence.

Les auteurs identifient des faiblesses systématiques dans ces approches, particulièrement concernant l'extrapolation de contextes longs :

Limites du [CLS] : Le token [CLS] a tendance à concentrer l'information vers les positions initiales de la séquence. En raison de la mécanique des Rotary Positional Embeddings (RoPE), les poids d'attention pour les tokens distants décroissent de manière significative, ce qui fait que la représentation [CLS] sous-représente les preuves distribuées présentes plus tard dans les documents longs.
Limites du Mean Pooling : Bien qu'indépendant de la position, le pooling par moyenne dilue les signaux locaux saillants en moyennant uniformément tous les tokens. Cela conduit souvent à des performances moindres sur les tâches à contexte court où des preuves critiques sont concentrées dans un petit sous-ensemble de tokens, car le processus de moyennage suppose que l'information est répartie uniformément.

Les méthodes existantes échouent souvent à équilibrer la préservation des caractéristiques locales saillantes avec la capacité de généraliser à des contextes longs sans sacrifier les performances sur les séquences plus courtes.

Méthodologie : Landmark (LMK) Pooling

Pour répondre à ces limites, les auteurs proposent le Landmark (LMK) pooling, un mécanisme qui partitionne une séquence en blocs (chunks) et insère des tokens "landmarks" spéciaux entre eux.

Mécanismes clés :

Stratégie de tokenisation : Au lieu de s'appuyer sur un seul token spécial (comme [CLS]), la séquence d'entrée est divisée en blocs de taille fixe (par exemple, tous les $k$ tokens). Un token landmark spécial (typiquement le token [SEP], ou [EOS] si [SEP] n'est pas disponible) est inséré après chaque bloc.
Stratégie de pooling : La représentation finale de la séquence est générée par un pooling moyen (mean-pooling) effectué uniquement sur les plongements de ces tokens landmarks insérés, plutôt que de moyenner tous les embeddings de tokens ou de compter sur un seul token initial.
Variantes de granularité :
- Découpage fixe (Fixed Chunking) : Insère des landmarks à intervalles réguliers.
- Découpage variable (Variable Chunking) : Échantillonne aléatoirement l'intervalle d'insertion à partir d'un ensemble prédéfini (par exemple, $\{32, 64, 128, 256\}$ ) pendant l'entraînement pour encourager la robustesse aux choix de granularité.
- Basé sur les phrases (Sentence-based) : Insère des landmarks après les limites de phrases (bien que cela soit noté comme moins généralisable à des domaines comme le code).

Base théorique :
Les auteurs soutiennent que le LMK pooling atténue le goulot d'étranglement de la représentation du [CLS] dans les contextes longs en distribuant la charge de l'agrégation sur plusieurs tokens. Simultanément, il préserve mieux les caractéristiques locales saillantes que le mean pooling global car chaque token landmark agrège un bloc spécifique et gérable de la séquence. La méthode introduit un surcoût de calcul modeste en ajoutant un petit nombre de tokens spéciaux (par exemple, 256 tokens supplémentaires pour une séquence de 32k avec une granularité de 128 tokens).

Contributions clés

Introduction du LMK Pooling : Une alternative simple et efficace aux méthodes de pooling courantes qui offre des gains substantiels sur les benchmarks d'embeddings à contexte long dans divers domaines et langues.
Analyse systématique des limites du pooling : Le papier fournit des preuves empiriques et une analyse théorique (via la distribution des poids d'attention) démontrant le biais positionnel inhérent au pooling [CLS] et la dilution des caractéristiques du mean pooling, caractérisant leurs forces et faiblesses respectives pour les contextes courts vs longs.
Robustesse et compatibilité : Les auteurs démontrent que le LMK pooling est robuste à travers différents régimes d'entraînement (incluant l'entraînement sur contexte court) et qu'il est compatible avec les stratégies existantes de pré-entraînement (ex: RetroMAE) et d'optimisation de la recherche (retrieval).

Résultats expérimentaux

Les auteurs ont évalué le LMK pooling par rapport aux bases de référence (CLS, Mean, Latent Attention, et MultiCLS) en utilisant les architectures ModernBERT-base et gte-en-mlm-base sur des jeux de données anglais et multilingues.

Performance en contexte court : Le LMK pooling égale ou dépasse légèrement les performances du pooling [CLS] sur les benchmarks de recherche standard à contexte court (ex: MS MARCO Dev, BEIR, MTEB-v2), surpassant le mean pooling.
Performance en contexte long : Le LMK pooling produit des améliorations substantielles par rapport à toutes les bases de référence sur les tâches à contexte long (ex: MLDR, COIR, LongEmbed).
- Sur le jeu de données MLDR, le LMK a nettement surpassé le pooling [CLS] et le mean pooling.
- Dans les contextes multilingues (mmBERT-base), le LMK a maintenu des améliorations substantielles sur les évaluations de contexte long dans 13 langues.
Extrapolation : Même lorsqu'il est entraîné sur des séquences courtes (512 tokens), le LMK pooling a démontré de fortes capacités d'extrapolation vers des séquences allant jusqu'à 32k tokens. En revanche, la performance du pooling [CLS] se dégrade considérablement lors de l'extrapolation au-delà des longueurs d'entraînement.
Analyse de la longueur d'entraînement : L'augmentation de la longueur de séquence d'entraînement pour les modèles [CLS] a réduit, mais n'a pas éliminé, leur biais positionnel ni comblé l'écart de performance avec le LMK sur les tâches de contexte long hors domaine.
Intégration au pré-entraînement : Lorsqu'il est utilisé dans le pré-entraînement RetroMAE, le LMK pooling fournit des gains de performance constants sur les tâches de recherche à contexte long par rapport au pré-entraînement basé sur CLS.

Signification et affirmations

Le papier affirme que le LMK pooling offre une alternative pratique et évolutive aux méthodes de pooling existantes. Sa signification réside dans :

Équilibre entre informations locales et globales : Il parvient à atténuer le compromis entre la préservation des caractéristiques locales saillantes (souvent perdues avec le mean pooling) et la capture des dépendances à longue portée (souvent manquées par le [CLS]).
Simplicité : La méthode ne nécessite qu'une modification de la logique de tokenisation et de pooling, sans changements architecturaux complexes ou paramètres apprenables supplémentaires (contrairement à Latent Attention).
Généralisation : Il permet une extrapolation robuste de contexte long même lorsque les modèles sont principalement entraînés sur des données de contexte court, comblant ainsi une lacune critique dans les systèmes actuels d'embeddings denses où la supervision de contexte long est rare.

Les auteurs concluent que le LMK pooling s'intègre parfaitement aux pipelines d'entraînement et d'évaluation existants, ce qui en fait une solution viable pour les tâches d'embedding à contexte long, les embeddings multi-vecteurs et les systèmes de génération augmentée par récupération (RAG) basés sur le découpage en blocs (chunking).