💬 NLP

UEmbed: Unified Sparse and Dense Multimodal Embeddings

UEmbed introduit un modèle d'encodage multimodal unifié de type uniquement décodeur qui génère à la fois des représentations lexicales éparses et denses en une seule passe causale directe, atteignant des performances de pointe sur les benchmarks multimodaux tout en permettant des applications agentiques efficaces.

Auteurs originaux : Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

Publié 2026-08-04

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de trouver un livre spécifique dans une bibliothèque immense et chaotique. Pendant longtemps, les bibliothécaires ont utilisé une astuce simple : ils cherchaient des mots exacts. Si vous demandiez « chat », ils ne trouvaient que des livres contenant le mot « chat ». C'est rapide et facile, mais c'est un peu stupide ; cela rate les livres sur les « félins » ou les « chatons » qui n'ont jamais utilisé le mot « chat ». Pour corriger cela, les scientifiques ont inventé des moteurs de recherche « intelligents » qui comprennent le sens. Ces moteurs transforment votre question et les livres en de longues listes de nombres (appelées « vecteurs denses »). C'est comme donner à chaque livre une empreinte digitale unique basée sur son ambiance et son histoire. C'est excellent pour la compréhension, mais c'est lourd, lent et parfois difficile d'expliquer pourquoi un livre a été choisi.

Maintenant, imaginez un nouveau type de bibliothécaire capable de faire les deux tâches à la fois. Il peut vous donner l'« empreinte de l'ambiance » et une liste des mots-clés les plus importants, le tout en un seul coup d'œil ultra-rapide. C'est le monde de la recherche d'information, la science consistant à trouver des aiguilles dans des bottes de foin numériques. La grande question que les chercheurs se posent est la suivante : pouvons-nous construire un cerveau unique et super intelligent capable de gérer à la fois la recherche par « mot exact » et la recherche par « sens », sans avoir besoin de deux systèmes différents et encombrants ? Et ce cerveau peut-il comprendre non seulement le texte, mais aussi les images, les vidéos et les documents, tous en même temps ? C'est là que commence l'histoire d'une nouvelle invention appelée UEmbed.

La solution du cerveau unique : UEmbed

Découvrez UEmbed (Unified Embedding), un nouveau type de cerveau informatique conçu par des chercheurs d'Alibaba, de l'Académie chinoise des sciences et de Yale. Considérez UEmbed comme un super-héros multitâche qui refuse de choisir entre être un « magicien des mots » et un « maître du sens ». Par le passé, si vous vouliez un moteur de recherche comprenant les sens profonds, vous deviez utiliser un système lourd et lent. Si vous vouliez un système rapide utilisant des mots-clés, vous deviez utiliser un système plus simple et plus limité. Généralement, vous ne pouviez pas avoir les deux dans un même paquet, surtout lorsqu'il s'agissait d'images et de vidéos.

UEmbed change la donne en utilisant une architecture de type « decoder-only » (décodeur uniquement). Pour utiliser une analogie simple, imaginez qu'un moteur de recherche standard est comme une personne lisant un livre du début à la fin, regardant en arrière et en avant pour comprendre toute l'histoire (c'est ce qu'on appelle le mode « bidirectionnel »). UEmbed, cependant, est comme un conteur qui écoute toute l'histoire puis, à la toute fin, la résume instantanément de deux manières : d'abord, en vous donnant un « score d'ambiance » (la partie dense), et deuxièmement, en criant les 10 à 20 mots les plus importants qui lui sont venus à l'esprit (la partie éparse). Il fait tout cela en une seule passe, comme en actionnant un interrupteur.

Comment ça marche : La magie des jetons spéciaux

Alors, comment ce cerveau parvient-il à crier des mots-clés tout en comprenant l'histoire entière ? La recette secrète réside dans une astuce ingénieuse impliquant des « jetons spéciaux » (special tokens).

Imaginez que vous écrivez une histoire et qu'à la toute fin, vous fixez quelques notes autocollantes invisibles et magiques. Dans le cas d'UEmbed, les chercheurs fixent 16 de ces notes spéciales (appelées jetons) à la fin de l'entrée. Avant que l'ordinateur ne commence à lire, il divise l'intégralité du dictionnaire de mots (le vocabulaire) en 16 groupes différents, comme pour trier un immense coffre de briques LEGO en 16 bacs de couleurs différentes.

Pendant que l'ordinateur lit votre image, vidéo ou texte, il traite l'histoire. Lorsqu'il atteint ces 16 notes autocollantes magiques à la fin, chaque note se voit attribuer une tâche spécifique : « Tu es responsable du bac rouge de mots », « Tu gères le bac bleu », et ainsi de suite. Chaque note examine l'histoire qu'elle vient d'entendre et décide : « Sur la base de ce que j'ai entendu, voici les mots les plus importants de mon bac de couleur ».

Une fois que l'ordinateur a terminé, il possède 16 petites listes de mots importants. Il les assemble pour créer une liste de mots-clés massive et super détaillée (le vecteur épars). Simultanément, il prend l'« ambiance » de toute l'histoire pour créer l'empreinte digitale dense. Ce partitionnement intelligent résout un problème majeur : habituellement, un cerveau d'ordinateur ne peut utiliser qu'un seul « jeton de résumé » pour décrire une histoire, ce qui n'est pas suffisant pour contenir tous les mots-clés. En utilisant 16 jetons différents, UEmbed répartit le travail, lui permettant d'être à la fois riche en mots-clés et riche en sens.

Ce que disent les chiffres

Les chercheurs ont testé UEmbed sur certains des défis les plus difficiles du monde de la recherche. Ils n'ont pas seulement utilisé du texte ; ils lui ont lancé des images, des vidéos et des documents complexes.

Le score majeur : Sur un benchmark massif appelé MMEB-v2, qui teste la capacité des modèles à comprendre différents types de médias, la plus grande version d'UEmbed (le modèle 9B, qui possède 9 milliards de paramètres) a obtenu un score de 71,8 pour sa recherche d'« ambiance » et de 71,0 pour sa recherche par « mots-clés ».
La comparaison : C'est un événement majeur. Habituellement, la recherche par mots-clés est loin derrière la recherche par « ambiance ». Ici, le mode mots-clés d'UEmbed est presque aussi performant que son mode ambiance, et il bat presque tous les autres modèles entraînés sur des données publiques. Par exemple, il a surpassé un modèle de 7 milliards de paramètres appelé RzenEmbed-V2-7B (qui a obtenu 71,1) et un modèle de 2 milliards de paramètres appelé Embed-RL-4B (qui a obtenu 68,1).
L'efficacité : Parce qu'UEmbed est construit comme un modèle « decoder-only » (le même type utilisé par les chatbots populaires), il s'intègre parfaitement aux serveurs à haute vitesse. Il peut générer ces doubles résultats incroyablement vite, ce qui le rend pratique pour une utilisation réelle.

Pourquoi c'est important : L'avantage des « Agents »

L'article suggère que cette approche à double puissance n'est pas seulement un tour de passe-passe élégant ; c'est une nécessité pratique pour le futur des « agents » d'IA — des programmes intelligents qui naviguent sur le Web et accomplissent des tâches pour vous.

Lorsqu'un agent d'IA essaie de résoudre un problème, il pose souvent des questions courtes et riches en mots-clés comme « meilleur restaurant de pizza près de chez moi » ou « comment réparer une fuite ». La recherche dense par « ambiance » manque parfois ces requêtes car elle cherche un sens profond, tandis que la recherche par mots-clés est rapide mais limitée. UEmbed offre le meilleur des deux mondes. Lors de tests sur un benchmark appelé BrowseComp-Plus, les chercheurs ont constaté que l'utilisation du mode mots-clés d'UEmbed aidait l'agent d'IA à trouver l'information correcte avec moins de tentatives de recherche, économisant ainsi du temps et de la puissance de calcul.

Les limites et l'avenir

Les auteurs précisent avec prudence qu'UEmbed n'est pas encore parfait. Ils ont remarqué que le modèle se confond parfois avec les langues autres que l'anglais et le chinois, probablement parce qu'il a été principalement entraîné sur ces deux langues. Ils ont également observé que parfois, les « notes autocollantes magiques » peuvent crier des mots étranges ou non standards (comme « _alt » ou « _perm »), qui sont des artefacts du dictionnaire interne de l'ordinateur.

Cependant, l'idée centrale est solide : UEmbed prouve que vous n'avez pas à choisir entre vitesse et intelligence, ou entre mots et sens. En unifiant ces deux mondes dans un seul modèle « decoder-only », il ouvre la voie à des moteurs de recherche plus rapides, plus intelligents et capables de comprendre l'ensemble du monde numérique — d'une simple phrase à une vidéo complète — en une seule fois. C'est un nouveau paradigme où le moteur de recherche ne se contente pas de chercher des mots ou de ressentir l'ambiance ; il fait les deux, instantanément.

Résumé Technique : UEmbed

Problématique

Les systèmes modernes de recherche d'information reposent de plus en plus sur la Recherche Sparse Apprise (LSR - Learned Sparse Retrieval) pour dépasser la simple correspondance lexicale exacte et tendre vers une compréhension sémantique plus riche. Cependant, les méthodes LSR existantes font face à trois limitations critiques :

Contraintes Architecturales : Les modèles LSR actuels sont principalement construits sur des architectures d'encodeurs bidirectionnels (ex: BERT). Ils ne peuvent pas exploiter nativement les mécanismes d'attention causale des Grands Modèles de Langage (LLM) et des Modèles de Langage Multimodaux (MLLM) basés sur des décodeurs sans convertir le backbone en comportement bidirectionnel ou adopter des cursus d'entraînement complexes, ce qui augmente les coûts et rompt la compatibilité avec les frameworks de service optimisés comme vLLM.
Modalité Limitée : La plupart des approches LSR sont uniquement textuelles. Les extensions multimodales reposent généralement sur des modules cross-modaux auxiliaires plutôt que de dériver des représentations éparses directement d'un backbone multimodal unifié, ce qui les rend difficiles à étendre à de nouvelles modalités.
Utilité Inexplorée : Les avantages pratiques de la recherche sparse (ex: efficacité, interprétabilité, utilité pour la recherche agentique) restent sous-examinés au-delà des benchmarks de précision standards.

Un défi technique spécifique lors de l'adaptation de la recherche sparse aux modèles causaux est le goulot d'étranglement de l'information : s'appuyer sur un seul jeton (ex: EOS) pour projeter dans un espace de vocabulaire massif limite sévèrement la capacité de représentation.

Méthodologie : UEmbed

Les auteurs proposent UEmbed (Unified Embedding), un modèle d'embedding multimodal basé sur un décodeur-only qui produit nativement des représentations lexicales éparses et denses en un seul passage causal.

Architecture Centrale

UEmbed modifie un MLLM standard basé sur un décodeur en ajoutant $N$ jetons spéciaux apprenables ( $\langle s_1 \rangle, \dots, \langle s_N \rangle$ ) à la séquence d'entrée.

Partitionnement du Vocabulaire : Le vocabulaire $V$ est partitionné en $N$ sous-ensembles disjoints ( $V_1, \dots, V_N$ ) via un partitionnement par k-means. Cela encourage chaque jeton spécial à agir comme un "spécialiste thématique doux" pour un sous-espace sémantique distinct.
Têtes Sparses Partitionnées : Chaque jeton spécial $\langle s_k \rangle$ résume l'entrée précédente via une attention causale et prédit des poids sparses sur son sous-ensemble de vocabulaire assigné $V_k$ en utilisant une projection linéaire :
$w^{(k)}_t = \log(1 + \text{ReLU}(W^{(k)\top}_t h_{s_k} + b^{(k)}_t))$
Le vecteur sparse final est la concaténation de tous les vecteurs de sous-ensembles.
Représentation Dense : L'embedding dense est dérivé de l'état caché du jeton EOS précédant immédiatement les jetons spéciaux. Si seule la recherche dense est nécessaire, les jetons spéciaux peuvent être omis, n'entraînant aucun coût de calcul supplémentaire.

Stratégie d'Entraînement

Données : Entraîné sur un mélange de 3,94 millions d'échantillons publics couvrant le texte, les images, les vidéos et les documents visuellement riches (sources incluant Echo-embedding, MLDR et MMEB).
Échantillonnage de Négatifs Difficiles (Hard Negative Mining) : Pour les données multimodales manquant de négatifs, un modèle enseignant (Qwen3-VL-Embedding-8B) est utilisé pour extraire des négatifs difficiles.
Objectif Unifié : Le modèle est entraîné avec une perte combinée :
$L = L^{\text{dense}}_{\text{InfoNCE}} + \lambda L^{\text{sparse}}_{\text{InfoNCE}} + \alpha_q L^q_{\text{FLOPS}} + \alpha_d L^d_{\text{FLOPS}}$
Les régulariseurs de FLOPS encouragent la parcimonie en pénalisant le poids du terme de la moyenne au carré.

Principales Contributions

Récupération Unifiée par Décodeur-Only : U에게mbed est le premier modèle capable de produire des représentations de recherche denses et éparses à partir d'un seul backbone décodeur-only, éliminant le besoin d'encodeurs bidirectionnels ou de modules cross-modaux auxiliaires.
État de l'Art de la Recherche Sparse Multimodale : À la connaissance des auteurs, UEmbed est le premier modèle sparse évalué sur MMEB-v2, établissant un nouvel état de l'art dans la recherche multimodale sparse.
Démonstration de l'Utilité Pratique : L'article démontre que le mode sparse de UEmbed améliore l'efficacité (compatibilité native avec l'index inversé), l'efficacité (via le scoring hybride) et l'utilité dans la recherche agentique (réduction des coûts d'appel d'outils).

Résultats Expérimentaux

UEmbed a été évalué à des échelles de 2B, 4B et 9B de paramètres.

Benchmarks Multimodaux (MMEB-v2) :
- UEmbed-9B atteint 71.8 (dense) et 71.0 (sparse), surpassant tous les modèles entraînés sur des données publiques.
- L'écart entre les performances denses et éparses est minime (moins de 1.0 point sur toutes les échelles), prouvant que les embeddings éparses sont une alternative viable dans le domaine multimodal.
- UEmbed-4B (sparse, 69.7) surpasse l'Ops-MM-Embed-7B (67.1) en mode dense.
Benchmarks Textuels (BEIR) :
- UEmbed-9B atteint un nDCG@10 moyen de 56.3 en mode dense et 55.2 en mode sparse.
- En mode sparse, UEmbed-9B égale la performance du modèle spécialiste Echo-Mistral-SPLBRE (55.2) tout en supportant simultanément la recherche dense et les entrées multimodales.
Recherche Agentique (BrowseComp-Plus) :
- Le mode sparse nécessite systématiquement moins de cycles de recherche (appels d'outils) que son homologue dense tout en maintenant un rappel comparable ou supérieur, validant sa rentabilité pour le raisonnement itératif.

Signification et Revendications

L'article positionne UEmbed comme un changement de paradigme qui unifie les embeddings denses et éparses au sein d'un seul modèle, étendant la recherche sparse pour unifier les entrées textuelles et multimodales.

Efficacité Architecturale : En opérant nativement sous une attention causale, UEmbed conserve la compatibilité avec les piles de service à haut débit (ex: vLLM) et la recherche par index inversé standard, offrant des avantages de déploiement par rapport aux modèles LSR bidirectionnels.
Efficacité : Le modèle démontre que la recherche sparse peut atteindre une parité de performance avec la recherche dense dans les contextes multimodaux, contestant l'hypothèse selon laquelle les vecteurs denses sont strictement supérieurs pour les modalités complexes.
Interprétabilité : Le mode sparse fournit une interprétabilité inhérente en faisant émerger les termes de vocabulaire activés, ce qui aide à l'audit des biais et à la compréhension des décisions du modèle.

Les auteurs reconnaissent des limites, notamment le biais linguistique (principalement anglais/chinois), la génération occasionnelle de jetons anormaux due aux tailles de vocabulaire étendues, et un léger écart de performance dans la recherche vidéo par rapport aux documents statiques. Cependant, ils concluent que UEmbed transforme avec succès la recherche sparse d'un module autonome hérité en un produit naturel des MLLM.