💬 NLP

Giga-Embeddings: Mixture-of-Experts Encoders for High-Throughput Text Embeddings

Le document présente Giga-Embeddings, une famille de modèles d'encodage de texte dotée d'un encodeur de type Mixture-of-Experts creux de 10 milliards de paramètres qui atteint une qualité de recherche de pointe et un débit élevé sur plusieurs langues, aux côtés de variantes denses et distillées plus petites optimisées pour les environnements à ressources limitées.

Auteurs originaux : Egor Kolodin, Egor Krasnoperov, Evgeniy Kosarev, Fyodor Minkin

Publié 2026-08-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Egor Kolodin, Egor Krasnoperov, Evgeniy Kosarev, Fyodor Minkin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde numérique, les ordinateurs ne comprennent pas les mots de la même manière que les humains. Pour une machine, une phrase n'est qu'une longue chaîne de symboles. Pour donner du sens au texte, les chercheurs ont développé une méthode consistant à transformer les mots en listes de nombres, appelées plongements lexicaux (embeddings). Considérez ces listes comme une adresse unique pour chaque morceau de texte, le plaçant dans un vaste espace multidimensionnel où les idées similaires sont proches et les idées différentes sont éloignées. Ce système alimente les outils que nous utilisons quotidiennement, des moteurs de recherche qui trouvent le bon document à l'intelligence artificielle qui répond aux questions en se basant sur une bibliothèque de textes. Cependant, il existe une tension constante dans ce domaine : plus le système est complexe, mieux il comprend généralement le langage, mais plus il nécessite de puissance de calcul et de mémoire pour fonctionner. Rendre ces systèmes plus rapides et moins coûteux sans perdre leur intelligence a été un défi majeur pour les scientifiques.

Une équipe de chercheurs a introduit une nouvelle famille de modèles de plongement de texte appelée Giga-Embeddings, conçue pour résoudre ce problème en équilibrant haute qualité et haute vitesse. Leur création la plus ambitieuse est un modèle massif contenant dix milliards de paramètres, qui est une mesure de sa complexité interne. Au lieu d'utiliser l'ensemble des dix milliards de paramètres pour traiter chaque mot, ce modèle utilise une technique appelée mélange d'experts (mixture of experts). Imaginez une grande bibliothèque où, pour chaque livre demandé par un client, seule une petite équipe spécifique de bibliothécaires est appelée pour aider, tandis que le reste du personnel reste en attente. Dans ce modèle informatique, environ 1,8 milliard de paramètres sont activés pour chaque mot, tandis que les dix milliards complets restent disponibles en mémoire. Cela permet au système de porter la connaissance d'un cerveau immense tout en n'effectuant le travail que d'un cerveau plus petit à un instant donné.

Les chercheurs ont testé ce grand modèle par rapport à plusieurs autres, y compris un modèle dense standard de trois milliards de paramètres et une version distillée plus petite de 480 millions de paramètres. Ils ont évalué les systèmes sur un large éventail de tâches impliquant l'anglais, le russe, le texte multilingue et le code informatique. Les résultats ont montré que le grand modèle parcimonieux (sparse) a obtenu la meilleure performance globale dans toutes ces catégories. Il comprenait non seulement mieux le texte que les modèles plus petits, mais il traitait également l'information plus rapidement. En mesurant le nombre de mots que le système pouvait traiter par seconde, le modèle de dix milliards de paramètres était 25 % plus rapide que le modèle de trois milliards de paramètres et nettement plus rapide que les autres systèmes avancés testés dans le même environnement. Cela prouve qu'il est possible de construire un système qui soit à la fois incroyablement vaste dans sa capacité et hautement efficace dans son fonctionnement.

Pour rendre ces outils puissants accessibles aux appareils disposant de moins de puissance de calcul, l'équipe a également créé une version beaucoup plus petite du modèle. Ils ont utilisé une méthode appelée distillation de distribution de similitude pour enseigner à ce modèle compact. Au lieu d'essayer de copier les nombres internes exacts du grand modèle enseignant, le petit modèle a appris à imiter les jugements finaux du grand modèle concernant la similitude entre différents morceaux de texte. Cela a permis au petit modèle, qui ne possède que 480 millions de paramètres, d'être presque aussi performant que le modèle beaucoup plus grand de trois milliards de paramètres. Lors de tests sur le texte russe, le petit modèle a obtenu un score légèrement supérieur à celui d'un concurrent bien connu qui est presque deux fois plus grand que lui, démontant qu'un système plus petit peut être très efficace s'il est enseigné de la bonne manière.

L'équipe a rendu publiques les trois versions de ses modèles, permettant ainsi à d'autres de les utiliser pour diverses applications. Ils ont constaté que le grand modèle parcimonieux était particulièrement efficace pour gérer les textes longs, maintenant sa vitesse même lorsque l'entrée devenait plus longue. Bien que les modèles plus petits nécessitent moins de mémoire pour le stockage, le grand modèle offrait la meilleure combinaison de vitesse et de précision pour les tâches lourdes. Les chercheurs ont noté que leurs mesures ont été prises dans un environnement de test spécifique, la performance en conditions réelles pouvant varier légèrement selon le matériel utilisé. Néanmoins, ce travail démontre une voie claire pour l'avenir : en utilisant des choix architecturaux intelligents et des méthodes d'enseignement méticuleuses, il est possible de créer des systèmes de compréhension de texte qui soient à la fois assez puissants pour gérer des tâches complexes et assez efficaces pour fonctionner rapidement sur les ordinateurs modernes.

Résumé Technique : Giga-Embeddings

Problématique

Les modèles d'embeddings textuels sont essentiels pour la recherche sémantique, la génération augmentée par récupération (RAG) et le partitionnement de données (clustering). Bien que l'augmentation de la taille des modèles de base améliore généralement la qualité des représentations, les encodeurs de plusieurs milliards de paramètres font face à des défis importants en termes de coûts de stockage et de service. Les approches existantes reposent souvent sur la distillation de connaissances pour créer des modèles plus petits, mais ces méthodes nécessitent fréquemment une correspondance des dimensions cachées ou des architectures entre l'enseignant et l'élève. De plus, bien que les modèles Mixture-of-Experts (MoE) offrent une grande capacité avec une activation parcimonieuse, leur application aux encodeurs de texte bidirectionnels pour l'inférence à haut débit reste peu explorée.

Méthodologie

Les auteurs présentent Giga-Embeddings, une famille de modèles d'embeddings textuels comprenant trois checkpoints distincts : un modèle dense de 480M, un modèle dense de 3B, et un modèle MoE parcimonieux de 10B.

Architectures de Modèles

Adaptation de Base : Tous les modèles adaptent des modèles de langage de type décodeur seul (spécifiquement les familles Qwen3 et DeepSeekMoE) en encodeurs bidirectionnels en remplaçant les masques d'attention causaux par des masques bidirectionnels entièrement visibles. Le pooling moyen agrège les états de jetons en vecteurs de dimension fixe.
Giga-Embeddings-10B-A1.8B : Un encodeur MoE parcimonieux possédant 10 milliards de paramètres au total. Il utilise 64 experts routés, un expert partagé et un routage "top-4", activant environ 1,8 milliard de paramètres par jeton. Il produit des embeddings de dimension 1536.
Giga-Embeddings-3B : Un encodeur bidirectionnel dense basé sur Qwen3 avec 3 milliards de paramètres et des sorties de dimension 2048.
Giga-Embeddings-480M : Un encodeur bidirectionnel dense basé sur Qwen3 avec 480 millions de paramètres et des sorties de dimension 1024.

Pipeline d'Entraînement

Les modèles suivent un processus d'entraînement contrastif en trois étapes :

Pré-entraînement contrastif : Utilise une perte InfoNCE en lot (in-batch) avec des termes contrastifs requête-requête et document-document.
Fine-tuning de recherche (Retrieval Fine-tuning) : S'entraîne avec des négatifs difficiles (hard negatives) extraits d'une plage de classement de recherche prédéfinie.
Fine-tuning multitâche : Optimise pour les tâches de recherche, de classification, de clustering et de similarité sémantique.

Distillation de Distribution de Similarité :
Une contribution méthodologique clé est appliquée exclusivement au modèle élève de 480M lors des phases de fine-tuning et de multitâche. Contrairement à la distillation traditionnelle qui aligne les vecteurs d'embedding (nécessitant des dimensions égales), cette méthode aligne les distributions de similarité sur des ensembles de candidats.

L'enseignant (dense 3B ou MoE 10B) et l'élève génèrent des similarités cosinus pour un ensemble de candidats.
Une perte de divergence KL ( $L_{KD}$ ) est calculée entre les distributions de probabilité de ces similarités de l'enseignant et de l'élève.
La perte totale combine ce terme de distillation avec la perte contrastive InfoNCE standard ( $L_{NCE}$ ) : $L = \lambda L_{KD} + (1-\lambda)L_{NCE}$ .
Cette approche est indépendante de l'architecture et de la dimension, permettant à un élève dense d'apprendre d'un enseignant parcimonieux ou de dimension différente sans nécessiter de projection des états internes.

Résultats Clés

Performances sur les Benchmarks MTEB

Évalué sur les suites English, Russian, Multilingual et Code (MTEB et MMTEB) :

10B-A1.8B : Obtient les scores agrégés les plus élevés de la famille sur les quatre suites. Il domine les comparaisons externes sur le benchmark Russian MTEB.
Modèle 3B : Sert de base de référence dense, surpassant le modèle 480M par des marges allant de 2,41 à 6,92 points selon la suite.
Modèle Distillé 480M : Obtient un score de 70,98 sur Russian MTEB, surpassant le modèle FRIDA 823M (70,95) tout en utilisant 42 % de paramètres en moins. Il reste à une distance de 2,41 à 6,92 points du modèle 3B.

Débit et Efficacité

Débit MoE : Le modèle 10B-A1.8B atteint le débit le plus élevé parmi les systèmes comparés. Pour une longueur d'entrée de 1024 jetons, son débit est 25 % supérieur à celui du modèle dense 3B et 1,56 à 2,65 fois supérieur à celui des systèmes externes évalués (ex: Qwen3-Embedding 4B, F2LLM-v2-8B).
Stockage : Le modèle 480M nécessite environ 0,96 Go de stockage de poids (fp16), soit environ 4,8 % du stockage requis par le modèle MoE 10B.

Études d'Ablation

L'ablation de la distillation sur le modèle 480M montre que la distillation de distribution de similarité apporte des gains constants de 0,09 à 0,22 point sur les suites English, Russian et Code par rapport à une version non distillée de la même architecture.

Signification et Revendications

L'article affirme présenter le premier encodeur d'embedding textuel à usage général construit autour d'une architecture parcimonieuse de type Mixture-of-Experts. Sa principale signification réside dans la démonstration que :

MoE pour les Embeddings : Les modèles d'encodeurs MoE peuvent considérablement améliorer le débit d'inférence sans sacrifier la qualité de l'embedding, offrant une voie viable pour les systèmes de recherche à haute capacité et haut débit.
Distillation Indépendante de la Dimension : La méthode de distillation de distribution de similarité proposée transfère efficacement les connaissances d'enseignants de grande taille vers des élèves compacts sans nécessiter d'alignement architectural ou dimensionnel, permettant une compression efficace.
Open Source : Les auteurs publient les trois checkpoints de modèles (480M, 3B et 10B-A1.8B) pour faciliter la recherche et le déploiement futurs.

Les auteurs notent des limites, notamment le fait que les résultats des benchmarks représentent des exécutions uniques sans estimations d'incertitude, que les mesures de débit sont spécifiques à un environnement de service unique (vLLM) et que le mélange d'entraînement inclut des données non publiques, limitant la reproductibilité complète.