💻 computer science

Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini

L'article présente Gemini Embedding 2, un modèle d'encodage multimodal natif qui unifie la vidéo, l'audio, l'image et le texte dans un espace de représentation unique, atteignant des performances de pointe sur diverses tâches de recherche unimodales, intermodales et multimodales tout en démontrant des capacités zero-shot robustes dans des domaines spécialisés.

Auteurs originaux : Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Sam

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Samari, Kevin Poulet, Daniel Cer, Kaifeng Chen, Paul Suganathan, Hui Hui, Jovan Andonov, Philippe Schlattner, Jay Han, Iftekhar Naim, Wing Lowe, Vladimir Pchelin, Albert Yang, Yi-Ting Chen, Zhongli Ding, Grace Zhang, Georg Heigold, Yichang Chen, Antoine Reveillon, Brendan Mccloskey, Wenlei Zhou, Dahun Kim, Rui Meng, Emma Wang, Jack Zheng, Halley Fede, Zhen Yang, Keegan Mosley, Brian Potetz, Sahil Dua, Henrique Schechter Vera, Shen Gao, Hesen Zhang, Andreas Hess, Hengxuan Ying, Alberto Montes, Karan Gill, Min Choi, Sebastian Russo, Anja Hauth, Jinhyuk Lee, Michael Boratko, Megan Barnes, Vikram Rao, Claudiu Musat, Cyril Allauzen, Ehsan Variani, Shankar Kumar, Tom Bagby, Junyi Jiao, Yang Gu, Tengxin Li, Ayush Agrawal, Roberto Santana, Dev Nath, Stephen Karukas, Shuoxuan Han, Lucia Loher, Alice Twu, Nidhi Vyas, Siddharth Bhai, Frank Palma Gomez, Wangyuan Zhang, Chaoren Liu, Jizheng Yang, Steve Qiu, Shijie Zhang, Sujay Kulkarni, Sascha Rothe, Sean Nakamoto, Raphael Hoffmann, Zach Gleicher, Yunhsuan Sung, Qin Yin, Tom Duerig, Mojtaba Seyedhosseini

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque immense contenant des livres, des films, des enregistrements musicaux et des photographies. Pour l'instant, si vous voulez trouver une chanson spécifique qui ressemble à une scène de film, ou une recette correspondant à une photo d'un plat, vous devez généralement tout traduire en texte au préalable. Vous devriez écrire une description de la photo, transcrire l'audio en mots, puis effectuer une recherche. C'est comme essayer de trouver une couleur spécifique en ne regardant qu'une liste de noms de peintures ; vous perdez le véritable « ressenti » de la couleur.

Gemini Embedding 2 est le nouvel outil de Google qui change la donne. Au lieu de forcer tout le monde à se transformer en texte, il crée un « langage » unique et universel où les images, les sons, les vidéos et les mots parlent tous le même dialecte.

Voici une explication de son fonctionnement et de son importance, en utilisant des analogies simples :

1. Le Traducteur Universel (L'Idée Centrale)

Considérez l'ancienne façon de faire comme ayant différents dictionnaires pour différentes langues. Si vous vouliez comparer un livre français à un film allemand, vous deviez d'abord traduire les deux en anglais, ce qui faisait souvent perdre la nuance.

Gemini Embedding 2 est comme un traducteur universel qui parle « Sens ».

Il prend une vidéo, une chanson, une photo ou un paragraphe de texte et les convertit tous en un seul type de « carte d'identité » (un vecteur mathématique).
Parce qu'ils sont tous dans le même « langage », le modèle peut instantanément voir qu'une vidéo d'un chien aboyant et un texte disant « un chien bruyant » sont liés, même si l'un est un son et l'autre des mots. Il n'a pas besoin de convertir le son en mots au préalable ; il comprend le son directement.

2. Le Chef « Tout-en-Un »

Les modèles précédents étaient comme des chefs qui ne pouvaient bien cuisiner qu'un seul type de nourriture. Un chef était excellent pour le texte, un autre pour les images, et un autre pour la vidéo. Si vous vouliez un repas avec les trois, vous deviez engager trois chefs différents et espérer qu'ils s'accordent sur la saveur.

Gemini Embedding 2 est un chef maître capable de gérer n'importe quel ingrédient.

Il a été entraîné sur un mélange massif de tâches : lire du code, comprendre des films, écouter de l'audio et analyser des documents.
Parce qu'il a appris à partir de cette grande variété, il ne se perd pas lorsque vous mélangez les ingrédients. Vous pouvez lui demander de trouver un extrait vidéo en utilisant un mélange d'une photo et d'une phrase, et il comprend la combinaison parfaitement.

3. Le Super-pouvoir « Zero-Shot »

Habituellement, si vous voulez qu'un ordinateur comprenne un sujet très spécifique (comme l'astronomie ou la cuisine), vous devez le former spécifiquement pour ce sujet. C'est comme engager un tuteur pour enseigner à un élève uniquement le système solaire.

Gemini Embedding 2 est comme un élève qui est déjà expert en tout.

L'article montre que ce modèle fonctionne incroyablement bien sur des sujets spécialisés comme la microscopie (biologie), l'astronomie, les beaux-arts et la cuisine sans avoir besoin d'entraînement supplémentaire.
Il est prêt « hors de la boîte ». Si vous lui montrez une photo d'un diagramme stellaire ou une recette complexe, il comprend immédiatement le contexte mieux que des modèles spécialisés qui n'ont été entraînés que sur l'un de ces éléments.

4. La Percée Audio (Plus de Transcription)

L'un des plus grands problèmes de la recherche audio est que les ordinateurs doivent généralement « lire » l'audio d'abord (transcrire la parole en texte) avant de pouvoir le rechercher. C'est comme essayer de trouver une chanson en lisant les paroles, mais si le chanteur marmonne ou si l'accent est fort, l'ordinateur se trompe sur les paroles et vous ne trouvez jamais la chanson.

Gemini Embedding 2 saute l'intermédiaire.

Il écoute le son brut directement. Il comprend le ton, la hauteur et l'émotion de la voix, pas seulement les mots.
L'article a constaté que la recherche avec de l'audio brut est beaucoup plus précise que la recherche avec du texte transcrit. C'est comme reconnaître la voix d'un ami dans une foule sans avoir besoin d'entendre ce qu'il dit.

5. Comment il a été construit (La Recette d'Entraînement)

Pour construire ce « traducteur universel », l'équipe ne lui a pas appris une chose à la fois. Ils ont utilisé un processus de cuisson en trois étapes :

Pré-affinage : Ils ont donné au modèle un énorme tas de données en désordre (texte, code, images) pour l'habituer à l'idée de « coder » l'information.
Affinage : Ils lui ont donné des exemples très spécifiques et de haute qualité sur la façon de faire correspondre les éléments (comme associer une question à une réponse, ou une vidéo à une description).
Soupe de Modèles : C'est une astuce ingénieuse où ils ont pris plusieurs versions différentes du modèle entraîné et les ont « mélangées » ensemble, comme mélanger différents pots de soupe pour obtenir la saveur parfaite. Cela a rendu le modèle final plus stable et meilleur pour gérer différents types de tâches à la fois.

La Conclusion

Gemini Embedding 2 est un nouveau moteur puissant qui permet aux ordinateurs de comprendre le monde comme les humains le font : en voyant, en entendant et en lisant tout comme un tout connecté. Que vous cherchiez un moment précis dans une vidéo en utilisant une description textuelle, que vous trouviez une chanson basée sur un air siffloté, ou que vous recherchiez un document contenant des graphiques et du texte, ce modèle fait tout cela dans un espace unifié, souvent mieux que des outils spécialisés conçus pour une seule de ces tâches.

Résumé Technique : Gemini Embedding 2, un Modèle d'Embedding Multimodal Natif de Gemini

1. Énoncé du Problème

Les modèles d'embedding multimodaux existants, tels que CLIP, ALIGN et SigLIP 2, reposent généralement sur des approches de « fusion tardive ». Ces modèles utilisent des données appariées intermodales pour entraîner des encodeurs spécifiques à chaque modalité (par exemple, des encodeurs d'images et de texte séparés) qui mappent vers un espace vectoriel unifié. Bien qu'efficaces pour les tâches unimodales et les tâches intermodales simples, cette architecture présente une limitation critique : elle peine à gérer les entrées de modalités mixtes (par exemple, des séquences entrelacées de texte, d'images et de vidéo) et échoue à exploiter pleinement les interactions sémantiques riches entre les modalités. De plus, les pipelines traditionnels pour l'audio nécessitent souvent une transcription intermédiaire (ASR) avant l'embedding, introduisant une propagation d'erreurs et perdant des nuances acoustiques telles que la prosodie et l'intonation.

L'article postule qu'avec l'avènement des Grands Modèles de Langage Multimodaux (MLLM), il est désormais possible de créer des embeddings multimodaux natifs qui fusionnent profondément les interactions intermodales, permettant à un modèle unique de traiter des combinaisons arbitraires de texte, d'image, d'audio et de vidéo dans un espace de représentation unifié et cohérent.

2. Méthodologie

Architecture du Modèle

Gemini Embedding 2 est construit sur le modèle de base Gemini, exploitant ses capacités multimodales natives.

Traitement des Entrées : Contrairement aux modèles précédents nécessitant des encodeurs séparés, Gemini Embedding 2 utilise les capacités internes de Gemini pour convertir directement les entrées brutes (images, vidéo, audio, texte) en séquences de tokens. Cela permet au modèle d'accepter nativement des entrées hétérogènes sans modalités intermédiaires (comme l'ASR pour l'audio).
Encodeur : Le modèle emploie un transformateur avec une attention bidirectionnelle (initialisé à partir de Gemini) pour traiter la séquence de tokens $T$ de longueur $L$ . Cela surpasse les limites d'attention unidirectionnelle des LLM causaux, permettant un raisonnement conscient du contexte sur l'ensemble de la séquence d'entrée.
Regroupement et Projection : Les embeddings de tokens sont agrégés à l'aide d'un moyennage (mean pooling) le long de l'axe de la séquence. Une couche de projection linéaire met ensuite l'échelle du résultat à la dimension cible. Le modèle produit des vecteurs de 3 072 dimensions, avec un support pour la Perte Multi-Résolution (MRL) afin d'optimiser également les dimensions 768 et 1 536.

Objectif d'Entraînement

Le modèle est entraîné selon une approche multi-tâches et multi-étapes pour apprendre un espace d'embedding unifié :

Fonction de Perte : L'objectif principal est l'Estimation par Contraste de Bruit (NCE) avec des négatifs intra-batch. La fonction de perte maximise la similarité entre une requête $q_i$ et une cible positive $p^+_i$ tout en minimisant la similarité avec les négatifs difficiles $p^-_i$ et les autres éléments du batch.
Chaînes de Tâches : Pour les tâches uniquement textuelles, des chaînes de tâches prescrites (par exemple, « vérification des faits ») sont incluses mais supprimées aléatoirement pendant l'entraînement pour assurer la robustesse dans les modalités où de telles chaînes sont absentes.
MRL : Pour prendre en charge des dimensions d'embedding flexibles, la perte est adaptée en utilisant la Perte Multi-Résolution (MRL) sur des sous-dimensions chevauchantes.

Recette d'Entraînement

Le processus d'entraînement se compose de trois étapes distinctes :

Pré-ajustement fin (PFT) : Adapte le modèle de la génération auto-régressive au codage. Cette étape utilise de grandes tailles de batch et une configuration multi-tâches avec des tâches d'images, de texte et de code pour stabiliser les gradients face aux entrées bruyantes.
Ajustement fin (FT) : Une étape complète impliquant des tâches de texte, de code, de documents, d'images, d'audio et de vidéo. Cette étape utilise des triplets requête-cible-négatif difficile et échantillonne à partir de tâches uniques pour construire des batches, en équilibrant soigneusement les taux d'échantillonnage pour optimiser les performances sur toutes les modalités.
Soupe de Modèles (Model Soup) : Pour améliorer la généralisation, le modèle final est créé en moyennant les paramètres des points de contrôle d'ajustement fin individuels (incluant différentes exécutions d'entraînement et des moyennes pondérées).

3. Contributions Clés

Embedding Multimodal Natif : Introduit le premier modèle capable d'encoder des combinaisons arbitraires de texte, d'images, d'audio et de vidéo entrelacés dans un espace vectoriel unique, dépassant les limites des architectures de fusion tardive.
Compréhension Audio Supérieure : Démontre que le traitement audio natif (encodage direct de l'audio brut) surpasse nettement les pipelines traditionnels reposant sur la transcription ASR, préservant les indices acoustiques et réduisant la propagation des erreurs.
Cadre d'Entraînement Unifié : Réussit à unifier l'entraînement du texte, du code, des images, de la vidéo et de l'audio en un seul modèle, atteignant des performances de pointe sur divers benchmarks sans sacrifier les performances dans aucune modalité unique.
Généralisation Robuste en Zero-Shot : Montre de solides performances dans des domaines spécialisés (astronomie, bioscience, arts culinaires, beaux-arts) sans ajustement fin spécifique au domaine, établissant le modèle comme une représentation fiable « prête à l'emploi ».

4. Résultats Expérimentaux

Benchmarks de Recherche Multimodale

Gemini Embedding 2 atteint des performances de pointe (SOTA) sur un large éventail de tâches de recherche :

Recherche Image-Texte : Atteint 62,9 R@1 sur MSCOCO et 89,1 R@1 sur Flickr30k (Image vers Texte), surpassant des modèles comme Voyage-3.5-multimodal et Amazon Nova MME.
Recherche Texte-Vidéo : Obtient 68,8 NDCG@10 sur Vatex et 68,0 NDCG@10 sur MSR-VTT.
Recherche de Documents : Atteint 64,9 NDCG@10 sur ViDoRe V2, démontrant une forte capacité à comprendre les structures visuelles et les mises en page au niveau de la page.
Global : Le modèle domine de manière décisive dans les tâches de recherche d'images unimodales, de texte vers image, d'image vers texte et de texte vers vidéo.

Embedding de Texte et de Code (MMTEB)

Performance Multilingue : Atteint 69,9 sur le benchmark multilingue MTEB, surpassant les modèles précédents d'embedding Gemini uniquement textuels et d'autres concurrents multimodaux.
Recherche de Code : Établit un nouveau SOTA sur MTEB Code v1 avec un score de 84,0, surpassant nettement des modèles spécifiques au domaine comme voyage-code-3.

Domaines Spécialisés (Zero-Shot)

Dans les évaluations zero-shot à travers des domaines spécialisés, Gemini Embedding 2 surpasse systématiquement les bases de référence :

Microscopie (MicroVQA) : 79,3 R@5 (contre 44,4 pour CLIP-Large).
Astronomie (AstroLLaVA) : 64,4 R@5 (contre 31,6 pour CLIP-Large).
Arts Culinaires (Recipe1M) : 90,2 R@5 pour les ingrédients et 92,1 R@5 pour les instructions.
Beaux-Arts (ArtCap) : 67,7 R@5.

Recherche Audio (MSEB)

Sur le Massive Sound Embedding Benchmark (MSEB), le modèle avec entrée audio native atteint un mrr@10 moyen de 73,99, contre 70,40 pour la base de référence basée sur l'ASR.

Intra-lingual : Amélioration de +2,0 points.
Inter-lingual : Amélioration de +5,01 points, validant que le modèle aligne les caractéristiques sémantiques à travers les langues sans dépendre des limites phonétiques d'un transcribateur intermédiaire.

5. Signification et Revendications

L'article revendique que Gemini Embedding 2 représente une étape transformatrice dans l'apprentissage de représentations à usage général. Sa signification réside dans :

Élimination des Barrières de Modalité : En traitant nativement des entrées entrelacées, il permet des paradigmes de recherche complexes (par exemple, trouver des événements temporels spécifiques dans une vidéo en utilisant des invites visuelles et textuelles combinées) qui étaient auparavant difficiles ou impossibles.
Efficacité et Robustesse : Il élimine le besoin de conversions intermédiaires coûteuses et sujettes aux erreurs (comme l'ASR) et de l'ingénierie de prompts manuelle, offrant un espace latent unifié et robuste qui fonctionne bien dans des settings zero-shot.
Préparation pour l'Entreprise : Le modèle est positionné comme un candidat hautement fiable pour des cas d'utilisation d'entreprise en aval, notamment la Génération Augmentée par Recherche (RAG), les recommandations vidéo et la recherche, capable de gérer les données hétérogènes riches des applications modernes.
Cohérence Inter-Domaine : Contrairement aux modèles spécialisés qui fluctuent en performance à travers les domaines, Gemini Embedding 2 maintient un alignement généraliste et cohérent, le rendant adapté à des domaines divers allant de la bioscience aux arts culinaires.

Les auteurs concluent que cette approche unifiée facilite la construction de systèmes agentiques de nouvelle génération, fournissant l'infrastructure essentielle pour une recherche inter-données sophistiquée sans les contraintes des architectures spécifiques à une modalité.