🤖 AI

Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval

Cette étude démontre que les LLM de pointe comme GPT-4.1 et Claude Sonnet 4.6 atteignent des performances de recherche équivalentes à celles de l'embedding multimodal natif Gemini 2 de Google sur Flickr30k, bien que ce dernier demeure supérieur pour les applications à faible latence grâce aux embeddings précalculables.

Auteurs originaux : Archan Dutta, Vyanktesh Kanungo

Publié 2026-08-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Archan Dutta, Vyanktesh Kanungo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de trouver une aiguille spécifique dans une botte de foin massive et chaotique. Mais voici le rebondissement : l'aiguille n'est pas seulement un morceau de métal ; c'est une image, et vous la décrivez avec des mots. C'est le monde de la recherche multimodale, une branche de l'informatique où les machines apprennent à relier ce qu'elles voient (des images) à ce qu'elles lisent (du texte). Pendant des années, la méthode standard pour faire cela consistait à construire deux « cerveaux » distincts : un qui lit le texte et le transforme en un code secret, et un autre qui regarde les images et les transforme en un code secret différent. L'ordinateur tente ensuite de faire correspondre ces deux codes, comme si l'on essayait de faire entrer un pion carré dans un trou rond en plissant très fort les yeux.

Récemment, deux nouveaux super-outils sont entrés dans l'arène. Premièrement, il y a les Grands Modèles de Langage (LLM) de pointe. Considérez-les comme des bibliothécaires incroyablement intelligents et omniscients qui peuvent regarder un tas de 25 photos et une seule phrase, puis lire instantanément chaque photo, les comparer entre elles et choisir la meilleure correspondance. Deuxièmement, il y a les Plongements (Embeddings) Nativement Multimodaux. Ce sont comme des traducteurs universels qui parlent couramment à la fois l'« Image » et le « Texte » dès le départ, transformant tout en un code secret unique et unifié sans avoir besoin que deux cerveaux séparés se parlent. La grande question que tout le monde se pose est la suivante : avons-nous besoin du bibliothécaire super intelligent pour lire chaque photo et les comparer, ou le traducteur universel est-il assez rapide et précis pour faire le travail seul ? Cela importe car si le bibliothécaire est trop lent, vous ne pouvez pas l'utiliser pour des applications en temps réel, comme rechercher des photos dans votre galerie pendant que vous marchez dans la rue.

Ce document met en place une course à enjeux élevés entre ces deux approches en utilisant un ensemble de données appelé Flickr30k, qui contient 31 000 images accompagnées de descriptions écrites par des humains. Pour rendre la course vraiment équitable et difficile, les chercheurs n'ont pas simplement jeté des photos aléatoires aux modèles. Ils ont créé des « négatifs difficiles » — des photos qui ressemblent beaucoup à la bonne réponse mais qui ne sont pas tout à fait exactes, conçues pour tromper même les systèmes les plus intelligents. Ils ont testé quatre poids lourds : Gemini Embedding 2 et Amazon Nova 2 (les traducteurs universels) contre GPT-4.1 et Claude Sonnet 4.6 (les bibliothécaires super intelligents).

Les résultats ont été un choc pour les sprinteurs, mais un soulagement pour les défenseurs de la précision. Lorsqu'il s'agissait d'obtenir la bonne réponse, les traducteurs universels et les bibliothécaires super intelligents étaient au coude-à-coude. L'étude a révélé que Gemini Embedding 2, GPT-4.1 et Claude Sonnet 4.6 affichaient des performances statistiquement identiques. Ils étaient si proches qu'on ne pouvait pas les distinguer sur la seule base de la précision ; ils parvenaient tous à choisir l'image correcte environ 80 % du temps dans ces scénarios délicats. Le document écarte explicitement l'idée que les bibliothécaires soient nettement supérieurs en termes de précision, montant que les nouveaux modèles de plongement sont tout aussi affûtés pour trouver la bonne aiguille dans la botte de foin. Cependant, un modèle, Amazon Nova 2, a pris du retard, trouvant la bonne réponse environ 13 points de pourcentage moins souvent, probablement parce qu'il était configuré pour des tâches générales plutôt que pour ce type spécifique de recherche d'images.

Mais la véritable histoire ne concerne pas seulement qui gagne la course de la précision ; il s'agit de savoir qui termine le marathon. C'est ici que les deux approches divergent radicalement. Les bibliothécaires super intelligents (LLM) doivent regarder chaque photo du groupe pour chaque question. L'étude a mesuré cela et a constaté que classer 1 000 requêtes prenait aux bibliothécaires plus de 6 100 secondes (pour GPT-4.1) et 9 415 secondes (pour Claude Sonnet 4.6). C'est des heures d'attente. En revanche, les traducteurs universels (modèles de plongement) fonctionnent différemment. Ils peuvent pré-calculer les codes secrets pour toutes les photos une seule fois, comme si l'on tamponnait le code-barres de chaque livre d'une bibliothèque avant même que vous n'entriez. Une fois que cette « pré-computation » est terminée, trouver la bonne photo pour 1 000 requêtes a pris aux modèles de plongement moins de 2 secondes.

Les auteurs concluent que, bien que les bibliothécaires super intelligents soient brillants pour le raisonnement et la comparaison d'images côte à côte, les traducteurs universels sont les grands vainqueurs pour tout ce qui doit se produire instantanément. Si vous construisez une application où un utilisateur doit rechercher dans une grande collection d'images en un clin d'œil, les modèles de plongement sont le meilleur choix. Les bibliothécaires restent utiles si votre collection de photos change chaque seconde ou est très petite, rendant l'étape de pré-calcul inutile, mais pour la vitesse et l'échelle, les nouveaux modèles de plongement ont prouvé qu'ils pouvaient égaler la précision des géants tout en étant mille fois plus rapides.

Résumé Technique : LLM de pointe vs. Embeddings Multimodaux Natifs pour la Récupération Texte-Image avec Négatifs Difficiles

Énoncé du Problème

La récupération texte-image, la tâche consistant à classer les images par pertinence par rapport à une requête en langage naturel, repose traditionnellement sur des modèles à double encodeur (ex. : CLIP) qui alignent les représentations visuelles et textuelles via l'apprentissage contrastif. Deux développements récents remettent en question ce paradigme :

Les Grands Modèles de Langage (LLM) de pointe : Des modèles comme GPT-4.1 et Claude Sonnet 4.6 possèdent de fortes capacités visuelles, permettant un nouveau paradigme de récupération où toutes les images candidates et la requête sont présentées dans un seul prompt pour un classement direct zero-shot.
Les Embeddings Multimodaux Natifs : Des modèles tels que Gemini Embedding 2 (GE2) de Google et Amazon Nova 2 projettent le texte, les images, la vidéo et l'audio dans un espace d'embedding partagé unique, allant au-delà de l'architecture à double encodeur.

Bien que les deux approches soient prometteuses, leur performance relative en matière de précision de récupération et de latence de classement — spécifiquement dans des conditions difficiles — reste non caractérisée dans la littérature. Cette étude comble cette lacune en comparant les embeddings multimodaux natifs aux LLM de pointe en tant que classeurs visuels directs zero-shot.

Méthodologie

Jeu de Données et Construction des Candidats

L'étude utilise Flickr30k (Young et al., 2014), un ensemble de données de 31 000 images avec cinq légendes indépendantes chacune. Pour créer une tâche d'évaluation non triviale, les auteurs ont construit des ensembles de candidats à négatifs difficiles :

Pool : 5 000 images ont été échantillonnées, chacune avec cinq légendes.
Sélection des Requêtes : 1 000 légendes ont été sélectionnées aléatoirement comme requêtes.
Négatifs Difficiles : Pour chaque requête, un ensemble de candidats de 25 images a été formé : l'image de vérité terrain plus 24 "négatifs difficiles".
Logique de Sélection : Les négatifs difficiles ont été sélectionnés sur la base de la similitude dans l'espace des légendes plutôt que sur la similitude dans l'espace des images. En utilisant sentence-transformers/all-mpstep-base-v2, les 24 légendes les plus sémantiquement proches de la légende de la requête (en excluant la requête elle-même) ont été identifiées. Les images correspondant à ces légendes ont formé le groupe de négatifs. Cette approche augmente l'ambiguïté, car les images sont difficiles à distinguer compte tenu de la légende de la requête.

Systèmes Évalués

Quatre systèmes ont été évalués sur les mêmes 1 000 requêtes et les mêmes ensembles de candidats :

Gemini Embedding 2 (GE2) : Un modèle d'embedding multimodal natif. Les requêtes et les images ont été embeddées séparément en utilisant des types de tâches spécifiques (RETRIEVAL_QUERY et RETRIEVAL_DOCUMENT), et les candidats ont été classés par similitude cosinus.
Amazon Nova 2 : Un modèle d'embedding multimodal. Similaire à GE2, mais utilise GENERIC_INDEX à des fins d'embedding.
GPT-4.1 : Un LLM de pointe. La légende de la requête et les 25 images candidates ont été présentées dans un seul prompt zero-shot. Le modèle a reçu l'instruction de retourner une liste classée d'identifiants d'images.
Claude Sonnet 4.6 : Un LLM de pointe. Évalué avec le même prompt et la même procédure que GPT-4.1.

Pour atténuer le biais de position dans les LLM, l'ordre des images dans le prompt a été randomisé pour chaque requête.

Métriques d'Évaluation

La performance a été mesurée via :

Recall@1 (R@1) : Fraction des requêtes où l'image de vérité terrain est classée première.
Recall@3 (R@3) : Fraction des requêtes où l'image de vérité terrain est dans les trois premières positions.
Mean Reciprocal Rank (MRR) : Moyenne du rang réciproque de l'image de vérité terrain.
Latence : Temps d'exécution pour classer 1 000 requêtes, en distinguant le traitement de bout en bout et les scénarios avec embeddings précalculés.

La signification statistique a été évaluée par le test de McNemar pour le R@1 et le test de Wilcoxon signé-rang pour le MRR, avec correction de Bonferroni.

Résultats Clés

Précision de Récupération

Meilleurs Performeurs : Gemini Embedding 2, GPT-4.1 et Claude Sonnet 4.6 ont obtenu des performances statistiquement indiscernables sur les trois métriques (R@1, R@3, MRR).
- Scores R@1 : GE2 (0,804), Claude Sonnet 4.6 (0,796), GPT-4.1 (0,789).
- Signification : Les tests par paires n'ont montré aucune différence significative entre ces trois systèmes (tous $p > 0,09$ ).
Sous-performeur : Amazon Nova 2 est resté en retrait, atteignant un R@1 de 0,673. Les tests statistiques ont confirmé que ses performances étaient significativement différentes de tous les autres systèmes ( $p < 0,0001$ ). Les auteurs attribuent cet écart à l'utilisation de GENERIC_INDEX pour les fins d'embedding, qui est optimisé pour la création de bases de données vectorielles générales plutôt que pour l'appariement spécifique texte-image.

Latence et Efficacité

Avantage de la Précomputation : Les modèles d'embedding (GE2 et Nova 2) permettent la précomputation des embeddings d'images. Une fois précalculés, le classement de 1 000 requêtes avec 25 candidats chacune a pris moins de 2 secondes (0,66s pour GE2, 1,16s pour Nova 2).
Latence des LLM : Les LLM traitent les requêtes de bout en bout sans précomputation. Le classement de la même charge de travail a pris 6 100 secondes pour GPT-4.1 et 9 415 secondes pour Claude Sonnet 4.6.
Conclusion : Les modèles d'embedding offrent une accélération d'environ quatre ordres de grandeur pour les applications à faible latence impliquant des galeries d'images fixes.

Contributions et Signification

L'article revendique les contributions suivantes :

Première Comparaison Directe : Il fournit la première comparaison directe des embeddings multimodaux natifs contre les LLM de pointe en tant que classeurs visuels directs zero-shot sur un ensemble de négatifs difficiles (Flickr30k), sans fine-tuning spécifique à la tâche ou génération de légendes intermédiaires.
Parité de Précision : L'étude démontre empiriquement que les modèles d'embedding multimodaux dédiés (spécifiquement GE2) et les LLM de pointe (GPT-4.1, Claude Sonnet 4.6) atteignent une précision de récupération statistiquement indiscernable sur les candidats à négatifs difficiles. Cela suggère que les LLM peuvent servir efficacement de classeurs zero-shot, égalant la performance d'espaces d'embedding spécialisés.
Compromis de Latence : L'article souligne une distinction pratique cruciale : bien que la précision soit comparable, les modèles d'embedding sont nettement supérieurs pour les applications à faible latence grâce aux capacités de précomputation. Inversement, les LLM peuvent être préférables pour des galeries fréquemment mises à jour ou de petite taille où la précomputation est peu pratique.

Limites

Les auteurs reconnaissent plusieurs limites :

Vérité Terrain Ambiguë : Dans les ensembles de négatifs difficiles, une légende d'une image peut plausiblement décrire une autre, créant une ambiguïté. Cependant, cela affecte tous les systèmes de la même manière.
Dureté de l'Espace des Légendes : Les négatifs difficiles ont été définis dans l'espace des légendes, ce qui peut favoriser intrinsèquement les méthodes basées sur l'embedding optimisées pour les représentations vectorielles denses.
Conditions d'Inférence : Les LLM bénéficient du raisonnement croisé entre candidats (voir les 25 images à la fois), tandis que les modèles d'embedding évaluent les images indépendamment.
Accès Propriétaire : Tous les systèmes sont accédés via des API payantes, et les poids des modèles peuvent changer entre les expériences et les tentatives de réplication.
Portée : L'évaluation utilise des ensembles de candidats de 25 images, mesurant la performance de classement plutôt que la récupération sur une galerie complète, ce qui peut ne pas se généraliser à des contextes de très grande échelle.

Conclusion

L'étude conclut que les LLM de pointe peuvent égaler la précision de récupération des modèles d'embedding multimodaux natifs sur les tâches de récupération texte-image à négatifs difficiles. Cependant, le choix du système dépend des contraintes de l'application : les modèles d'embedding sont le choix supérieur pour la récupération à faible latence et à grande échelle avec des galeries fixes, tandis que les LLM offrent une alternative zero-shot viable pour des scénarios dynamiques ou de plus petite échelle où la précomputation n'est pas réalisable.