🤖 AI

Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval

Deze studie toont aan dat frontier LLM's zoals GPT-4.1 en Claude Sonnet 4.6 een retrieval-prestatie leveren die gelijkwaardig is aan Google's native multimodale Gemini Embedding 2 op Flickr30k, hoewel de laatste superieur blijft voor toepassingen met een lage latentie vanwege vooraf berekenbare embeddings.

Oorspronkelijke auteurs: Archan Dutta, Vyanktesh Kanungo

Gepubliceerd 2026-08-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Archan Dutta, Vyanktesh Kanungo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een specifieke naald in een enorme, chaotische hooiberg te vinden. Maar hier is de twist: de naald is niet zomaar een stuk metaal; het is een afbeelding, en je beschrijft deze met woorden. Dit is de wereld van multimodale retrieval, een tak van de computerwetenschap waar machines leren om te verbinden wat ze zien (afbeeldingen) met wat ze lezen (tekst). Jarenlang was de standaardmanier om dit te doen het bouwen van twee aparte "hersenen": één die tekst leest en dit omzet in een geheime code, en een andere die naar foto's kijkt en deze omzet in een andere geheime code. De computer probeert vervolgens deze twee codes met elkaar te matchen, alsof je probeert een vierkante pen in een rond gat te passen door heel hard te knijpen met je ogen.

Onlangs zijn er twee nieuwe supertools de arena binnengekomen. Ten eerste zijn er de Frontier Large Language Models (LLMs). Denk aan deze als ongelooflijk slimme, alwetende bibliothecarissen die naar een stapel van 25 foto's en een enkele zin kunnen kijken, en dan direct elke foto kunnen lezen, ze met elkaar kunnen vergelijken en de beste match kunnen kiezen. Ten tweede zijn er de Natively Multimodal Embeddings. Dit zijn als een universele vertaler die vanaf het begin vloeiend zowel "Afbeelding" als "Tekst" spreeelt, door alles om te zetten in een enkele, verenigde geheime code zonder dat er twee aparte hersenen met elkaar hoeven te communiceren. De grote vraag die iedereen zich stelt is: hebben we de super-slimme bibliothecaris nodig om elke foto te bekijken en te vergelijken, of is de universele vertaler snel en nauwkeurig genoeg om de klus alleen te klaren? Dit is belangrijk omdat als de bibliothecaris te traag is, je hem niet kunt gebruiken voor real-time apps, zoals het doorzoeken van je fotogalerij terwijl je over straat loopt.

Dit artikel zet een race met hoge inzet uit tussen deze twee benaderingen met behulp van een dataset genaamd Flickr30k, die 31.000 afbeeldingen bevat met door mensen geschreven beschrijvingen. Om de race echt eerlijk en moeilijk te maken, hebben de onderzoekers niet zomaar willekeurige foto's naar de modellen gegooid. Ze creëerden "harde negatieven" — foto's die erg lijken op het juiste antwoord maar net niet helemaal kloppen, ontworpen om zelfs de slimste systemen te misleken. Ze testten vier zwaargewichten: Gemini Embedding 2 en Amazon Nova 2 (de universele vertalers) tegenover GPT-4.1 en Claude Sonnet 4.6 (de super-slimme bibliothecarissen).

De resultaten waren een schok voor de snelheidskampioenen, maar een opluchting voor de nauwkeurigheidsfans. Wanneer het aankwam op het vinden van het juiste antwoord, lagen de universele vertalers en de super-slimme bibliothecarissen nek aan nek. De studie toonde aan dat Gemini Embedding 2, GPT-4.1 en Claude Sonnet 4.6 statistisch gezien hetzelfde presteerden. Ze waren zo dicht bij elkaar dat je ze op basis van nauwkeurigheid alleen niet van elkaar kon onderscheiden; ze slaagden er allemaal in om de juiste afbeelding ongeveer 80% van de tijd te kiezen in deze lastige scenario's. Het artikel weerlegt expliciet het idee dat de bibliothecarissen superieur zijn in nauwkeurigheid, en laat zien dat de nieuwe embedding-modellen net zo scherp zijn in het vinden van de juiste naald in de hooiberg. Eén model, Amazon Nova 2, bleef echter achter en vond het juiste antwoord ongeveer 13 procentpunt minder vaak, waarschijnlijk omdat het was ingesteld op algemene taken in plaats van dit specifieke type beeldzoekopdrachten.

Maar het echte verhaal gaat niet alleen over wie de race om nauwkeurigheid wint; het gaat over wie de marathon volbrengt. Hier splitsen de twee benaderingen zich radicaal af. De super-slimme bibliothecarissen (LLM's) moeten voor elke vraag naar elke foto in de groep kijken. De paper mat dit en stelde vast dat het rangschikken van 1.000 queries de bibliothecarissen meer dan 6.100 seconden (voor GPT-4.1) en 9.415 seconden (voor Claude Sonnet 4.6) kostte. Dat zijn uren wachten. In contrast hiermee werken de universele vertalers (embedding-modellen) anders. Ze kunnen de geheime codes voor alle foto's één keer vooraf berekenen, zoals het voorzien van elke boek in een bibliotheek met een streepjescode voordat je überhaupt binnenloopt. Zodra deze "pre-computatie" voltooid was, duurde het vinden van de juiste foto voor 1.000 queries minder dan 2 seconden.

De auteurs concluderen dat hoewel de super-slimme bibliothecarissen briljant zijn in redeneren en het zij-aan-zij vergelijken van afbeeldingen, de universele vertalers de duidelijke winnaars zijn voor alles dat direct moet gebeuren. Als je een app bouwt waarbij een gebruiker een grote collectie afbeeldingen in een oogwenk moet kunnen doorzoeken, zijn de embedding-modellen de betere keuze. De bibliothecarissen zijn nog steeds nuttig als je fotocollectie elke seconde verandert of erg klein is, waardoor de pre-computatiestap nutteloos wordt, maar voor snelheid en schaalbaarheid hebben de nieuwe embedding-modellen bewezen dat ze de nauwkeurigheid van de reuzen kunnen evenaren terwijl ze duizend keer sneller zijn.

Technische Samenvatting: Frontier LLM's vs. Natief Multimodale Embeddings voor Hard-Negative Tekst-naar-Afbeelding Retrieval

Probleemstelling

Tekst-naar-afbeelding retrieval, de taak van het rangschikken van afbeeldingen op relevantie ten opzichte van een natuurlijke taalzoekopdracht, leunt traditioneel op dual-encoder modellen (bijv. CLIP) die visuele en tekstuele representaties uitlijnen via contrastief leren. Twee recente ontwikkelingen dagen dit paradigma uit:

Frontier Large Language Models (LLM's): Modellen zoals GPT-4.1 en Claude Sonnet 4.6 bezitten sterke visuele capaciteiten, wat een nieuw retrieval-paradigma mogelijk maakt waarbij alle kandidaat-afbeeldingen en de zoekopdracht in een enkele prompt worden gepresenteerd voor directe zero-shot ranking.
Natief Multimodale Embeddings: Modellen zoals Google's Gemini Embedding 2 (GE2) en Amazon Nova 2 projecteren tekst, afbeeldingen, video en audio in een enkele gedeelde embedding-ruimte, waarmee ze verder gaan dan de dual-encoder architectuur.

Hoewel beide benaderingen veelbelovend zijn, blijft hun relatieve prestatie op het gebied van retrieval nauwkeurigheid en ranking latentie — specifiek onder uitdagende omstandigheden — onkarakteriseerd in de literatuur. Deze studie adresseert deze kloof door natieve multimodale embeddings te vergelijken met frontier LLM's als zero-shot directe visuele rankers.

Methodologie

Dataset en Kandidaat-constructie

De studie maakt gebruik van Flickr30k (Young et al., 2014), een dataset van 31.000 afbeeldingen met elk vijf onafhankelijke bijschriften. Om een niet-triviale evaluatietaak te creëren, hebben de auteurs hard-negative kandidaat-sets geconstrueerd:

Pool: 5.000 afbeeldingen werden gesampled, elk met vijf bijschriften.
Zoekopdracht Selectie: 1.000 bijschriften werden willekeurig geselecteerd als zoekopdrachten.
Hard Negatives: Voor elke zoekopdracht werd een kandidaat-set van 25 afbeeldingen gevormd: de grondwaarheid (ground-truth) afbeelding plus 24 "hard negatives".
Selectielogica: Hard negatives werden geselecteerd op basis van semantische gelijkenis in de caption-ruimte in plaats van gelijkenis in de beeld-ruimte. Met behulp van sentence-transformers/all-mpnet-base-v2 werden de 24 bijschriften die het meest semantisch overeenkomen met de zoekopdracht-caption (exclusief de zoekopdracht zelf) geïdentificeerd. De afbeeldingen die bij deze bijschriften horen, vormden de negatieve set. Deze aanpak vergroot de ambiguïteit, aangezien afbeeldingen moeilijk van elkaar te onderscheiden zijn op basis van de zoekopdracht-caption.

Geëvalueerde Systemen

Vier systemen werden geëvalueerd op dezelfde 1.000 zoekopdrachten en identieke kandidaat-sets:

Gemini Embedding 2 (GE2): Een natief multimodaal embedding model. Zoekopdrachten en afbeeldingen werden afzonderlijk geëmbedd met specifieke taaktypen (RETRIEVAL_QUERY en RETRIEVAL_DOCUMENT), en kandidaten werden gerangschikt op basis van cosine similarity.
Amazon Nova 2: Een multimodaal embedding model. Vergelijkbaar met GE2, maar gebruikte GENERIC_INDEX voor embedding-doeleinden.
GPT-4.1: Een frontier LLM. De zoekopdracht-caption en alle 25 kandidaat-afbeeldingen werden in een enkele zero-shot prompt gepresenteerd. Het model kreeg de instructie om een gerangschikte lijst van afbeelding-ID's terug te geven.
Claude Sonnet 4.6: Een frontier LLM. Geëvalueerd met dezelfde prompt en procedure als GPT-4.1.

Om positiebias in LLM's te mitigeren, werd de volgorde van afbeeldingen in de prompt voor elke zoekopdracht gerandomiseerd.

Evaluatie-metrieken

Prestaties werden gemeten met behulp van:

Recall@1 (R@1): Het deel van de zoekopdrachten waarbij de grondwaarheid-afbeelding op nummer één staat.
Recall@3 (R@3): Het deel van de zoekopdrachten waarbij de grondwaarheid-afbeelding in de top drie staat.
Mean Reciprocal Rank (MRR): Het gemiddelde van de reciproke rang van de grondwaarheid-afbeelding.
Latentie: De uitvoeringstijd voor het rangschikken van 1.000 zoekopdrachten, waarbij onderscheid wordt gemaakt tussen end-to-end verwerking en scenario's met vooraf berekende (precomputed) embeddings.

Statistische significantie werd beoordeeld met de McNemar-toets voor R@1 en de Wilcoxon signed-rank toets voor MRR, inclusief Bonferroni-correctie.

Belangrijkste Resultaten

Retrieval Nauwkeurigheid

Top Performers: Gemini Embedding 2, GPT-4.1 en Claude Sonnet 4.6 behaalden statistisch ononderscheidbare prestaties over alle drie de metrieken (R@1, R@3, MRR).
- R@1 Scores: GE2 (0.804), Claude Sonnet 4.6 (0.796), GPT-4.1 (0.789).
- Significantie: Pairwise tests toonden geen significant verschil tussen deze drie systemen (alle $p > 0.09$ ).
Underperformer: Amazon Nova 2 bleef achter, met een R@1 van 0.673. Statistische tests bevestigden dat de prestaties significant verschilden van alle andere systemen ( $p < 0.0001$ ). De auteurs schrijven dit gat toe aan het gebruik van GENERIC_INDEX voor embedding-doeleinden, wat geoptimaliseerd is voor algemene vector-databasecreatie in plaats van specifieke tekst-afbeelding matching.

Latentie en Efficiëntie

Precomputation Voordeel: Embedding-modellen (GE2 en Nova 2) maken precomputation van afbeelding-embeddings mogelijk. Zodra deze vooraf berekend waren, duurde het rangschikken van 1.000 zoekopdrachten met elk 25 kandidaten minder dan 2 seconden (0.66s voor GE2, 1.16s voor Nova 2).
LLM Latentie: LLM's verwerken zoekopdrachten end-to-end zonder precomputation. Het rangschikken van dezelfde workload nam 6.100 seconden voor GPT-4.1 en 9.415 seconden voor Claude Sonnet 4.6.
Conclusie: Embedding-modellen bieden een versnelling van ongeveer vier ordes van grootte voor low-latency toepassingen met vaste galerijen.

Bijdragen en Betekenis

Het artikel claimt de volgende bijdragen:

Eerste Directe Vergelijking: Het biedt de eerste directe vergelijking van natieve multimodale embeddings tegenover frontier LLM's als zero-shot directe visuele rankers op een hard-negative dataset (Flickr30k), zonder taakspecifieke fine-tuning of tussenliggende caption-generatie.
Nauwkeurigheidsparietiteit: De studie demonstreert empirisch dat toegewijde multimodale embedding-modellen (specifiek GE2) en frontier LLM's (GPT-4.1, Claude Sonnet 4.6) statistisch ononderscheidbare retrieval-nauwkeurigheid bereiken op hard-negative kandidaten. Dit suggereert dat LLM's effectief kunnen dienen als zero-shot rankers, waarbij ze de prestaties van gespecialiseerde embedding-ruimtes evenaren.
Latentie-afwegingen: Het artikel benadrukt een cruciaal praktisch onderscheid: hoewel de nauwkeurigheid vergelijkbaar is, zijn embedding-modellen vele malen superieur voor low-latency toepassingen met vaste galerijen. Daarentegen kunnen LLM's een levensvatbaar alternatief zijn voor dynamische of kleinere sets waar precomputation onpraktisch is.

Beperkingen

De auteurs erkennen verschillende beperkingen:

Ambigue Grondwaarheid: In hard-negative sets kan een bijschrift van één afbeelding plausibel een andere beschrijven, wat ambiguïteit creëert. Dit beïnvloedt echter alle systemen gelijkmatig.
Caption-Space Hardness: Hard negatives werden gedefinieerd in de caption-ruimte, wat inherent gunstig kan zijn voor embedding-gebaseerde methoden die geoptimaliseerd zijn voor dense vector-representaties.
Inference Condities: LLM's profiteren van cross-candidate redenering (het tegelijk zien van alle 25 afbeeldingen), terwijl embedding-modellen afbeeldingen onafhankelijk scoren.
Proprietary Toegang: Alle systemen worden benaderd via betaalde API's, en modelgewichten kunnen veranderen tussen experimenten of pogingen tot replicatie.
Scope: De evaluatie gebruikt kandidaat-sets van 25 afbeeldingen, waarbij de ranking-prestaties worden gemeten in plaats van full-gallery retrieval, wat mogelijk niet generaliseert naar grootschalige settings.

Conclusie

De studie concludeert dat frontier LLM's de retrieval-nauwkeurigheid van natieve multimodale embedding-modellen kunnen evenaren bij hard-negative tekst-naar-afbeelding retrieval-taken. De keuze voor een systeem hangt echter af van de applicatie-restricties: embedding-modellen zijn de superieure keuze voor low-latency, grootschalige retrieval met vaste galerijen, terwijl LLM's een levensvatbaar zero-shot alternatief bieden voor dynamische of kleinere scenario's waar precomputation niet haalbaar is.