Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval
Diese Studie zeigt, dass Frontier-LLMs wie GPT-4.1 und Claude Sonnet 4.6 auf Flickr30k eine Retrieval-Leistung auf Augenhöhe mit Googles nativem multimodalem Gemini Embedding 2 erreichen, obwohl letzteres aufgrund berechenbarer Embeddings überlegen bleibt, wenn es um Anwendungen mit niedriger Latenz geht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine ganz bestimmte Nadel in einem riesigen, chaotischen Heuhaufen zu finden. Aber hier ist der Clou: Die Nadel ist nicht einfach nur ein Stück Metall; sie ist ein Bild, und Sie beschreiben sie mit Worten. Dies ist die Welt der multimodalen Informationsabfrage (Multimodal Retrieval), ein Zweig der Informatik, bei dem Maschinen lernen, das, was sie sehen (Bilder), mit dem zu verbinden, was sie lesen (Text). Jahrelang war der Standardweg dafür, zwei separate „Gehirne“ zu bauen: eines, das Text liest und ihn in einen geheimen Code verwandelt, und ein anderes, das Bilder betrachtet und sie in einen anderen geheimen Code verwandelt. Der Computer versucht dann, diese beiden Codes abzugleichen, als würde man versuchen, einen quadratischen Steckpfosten in ein rundes Loch zu passen, indem man die Augen zusammenkneift und sich extrem anstrengt.
Vor kurzem sind zwei neue Super-Werkzeuge in die Arena getreten. Erstens gibt es Frontier Large Language Models (LLMs). Betrachten Sie diese als unglaublich kluge, allwissende Bibliothekare, die einen Stapel von 25 Fotos und einen einzigen Satz betrachten können und dann sofort jedes Foto lesen, sie miteinander vergleichen und das beste Match auswählen können. Zweitens gibt es nativ multimodale Embeddings. Diese sind wie ein universeller Übersetzer, der sowohl „Bild“ als auch „Text“ von Beginn an fließend spricht und alles in einen einzigen, einheitlichen geheimen Code verwandelt, ohne dass zwei separate Gehirne miteinander kommunizieren müssen. Die große Frage, die sich alle stellen: Brauchen wir den superklugen Bibliothekar, der jedes einzelne Foto liest und vergleicht, oder ist der universelle Übersetzer schnell und genau genug, um die Aufgabe allein zu bewältigen? Dies ist wichtig, weil der Bibliothekar, wenn er zu langsam ist, nicht für Echtzeit-Anwendungen wie das Durchsuchen Ihrer Fotogalerie beim Spazierengehen genutzt werden kann.
Dieses Paper stellt einen Wettlauf mit hohem Einsatz zwischen diesen beiden Ansätzen unter Verwendung eines Datensatzes namens Flickr30k auf, der 31.000 Bilder mit von Menschen geschriebenen Beschreibungen enthält. Um den Wettlauf wirklich fair und schwierig zu gestalten, haben die Forscher den Modellen nicht einfach nur wahllos Fotos vorgeworfen. Sie erstellten „Hard Negatives“ – Fotos, die den korrekten Antworten sehr ähnlich sehen, aber nicht ganz richtig sind, entwickelt, um selbst die klügsten Systeme auszutricksen. Sie testeten vier Schwergewichte: Gemini Embedding 2 und Amazon Nova 2 (die universellen Übersetzer) gegen GPT-4.1 und Claude Sonnet 4.6 (die superklugen Bibliothekare).
Die Ergebnisse waren ein Schock für die Sprinter, aber eine Erleichterung für die Genauigkeits-Liebhaber. Wenn es darum ging, die richtige Antwort zu finden, lagen die universellen Übersetzer und die superklugen Bibliothekare Kopf an Kopf. Die Studie ergab, dass Gemini Embedding 2, GPT-4.1 und Claude Sonnet 4.6 statistisch gesehen gleichauf waren. Sie waren so nah beieinander, dass man sie allein basierend auf der Genauigkeit nicht unterscheiden konnte; sie schafften es alle, das korrekte Bild etwa 80 % der Zeit in diesen kniffligen Szenarien zu finden. Das Paper widerlegt explizit die Vorstellung, dass die Bibliothekare in der Genauigkeit weit überlegen sind, und zeigt, dass die neuen Embedding-Modelle bei der Suche nach der richtigen Nadel im Heuhaufen genauso scharf sind. Ein Modell jedoch, Amazon Nova 2, blieb zurück und fand die richtige Antwort etwa 13 Prozentpunkte seltener, wahrscheinlich weil es für allgemeine Aufgaben und nicht für diese spezifische Art der Bildsuche ausgelegt war.
Aber die eigentliche Geschichte ist nicht nur, wer den Genauigkeitswettlauf gewinnt, sondern wer den Marathon beendet. Hier driften die beiden Ansätze wild auseinander. Die superklugen Bibliothekare (LLMs) müssen für jede einzelne Frage jedes einzelne Foto in der Gruppe betrachten. Das Paper hat dies gemessen und festgestellt, dass das Ranking von 1.000 Abfragen bei den Bibliothekaren über 6.100 Sekunden (für GPT-4.1) und 9.415 Sekunden (für Claude Sonnet 4.6) dauerte. Das sind Stunden des Wartens. Im Gegensatz dazu arbeiten die universellen Übersetzer (Embedding-Modelle) anders. Sie können die geheimen Codes für alle Fotos einmal vorab berechnen, so als würde man jedes Buch in einer Bibliothek mit einem Barcode versehen, noch bevor man überhaupt hineingeht. Sobald diese „Vorberechnung“ abgeschlossen ist, dauerte das Finden des richtigen Fotos für 1.000 Abfragen bei den Embedding-Modellen weniger als 2 Sekunden.
Die Autoren kommen zu dem Schluss, dass die superklugen Bibliothekare zwar brillant im logischen Denken und im Vergleichen von Bildern nebeneinander sind, die universellen Übersetzer jedoch die klaren Gewinner für alles sind, was sofort passieren muss. Wenn Sie eine App bauen, bei der ein Nutzer eine große Sammlung von Bildern im Blinzeln eines Auges durchsuchen muss, sind die Embedding-Modelle die bessere Wahl. Die Bibliothekare sind immer noch nützlich, wenn sich Ihre Fotosammlung jede Sekunde ändert oder sehr klein ist, was den Schritt der Vorberechnung nutzlos macht, aber in Bezug auf Geschwindigkeit und Skalierbarkeit haben die neuen Embedding-Modelle bewiesen, dass sie die Genauigkeit der Giganten erreichen können, während sie tausendmal schneller laufen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.