The Embedder's Dilemma: LLMs Are Better, but at What Cost?
Diese Arbeit zeigt auf, dass Large Language Models und spezialisierte Embedding-Modelle zwar eine vergleichbare Gesamtleistung über 37 Aufgaben hinweg erzielen, Embedding-Modelle jedoch in Bezug auf Kosten und Geschwindigkeit weitaus überlegen sind, was auf eine Arbeitsteilung hindeutet, bei der Embeddings Ähnlichkeits- und Klassifizierungsaufgaben übernehmen, während LLMs für die reasoning-intensive Informationsbeschaffung reserviert bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine ganz bestimmte Nadel in einem riesigen Heuhaufen zu finden. In der Welt der künstlichen Intelligenz ist diese „Nadel“ ein Informationsstück und der „Heuhaufen“ eine gigantische Textdatenbank. Jahrelang war die Standardmethode dafür ein spezialisiertes Werkzeug namens Embedding-Modell. Betrachten Sie diese Modelle als superschnelle Bibliothekare, die die Bücher nicht lesen, sondern stattdessen jedem Dokument sofort einen einzigartigen „Farbcode“ (einen Vektor) basierend auf seiner allgemeinen Stimmung zuweisen. Wenn Sie eine Frage stellen, finden sie die Dokumente mit den passenden Farbcodes. Das ist unglaublich schnell und günstig, aber es ist ein wenig so, als würde man ein Buch nach seinem Einband beurteilen – man könnte die tiefe, komplexe Bedeutung im Inneren dabei übersehen.
Vor kur脆en wurde eine neue Art von KI-Werkzeug namens Large Language Model (LLM) unglaublich populär. Dies sind die „Genie“-Modelle, die Geschichten schreiben, Matheaufgaben lösen und Gespräche führen können. Da sie so intelligent sind, begannen die Leute sich zu fragen: „Warum den schnellen, einfachen Bibliothekar benutzen, wenn wir ein Genie haben, das den ganzen Heuhaufen tatsächlich lesen und die Geschichte verstehen kann?“ Die große Frage lautete: Können wir unsere schnellen, günstigen Bibliothekare durch diese teuren, langsamen Genies ersetzen, um bessere Ergebnisse zu erzielen? Diese Arbeit taucht genau in dieses Dilemma ein und testet, ob der „Genie“-Ansatz den massiven Aufpreis tatsächlich wert ist oder ob der „Bibliothekar“ für die meisten Aufgaben immer noch die bessere Wahl ist.
Die Forscher ließen einen gewaltigen Showdown zwischen zehn der klügsten verfügbaren LLMs und sechsundzwanzig der besten spezialisierten Embedding-Modelle austragen. Sie unterzogen sie 37 verschiedenen Herausforderungen, die vom Sortieren von E-Mals nach Themen bis hin zum Finden der richtigen Antwort in einer Flut von Dokumenten reichten. Die Ergebnisse waren ein kleiner Schock: In der Gesamtschau waren die beiden Arten von KI im Grunde gleichauf. Das klügste LLM (Gemini 3.1 Pro) erreichte 77,6, während das beste Embedding-Modell (Octen-8B) 77,2 erreichte. Dieser winzige Unterschied von 0,4 Punkten ist so gering, dass er im Grunde nur statistisches Rauschen ist.
Doch hinter dem Unentschieden verbirgt sich ein großes Geheimnis: die Kosten. Um diesen winzigen Vorteil von 0,4 Punkten zu erlangen, kostete es das LLM 154 $, die Tests durchzuführen, während das Embedding-Modell nur 0,11 $ kostete. Das bedeutet, das LLM war 1.431 Mal teurer in der Anwendung für dieselbe Aufgabe. Es ist, als würde man ein Team von Nobelpreisträgern engagieren, um einen Stapel Post zu sortieren, während ein einzelner Praktikant mit einer Sortiermaschine das für einen Penny erledigen könnte. Die Arbeit fand auch heraus, dass LLMs viel langsamer waren und Text auf derselben Computerhardware 2,5- bis 736-mal langsamer verarbeiteten als die Embedding-Modelle.
Die Forscher entdeckten auch, dass die „Genie“-LLMs nicht immer Genies sind; sie sind einfach gut in spezifischen Dingen. Wenn die Aufgabe tiefes Denken erforderte – wie etwa das Verständnis eines komplexen Rechtsvertrags oder das Finden einer Antwort, die das Verknüpfen von Informationen zwischen verschiedenen Dokumenten voraussetzt – übertrafen die LLMs die anderen. Aber bei Aufgaben wie dem Sortieren von E-Mails, dem Gruppieren ähnlicher Themen oder der Prüfung, ob zwei Sätze dasselbe bedeuten, waren die spezialisierten Embedding-Modelle tatsächlich besser oder zumindest ebenbürtig. Tatsächlich fanden die Forscher heraus, dass die LLMs oft „überdenkten“. Als die Forscher den LLMs sagten, sie sollten ihren „Denkmodus“ (der viel zusätzlichen Text zur Problemlösung generiert) ausschalten, wurden die Modelle bei einigen Aufgaben sogar besser und sparten eine enorme Menge Geld, was bewies, dass das zusätzliche logische Denken nicht immer notwendig war.
Was ist also das endgültige Urteil? Die Arbeit legt nahe, dass wir unsere Werkzeuge nicht einfach gegen das glanzvollste neue Modell austauschen sollten. Stattdessen sollten wir einen Hybrid-Ansatz wählen. Nutzen Sie die schnellen, günstigen Embedding-Modelle als ersten Schritt, um den Heuhaufen schnell einzugrenzen und die wahrscheinlichsten Kandidaten zu finden. Wenn die Frage dann wirklich schwer ist und tiefes Denken erfordert, bringen Sie das teure LLM dazu, nur diese wenigen Top-Kandidaten zu lesen und die endgültige Antwort zu geben. Auf diese Weise erhalten Sie das Beste aus beiden Welten: die Geschwindigkeit und die niedrigen Kosten des Bibliothekars komb। mit der tiefen Denkfähigkeit des Genies, und zwar nur dann, wenn Sie es wirklich brauchen. Die Arbeit kommt zu dem Schluss, dass für die meisten alltäglichen Aufgaben die spezialisierten Embedding-Modelle nach wie vor die Champions sind und die teuren LLMs ein Luxus sind, den wir nur für die schwierigsten Rätsel nutzen sollten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.