The Embedder's Dilemma: LLMs Are Better, but at What Cost?
Dit artikel toont aan dat hoewel grote taalmodellen en gespecialiseerde embeddingmodellen vergelijkbare geaggregeerde prestaties leveren over 37 taken, embeddingmodellen superieur zijn wat betreft kosten en snelheid, wat wijst op een taakverdeling waarbij embeddings taken van gelijkenis en classificatie afhandelen terwijl LLM's worden gereserveerd voor redeneerintensieve retrieval.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een specifieke naald in een enorme hooiberg te vinden. In de wereld van kunstmatige intelligentie is deze "naald" een stukje informatie, en de "hooiberg" is een gigantische database met tekst. Jarenlang was de standaardmanier om dit te doen het gebruik van een gespecialiseerd hulpmiddel genaamd een embedding model. Denk aan deze modellen als supersnelle bibliothecarissen die de boeken niet lezen; in plaats daarvan wijzen ze onmiddellijk een unieke "kleurcode" (een vector) toe aan elk document op basis van de algemene sfeer. Wanneer je een vraag stelt, vinden ze de documenten met de bijpassende kleurcodes. Het is ongelooflijk snel en goedkoop, maar het is een beetje alsof je een boek beoordeelt op basis van de cover — het kan de diepe, complexe betekenis binnenin missen.
Onlangs is er een nieuw soort AI-tool geworden, een Large Language Model (LLM), die ongelooflijk populair is geworden. Dit zijn de "geniale" modellen die verhalen kunnen schrijven, wiskundeproblemen kunnen oplossen en gesprekken kunnen voeren. Omdat ze zo slim zijn, begonnen mensen zich af te vragen: "Waarom zouden we de snelle, eenvoudige bibliothecaris gebruiken als we een genie hebben die daadwerkelijk de hele hooiberg kan lezen en het verhaal kan begrijpen?" De grote vraag werd: kunnen we onze snelle, goedkope bibliothecarissen vervangen door deze dure, trage genieën om betere resultaten te krijgen? Dit artikel duikt direct in dit dilemma en test of de "genie"-aanpak daadwerkelijk de enorme prijspost waard is, of dat de "bibliothecaris" nog steeds de betere keuze is voor de meeste taken.
De onderzoekers zetten een enorme confrontatie op tussen tien van de slimste beschikbare LLM's en zesentwintig van de beste gespecialiseerde embedding modellen. Ze onderwierpen hen aan 37 verschillende uitdagingen, variërend van het sorteren van e-mails op onderwerp tot het vinden van het juiste antwoord in een zee van documenten. De resultaten waren een schok: in het totaal waren de twee soorten AI in feite gelijkwaardig. Het slimste LLM (Gemini 3.1 Pro) scoorde een 77,6, terwijl het beste embedding model (Octen-8B) een 77,2 scoorde. Dat minieme verschil van 0,4 punten is zo klein dat het eigenlijk gewoon statistische ruis is.
Echter, de gelijkwaardigheid verbergt een groot geheim: kosten. Om dat minuscule voordeel van 0,4 punten te behalen, kostte het draaien van het LLM door de tests $154, terwijl het embedding model slechts $0,11 kostte. Dat betekent dat het LLM 1.431 keer duurder was om voor dezelfde taak te gebruiken. Het is alsof je een team van Nobelprijswinnende wetenschappers inhuurt om een stapel post te sorteren, terwijl een enkele stagiair met een sorteermachine het voor een cent kan doen. Het paper vond ook dat LLM's veel langzamer waren, waarbij ze tekst verwerkten die ergens tussen de 2,5 en 736 keer trager was dan de embedding modellen op dezelfde computerhardware.
Het onderzoek ontdekte ook dat de "geniale" LLM's niet altijd genieën zijn; ze zijn gewoon goed in specifieke dingen. Wanneer de taak diepe redenering vereiste — zoals het begrijpen van een complex juridisch contract of het vinden van een antwoord dat het verbinden van punten tussen verschillende documenten vereist — liepen de LLM's voorop. Maar voor taken zoals het sorteren van e-mails, het groeperen van soortgelijke onderwerpen of het controleren of twee zinnen hetzelfde betekenen, waren de gespecialiseerde embedding modellen eigenlijk beter of net zo goed. Sterker nog, het paper vond dat de LLM's vaak aan het "overdenken" waren. Wanneer de onderzoekers de LLM's vertelden om hun "denkmodus" (die veel extra tekst genereert om problemen op te lossen) uit te schakelen, werden de modellen bij sommige taken zelfs beter en bespaarden ze een enorme hoeveelheid geld, wat bewees dat de extra redenering niet altijd noodzakelijk was.
Dus, wat is het eindoordeel? Het paper suggereert dat we niet simpelweg onze tools moeten vervangen door de meest flitsende nieuwe technologie. In plaats daarvan moeten we een hybride aanpak gebruiken. Gebruik de snelle, goedkope embedding modellen als de eerste stap om snel de hooiberg te verkleinen en de meest waarschijnlijke kandidaten te vinden. Als de vraag dan echt moeilijk is en diep nadenken vereist, haal je het dure LLM erbij om alleen die top paar kandidaten te lezen en het definitieve antwoord te geven. Op deze manier krijg je het beste van beide werelden: de snelheid en lage kosten van de bibliothecaris, met de diepe redeneerkracht van het genie, maar alleen wanneer je het echt nodig hebt. Het paper concludeert dat voor de meeste alledaagse taken de gespecialiseerde embedding modellen nog steeds de kampioenen zijn, en dat de dure LLM's een luxe zijn die we alleen voor de moeilijkste puzzels moeten gebruiken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.