Choosing a Text Embedding Model: A Practical Benchmarking and Decision Framework

Stel je voor dat je een specifieke naald probeert te vinden in een enorme, chaotische hooiberg. Maar hier komt de twist: de naald is gemaakt van pure betekenis, niet van metaal, en de hooiberg bestaat uit miljoenen documenten geschreven in verschillende stijlen. Dit is de dagelijkse uitdaging van de moderne informatica die bekend staat als Retrieval-Augmented Generation (RAG). Om dit op te lossen, gebruiken computers een magisch hulpmiddel genaamd een Text Embedding Model. Denk aan een embedding model als een super slimme vertaler die elke zin, paragraaf of boek verandert in een unieke "smaakcode" (een lijst met getallen). Als twee teksten een vergelijkbare betekenis hebben, smaken hun smaakcodes hetzelfde en liggen ze dicht bij elkaar op een gigantische digitale kaart. Als ze verschillend zijn, liggen hun codes ver uit elkaar.

Maar net zoals er veel verschillende soorten vertalers zijn — sommige geweldig in poëzie, andere in juridische contracten, en sommige die slechts één taal spreken — zijn er ook veel verschillende embedding modellen. De grote vraag voor iedereen die deze zoeksystemen bouwt is: "Welke vertaler moet ik inhuren?" Betaal ik een fortuin voor een beroemde vertaler die misschien de absolute beste is, of huur ik een briljante lokale freelancer die bijna net zo goed is maar veel sneller en gratis? Dit is precies het puzzelstuk waar een nieuwe studie van Madhav S Baidya van het Indian Institute of Technology (BHU) Varanasi zich mee bezighoudt.

De Grote Vertalersshowdown

In dit rapport zet de auteur een nieuwe, dure, commerciële vertaler genaamd T3EM (Text 3 Embedding Model) af tegen een menigte open-source, gratis alternatieven. Het doel was om te zien of de hoge prijs en de tragere snelheid van het commerciële model de moeite waard zijn, of dat de gratis modellen de klus net zo goed kunnen klaren.

De studie concludeerde dat T3EM inderdaad de kampioen van retrieval is. Bij tests op vier specifieke Engelse zoektaken behaalde het de hoogste score (een gemiddelde nDCG@10 van 0,638), wat betekent dat het de beste was in het vinden van de juiste antwoorden. Er is echter een addertje onder het gras: T3EM is traag. Het duurt ongeveer 231,6 milliseconden (mediaan) om een query te verwerken, wat ongeveer 7 tot 14 keer langzamer is dan de snelste open-source modellen. Bovendien kost het geld om te gebruiken (ongeveer $0,025 per 1 miljoen tokens), terwijl de open-source modellen gratis op je eigen computer te draaien zijn.

De Verrassende Underdog: mE5-L

Hier wordt het verhaal interessant. De studie ontdekte dat je niet altijd de dure beroemdheid nodig hebt. Het open-source model mE5-L (Multilingual-E5-large) was de duidelijke winnaar onder de gratis opties. Het scoorde een 0,546, wat ongelooflijk dicht bij de top score van T3EM ligt, maar het draait in slechts 31,0 milliseconden — praktisch direct vergeleken met de rest.

De belangrijkste aanbeveling van de auteur is simpel: als je niet zeker weet wat je nodig hebt, begin dan met mE5-L. Het biedt de beste balans tussen hoge kwaliteit en snelheid voor gratis. Je moet pas overstappen naar de dure T3EM als je absoluut de allerhoogste kwaliteit nodig hebt, als je documenten extreem lang zijn (boven de standaardlimieten), of als je bereid bent te betalen voor de service en wat langer wilt wachten.

"Training" is belangrijker dan "Grootte"

Een van de belangrijkste lessen uit dit paper is dat groter niet altijd beter is, en dat de training van het model belangrijker is dan de omvang ervan.

De studie testte modellen die getraind waren om goed te zijn in "zin-gelijkenis" (controleren of twee zinnen hetzelfde betekenen) en probeerde deze te gebruiken voor "retrieval" (het vinden van een antwoord op een vraag). De resultaten waren een ramp. Modellen zoals LaBSE en mMPNet, die geweldig zijn in het herkennen van gelijkaande zinnen, scoorden erbarmelijk op retrieval-taken (met gemiddelden van 0,188 en 0,243).

Waarom? Omdat het vinden van een antwoord op een vraag anders is dan het herkennen van een tweelingzin. Een vraag is meestal kort en direct, terwijl het antwoord lang en gedetailleerd is. Een model dat getraind is om twee korte zinnen te vergelijken, weet niet hoe het de kloof tussen die twee moet overbruggen. Het paper bewijst dat een model dat specifiek getraind is voor retrieval (zoals T3EM of mE5-L) altijd een model zal verslaan dat getraind is voor gelijkenis, zelfs als het gelijkenismodel enorm groot is.

Het "Chunking" Puzzelstuk

Het paper keek ook naar hoe we lange documenten in stukken snijden voordat we ze aan de computer voeden. Stel je voor dat je een hele film probeert te beschrijven door alleen naar één enkel frame te kijken. Als het frame te klein is, verlies je het verhaal. Als het te groot is, raakt de computer in de war.

De studie vond een "sweet spot" voor dit snijden, genaamd chunking:

• Te klein (onder de 16 tokens): De betekenis stort in. De computer kan niet begrijpen waar de tekst over gaat.
• Precies goed (rond de 32 tokens): Hier bereikt de kwaliteit haar piek. Het groter maken van chunks dan dit (64 of 128 tokens) helpt eigenlijk niet meer.
• Hoe je het snijdt: Snijden op natuurlijke onderwerpgrenzen (semantische chunking) is beter dan willekeurig snijden op basis van aantal woorden, maar alleen wanneer de chunks erg klein zijn.

Het Eindoordeel

Dit paper geeft niet alleen een lijst met scores; het geeft een beslissingskader. Het vertelt ons dat er niet één enkel "beste" model is voor alles.

• Voor algemene zoekopdrachten en chatbots: Gebruik mE5-L. Het is snel, gratis en bijna net zo goed als de beste.
• Voor het vinden van antwoorden in enorme, complexe documenten: Overweeg T3EM als je het budget hebt en wat langer kunt wachten.
• Voor het groeperen van gelijkaardige documenten (clustering): Gebruik MPNet.
• Voor het controleren of twee zinnen hetzelfde betekenen: Gebruik ST5.

De auteurs waarschuwen tegen de veelvoorkomende fout om simpelweg het model te kiezen met de hoogste algemene score op een leaderboard zonder na te denken over wat je daadwerkelijk nodig hebt. Als je een gelijkenismodel gebruikt voor zoeken, of een zoekmodel voor groeperen, zul je waarschijnlijk falen, ongeacht hoe beroemd het model ook is. De sleutel is om het gereedschap af te stemmen op de taak, de snelheid op het geduld van de gebruiker, en de kosten op je portemonnee.