A Comparative Analysis of Efficient Similarity Search in Qdrant as a Vector Database and FAISS as a Vector Search Library

In de digitale wereld leren computers steeds vaker betekenis te begrijpen, niet door woorden te lezen, maar door ze te vertalen naar lange lijsten met getallen. Stel je een enorme, onzichtbare ruimte voor waarin elk idee, beeld of stuk tekst wordt vertegenwoordigd als een enkel punt. In deze ruimte vertegenwoordigen punten die dicht bij elkaar liggen vergelijkbare zaken, terwijl punten die ver uit elkaar liggen zeer verschillende zaken zijn. Deze methode stelt machines in staat om snel gerelateerde informatie te vinden, wat alles aandrijft van zoekmachines die je intentie begrijpen tot aan aanbevelingssystemen die de juiste film suggereren. Echter, naarmate deze verzamelingen punten groeien naar miljoenen of miljarden, wordt het vinden van de dichtstbijzijnde overeenkomst met een nieuwe zoekopdracht een enorme computationele uitdaging. Als een computer elke nieuwe vraag één voor één met elk opgeslagen item zou moeten vergelijken, zou het proces te traag zijn voor echt gebruik. Om dit op te lossen, hebben onderzoekers twee hoofdtypen hulpmiddelen ontwikkeld: gespecialiseerde bibliotheken die puur zijn ontworpen voor snelheid bij het vinden van deze overeenkomsten, en volledige databases die de gegevens permanent opslaan en extra functies bieden zoals filtering en beheer.

Een recente studie door Dukhik Hovsepyan aan de Europese Universiteit van Armenië had als doel om het verschil in prestaties in de echte wereld tussen deze twee benaderingen te meten. De onderzoeker vergeleken een gespecialiseerde zoekbibliotheek genaamd FAISS met een vectordatabase genaamd Qdrant. Om een eerlijke test te garanderen, gebruikte het experiment een gecontroleerde omgeving waarin beide systemen exact dezelfde opdracht kregen: het vinden van de tien meest vergelijkbare items bij een gegeven zoekopdracht binnen een collectie van twintig duizend items, waarbij elk item werd beschreven door één honderd tweeentwintig verschillende kenmerken. De tests werden uitgevoerd op een enkele computerprocessorcore om de pure snelheid van de zoekmechanismen te isoleren, zonder de hulp van meerdere processoren die samenwerken.

De resultaten toonden een opvallend gat in pure snelheid tussen de twee configuraties. De gespecialiseerde bibliotheek, FAISS, was geconfigureerd om een exacte zoekopdracht uit te voeren, wat betekent dat het de afstand tot elk item berekende om een nauwkeurig antwoord te garanderen. In deze opstelling vond het de juiste overeenkomsten in een gemiddelde van net onder vier tienden van een milliseconde per zoekopdracht. Dit stelde het in staat om meer dan tweeduizend vijfhonderd zoekopdrachten per seconde te verwerken. In contrast hiermee draaide het databasesysteem, Qdrant, in een lokale modus die gegevens op de schijf opslaat en een andere, snellere maar benaderende methode gebruikt om door de gegevens te navigeren. Onder deze specifieke omstandigheden deed Qdrant er gemiddeld bijna tien milliseconden over om elke zoekopdracht te beantwoorden, wat resulteerde in een doorvoer van net boven de honderd zoekopdrachten per seconde. De gespecialiseerde bibliotheek was ongeveer vijfentwintig keer sneller in termen van hoeveel vragen het per seconde kon beantwoorden en vijfentwintig keer sneller in hoe lang het erover deed om een enkele vraag te beantwoorden.

De studie benadrukt echter dat dit verschil er niet toe leidt dat de ene technologie universeel superieur is aan de andere. Het experiment was ontworpen om specifieke configuraties te vergelijken, niet het volledige potentieel van de software. De bibliotheek werd getest als een pure zoektool in het werkgeheugen, terwijl de database werd getest met de opslag- en beheerfuncties actief, ook al waren deze extra functies niet het middelpunt van de snelheidstest. De database-aanpak biedt aanzienlijke voordelen die de snelheidstest niet heeft gemeten, zoals het vermogen om gegevens veilig op een harde schijf te bewaren nadat de computer is uitgeschakeld, het filteren van resultaten op basis van andere informatie zoals datums of categorieën, en het beheren van grote collecties gegevens als een samenhangend systeem. De bibliotheek daarentegen is een gespecialiseerde motor die is gebouwd voor één taak: het zo snel mogelijk vinden van de dichtstbijzijnde buren, vaak ten koste van het feit dat alle gegevens in het tijdelijke geheugen van de computer moeten blijven.

De onderzoeker concludeert dat het waargenomen prestatieverschil een kenmerk is van de specifieke configuraties die in het experiment zijn gebruikt, en geen fundamentele regel die voor alle situaties geldt. Als de dataset groter was, de computer meer processorcores had, of de database als een aparte server werd gedraaid in plaats van een lokaal hulpmiddel, zouden de cijfers waarschijnlijk veranderen. De studie dient als een duidelijke baseline, die laat zien dat voor een eenvoudige, directe zoektaak op een enkele processor, een gespecialiseerde bibliotheek dramatisch sneller kan zijn dan een databasesysteem dat dezelfde taak uitvoert. Toch, voor toepassingen die vereisen dat gegevens permanent worden opgeslagen, gefilterd worden op complexe regels, of dat enorme collecties gegevens worden beheerd, biedt de database een breder scala aan hulpmiddelen dat een gespecialiseerde bibliotheek niet biedt. De keuze tussen hen hangt af van de vraag of de prioriteit ligt bij het absoluut snelst mogelijke antwoord op een eenvoudige vraag, of bij het vermogen om gegevens te beheren en op te halen binnen een groter, complexer systeem.