A Comparative Analysis of Efficient Similarity Search in Qdrant as a Vector Database and FAISS as a Vector Search Library

Nel mondo digitale, i computer stanno imparando sempre più a comprendere il significato non leggendo le parole, ma traducendole in lunghe liste di numeri. Immaginate un vasto spazio invisibile dove ogni idea, immagine o frammento di testo è rappresentato come un singolo punto. In questo spazio, i punti vicini tra loro rappresentano cose simili, mentre i punti lontani rappresentano cose molto diverse. Questo metodo permette alle macchine di trovare rapidamente informazioni correlate, alimentando tutto, dai motori di ricerca che comprendono la vostra intenzione ai sistemi di raccomandazione che suggeriscono il film giusto. Tuttavia, man mano che queste collezioni di punti crescono fino a milioni o miliardi, trovare la corrispondenza più vicina a una nuova query diventa una sfida computazionale enorme. Se un computer dovesse confrontare una nuova domanda con ogni singolo elemento memorizzato uno alla volta, il processo sarebbe troppo lento per l'uso nel mondo reale. Per risolvere questo problema, i ricercatori hanno sviluppato due tipi principali di strumenti: librerie specializzate progettate puramente per la velocità nel trovare queste corrispondenze, e database completi che memorizzano i dati permanentemente e offrono funzionalità extra come il filtraggio e la gestione.

Uno studio recente condotto da Dukhik Hovsepyan presso l'Università Europea di Armenia si è posto l'obiettivo di misurare la differenza di prestazioni reali tra questi due approcci. Il ricercatore ha confrontato una libreria di ricerca specializzata chiamata FAISS con un database vettoriale chiamato Qdrant. Per garantire un test equo, l'esperimento ha utilizzato un ambiente controllato in cui entrambi i sistemi sono stati chiamati a risolvere esattamente lo stesso problema: trovare i dieci elementi più simili a una data query all'interno di una collezione di ventimila elementi, dove ogni elemento era descritto da centoventotto diverse caratteristiche. I test sono stati eseguiti su un singolo core di un processore per isolare la velocità pura dei meccanismi di ricerca senza l'aiuto di più processori che lavorano insieme.

I risultati hanno rivelato un divario sorprendente nella velocità pura tra le due configurazioni. La libreria specializzata, FAISS, era configurata per eseguire una ricerca esatta, il che significa che calcolava la distanza da ogni singolo elemento per garantire la risposta più accurata. In questa configurazione, ha trovato le corrispondenze corrette in una media di poco meno di quattro decimi di millisecondo per query. Ciò ha permesso di elaborare più di duemila cinquecento query al secondo. Al contrario, il sistema di database, Qdrant, era in esecuzione in modalità locale, memorizzando i dati su disco e utilizzando un metodo diverso, più veloce ma approssimativo, per navigare nei dati. Sotto queste specifiche condizioni, Qdrant ha impiegato in media quasi dieci millisecondi per rispondere a ogni query, con una velocità di elaborazione di poco superiore alle cento query al secondo. La libreria specializzata è stata circa venticinque volte più veloce in termini di quante domande potesse rispondere in un secondo e venticinque volte più rapida nel tempo impiegato per rispondere a una singola domanda.

Tuttavia, lo studio sottolinea che questa differenza non significa che una tecnologia sia universalmente superiore all'altra. L'esperimento è stato progettato per confrontare configurazioni specifiche, non l'intero potenziale del software. La libreria è stata testata come uno strumento di ricerca pura in memoria, mentre il database è stato testato con le sue funzioni di archiviazione e gestione attive, anche se queste funzioni extra non erano l'oggetto del test di velocità. L'approccio del database offre vantaggi significativi che il test di velocità non ha misurato, come la capacità di mantenere i dati al sicuro su un disco rigido dopo che il computer viene spento, di filtrare i risultati in base ad altre informazioni come date o categorie, e di gestire grandi collezioni di dati come un sistema coeso. La libreria, al contrario, è un motore specializzato costruito per un unico compito: trovare i vicini più prossimi il più velocemente possibile, spesso a costo di dover mantenere tutti i dati nella memoria temporanea del computer.

Il ricercatore conclude che il divario di prestazioni osservato è una caratteristica delle specifiche configurazioni utilizzate nell'esperimento piuttosto che una regola fondamentale che si applichi a tutte le situazioni. Se il set di dati fosse stato più grande, il computer avesse avuto più core di processore o il database fosse stato eseguito come un server separato invece che come uno strumento locale, i numeri sarebbero probabilmente cambiati. Lo studio funge da chiaro punto di riferimento, mostrando che per un compito di ricerca semplice e diretto su un singolo processore, una libreria specializzata può essere drammaticamente più veloce di un sistema di database che gestisce lo stesso lavoro. Eppure, per applicazioni che richiedono la memorizzazione permanente dei dati, il filtraggio tramite regole complesse o la gestione di collezioni massicce, il database offre un set di strumenti più ampio di quello che una libreria specializzata non fornisce. La scelta tra loro dipende dal fatto che la priorità sia la risposta più veloce possibile a una domanda semplice, o la capacità di gestire e recuperare dati all'interno di un sistema più grande e complesso.