A Comparative Analysis of Efficient Similarity Search in Qdrant as a Vector Database and FAISS as a Vector Search Library

En el mundo digital, las computadoras están aprendiendo cada vez más a comprender el significado no mediante la lectura de palabras, sino traduciéndolas en largas listas de números. Imagine un vasto espacio invisible donde cada idea, imagen o fragmento de texto está representado como un único punto. En este espacio, los puntos que están cerca unos de otros representan cosas similares, mientras que los puntos alejados representan cosas muy diferentes. Este método permite que las máquinas encuentren información relacionada rápidamente, impulsando desde motores de búsqueda que comprenden su intención hasta sistemas de recomendación que sugieren la película adecuada. Sin embargo, a medida que estas colecciones de puntos crecen hasta alcanzar millones o miles de millones, encontrar la coincidencia más cercana a una nueva consulta se convierte en un desafío computacional masivo. Si una computadora tuviera que comparar una nueva pregunta contra cada uno de los elementos almacenados uno por uno, el proceso sería demasiado lento para el uso en el mundo real. Para resolver esto, los investigadores han desarrollado dos tipos principales de herramientas: bibliotecas especializadas diseñadas puramente para la velocidad al encontrar estas coincidencias, y bases de datos completas que almacenan los datos de forma permanente y ofrecen funciones adicionales como filtrado y gestión.

Un estudio reciente de Dukhik Hovsepyan en la Universidad Europea de Armenia se propuso medir la diferencia de rendimiento en el mundo real entre estos dos enfoques. El investigador comparó una biblioteca de búsqueda especializada llamada FAISS contra una base de datos vectorial llamada Qdrant. Para asegurar una prueba justa, el experimento utilizó un entorno controlado donde ambos sistemas se les pidió resolver exactamente el mismo problema: encontrar los diez elementos más similares a una consulta dada dentro de una colección de veinte mil elementos, donde cada elemento era descrito por ciento veintiocho características diferentes. Las pruebas se ejecutaron en un solo núcleo de procesador de computadora para aislar la velocidad bruta de los mecanismos de búsqueda sin la ayuda de múltiples procesadores trabajando juntos.

Los resultados revelaron una brecha sorprendente en la velocidad bruta entre las dos configuraciones. La biblioteca especializada, FAISS, fue configurada para realizar una búsqueda exacta, lo que significa que calculó la distancia a cada uno de los elementos para garantizar la respuesta más precisa. En esta configuración, encontró las coincidencias correctas en un promedio de poco menos de cuatro décimas de milisegundo por consulta. Esto le permitió procesar más de dos mil quinientas consultas cada segundo. En contraste, el sistema de base de datos, Qdrant, estaba funcionando en un modo local que almacena los datos en el disco y utiliza un método diferente, más rápido pero aproximado, para navegar por los datos. Bajo estas condiciones específicas, Qdrant tardó un promedio de casi diez milisegundos en responder cada consulta, lo que resultó en un rendimiento de poco más de cien consultas por segundo. La biblioteca especializada fue aproximadamente veinticinco veces más rápida en términos de cuántas preguntas podía responder en un segundo y veinticinco veces más rápida en cuanto al tiempo que tardaba en responder una sola pregunta.

Sin embargo, el estudio enfatiza que esta diferencia no significa que una tecnología sea universalmente superior a la otra. El experimento fue diseñado para comparar configuraciones específicas, no todo el potencial del software. La biblioteca fue probada como una herramienta de búsqueda pura en memoria, mientras que la base de datos fue probada con sus funciones de almacenamiento y gestión activas, a pesar de que estas funciones adicionales no eran el foco de la prueba de velocidad. El enfoque de la base de datos ofrece ventajas significativas que la prueba de velocidad no midió, como la capacidad de mantener los datos seguros en un disco duro después de que la computadora se apague, filtrar resultados basados en otra información como fechas o categorías, y gestionar grandes colecciones de datos como un sistema cohesivo. La biblioteca, por el contrario, es un motor especializado construido para una tarea: encontrar los vecinos más cercanos lo más rápido posible, a menudo a costa de necesitar mantener todos los datos en la memoria temporal de la computadora.

El investigador concluye que la brecha de rendimiento observada es una característica de las configuraciones específicas utilizadas en el experimento, más que una regla fundamental que se aplique a todas las situaciones. Si el conjunto de datos fuera más grande, la computadora tuviera más núcleos de procesador, o la base de datos se ejecutara como un servidor separado en lugar de una herramienta local, los números probablemente cambiarían. El estudio sirve como una línea de base clara, mostrando que para una tarea de búsqueda simple y directa en un solo procesador, una biblioteca especializada puede ser drásticamente más rápida que un sistema de base de datos que realiza el mismo trabajo. No obstante, para aplicaciones que requieren almacenar datos permanentemente, filtrar por reglas complejas o gestionar colecciones masivas, la base de datos ofrece un conjunto más amplio de herramientas que una biblioteca especializada no proporciona. La elección entre ellas depende de si la prioridad es la respuesta más rápida posible a una pregunta simple, o la capacidad de gestionar y recuperar datos dentro de un sistema más grande y complejo.