A Comparative Analysis of Efficient Similarity Search in Qdrant as a Vector Database and FAISS as a Vector Search Library

No mundo digital, os computadores estão aprendendo cada vez mais a compreender o significado não pela leitura de palavras, mas pela tradução destas em longas listas de números. Imagine um vasto espaço invisível onde cada ideia, imagem ou pedaço de texto é representado como um único ponto. Neste espaço, pontos que estão próximos uns dos outros representam coisas semelhantes, enquanto pontos distantes representam coisas muito diferentes. Este método permite que as máquinas encontrem informações relacionadas rapidamente, impulsionando desde motores de busca que compreendem a sua intenção até sistemas de recomendação que sugerem o filme certo. No entanto, à medida que estas coleções de pontos crescem para milhões ou biliões, encontrar a correspondência mais próxima para uma nova consulta torna-se um desafio computacional massivo. Se um computador tivesse de comparar uma nova pergunta contra cada item armazenado, um por um, o processo seria demasiado lento para uso no mundo real. Para resolver isto, investigadores desenvolveram dois tipos principais de ferramentas: bibliotecas especializadas, desenhadas puramente para velocidade na busca destas correspondências, e bases de dados completas que armazenam os dados permanentemente e oferecem funcionalidades extra, como filtragem e gestão.

Um estudo recente de Dukhik Hovsepyan, da Universidade Europeia da Arménia, procurou medir a diferença de desempenho no mundo real entre estas duas abordagens. O investigador comparou uma biblioteca de busca especializada chamada FAISS com uma base de dados vetorial chamada Qdrant. Para garantir um teste justo, o experimento utilizou um ambiente controlado onde ambos os sistemas foram solicitados a resolver exatamente o mesmo problema: encontrar os dez itens mais semelhantes a uma determinada consulta dentro de uma coleção de vinte mil itens, onde cada item era descrito por cento e vinte e oito características diferentes. Os testes foram executados num único núcleo de processador de computador para isolar a velocidade bruta dos mecanismos de busca sem a ajuda de múltiplos processadores a trabalhar em conjunto.

Os resultados revelaram uma lacuna impressionante na velocidade bruta entre as duas configurações. A biblioteca especializada, FAFFS, foi configurada para realizar uma busca exata, o que significa que calculou a distância para cada um dos itens para garantir a resposta mais precisa. Nesta configuração, encontrou as correspondências corretas num tempo médio de pouco menos de quatro décimos de milissegundo por consulta. Isto permitiu-lhe processar mais de dois mil e quinhentos pedidos por segundo. Em contraste, o sistema de base de dados, Qdrant, estava a funcionar num modo local que armazena os dados no disco e utiliza um método diferente, mais rápido, mas aproximado, para navegar nos dados. Sob estas condições específicas, o Qdrant levou uma média de quase dez milissegundos para responder a cada consulta, resultando num rendimento de pouco mais de cem consultas por segundo. A biblioteca especializada foi aproximadamente vinte e cinco vezes mais rápida em termos de quantas perguntas conseguia responder num segundo e vinte e cinco vezes mais rápida no tempo que levou para responder a uma única pergunta.

No entanto, o estudo enfatiza que esta diferença não significa que uma tecnologia seja universalmente superior à outra. O experimento foi desenhado para comparar configurações específicas, não o potencial total do software. A biblioteca foi testada como uma ferramenta de busca pura em memória, enquanto a base de dados foi testada com as suas funcionalidades de armazenamento e gestão ativas, embora essas funcionalidades extra não fossem o foco do teste de velocidade. A abordagem da base de dados oferece vantagens significativas que o teste de velocidade não mediu, tais como a capacidade de manter os dados seguros num disco rígido após o computador ser desligado, filtrar resultados com base noutras informações como datas ou categorias, e gerir grandes coleções de dados como um sistema coeso. A biblioteca, por outro lado, é um motor especializado construído para uma tarefa: encontrar os vizinhos mais próximos o mais rápido possível, muitas vezes à custa de necessitar de manter todos os dados na memória temporária do computador.

O investigador conclui que a diferença de desempenho observada é uma característica das configurações específicas utilizadas no experimento, e não uma regra fundamental que se aplique a todas as situações. Se o conjunto de dados fosse maior, o computador tivesse mais núcleos de processador, ou a base de dados fosse executada como um servidor separado em vez de uma ferramenta local, os números provavelmente mudariam. O estudo serve como uma linha de base clara, mostrando que, para uma tarefa de busca simples e direta num único processador, uma biblioteca especializada pode ser dramaticamente mais rápida do que um sistema de base de dados a realizar o mesmo trabalho. No entanto, para aplicações que requerem o armazenamento permanente de dados, a filtragem por regras complexas ou a gestão de coleções massivas, a base de dados oferece um conjunto mais amplo de ferramentas que uma biblioteca especializada não providencia. A escolha entre elas depende de se a prioridade é a resposta absolutamente mais rápida a uma pergunta simples, ou a capacidade de gerir e recuperar dados dentro de um sistema maior e mais complexo.