A Comparative Analysis of Efficient Similarity Search in Qdrant as a Vector Database and FAISS as a Vector Search Library

Dans le monde numérique, les ordinateurs apprennent de plus en plus à comprendre le sens non pas en lisant des mots, mais en les traduisant en de longues listes de nombres. Imaginez un vaste espace invisible où chaque idée, image ou fragment de texte est représenté par un point unique. Dans cet espace, les points proches les uns des autres représentent des choses similaires, tandis que les points éloignés représentent des choses très différentes. Cette méthode permet aux machines de trouver rapidement des informations liées, alimentant tout, des moteurs de recherche qui comprennent votre intention aux systèmes de recommandation qui suggèrent le bon film. Cependant, à mesure que ces collections de points s'élèvent aux millions ou aux milliards, trouver la correspondance la plus proche pour une nouvelle requête devient un défi computationnel massif. Si un ordinateur devait comparer une nouvelle question à chaque élément stocké un par un, le processus serait trop lent pour une utilisation en conditions réelles. Pour résoudre cela, les chercheurs ont développé deux types principaux d'outils : des bibliothèques spécialisées conçues purement pour la vitesse de recherche de ces correspondances, et des bases de données complètes qui stockent les données de manière permanente et offrent des fonctionnalités supplémentaires comme le filtrage et la gestion.

Une étude récente de Dukhik Hovsepyan à l'Université européenne d'Arménie a entrepris de mesurer la différence de performance réelle entre ces deux approches. Le chercheur a comparé une bibliothèque de recherche spécialisée appelée FAISS à une base de données vectorielle nommée Qdrant. Pour garantir un test équitable, l'expérience a utilisé un environnement contrôlé où les deux systèmes ont été sollicités pour résoudre exactement le même problème : trouver les dix éléments les plus similaires à une requête donnée au sein d'une collection de vingt mille éléments, où chaque élément était décrit par cent vingt-huit caractéristiques différentes. Les tests ont été exécutés sur un seul cœur de processeur informatique afin d'isoler la vitesse brute des mécanismes de recherche sans l'aide de plusieurs processeurs travaillant ensemble.

Les résultats ont révélé un écart frappant de vitesse brute entre les deux configurations. La bibliothèque spécialisée, FAISS, était configurée pour effectuer une recherche exacte, ce qui signifie qu'elle calculait la distance de chaque élément pour garantir la réponse la plus précise. Dans cette configuration, elle a trouvé les correspondances correctes en une moyenne de moins de quatre dixièmes de milliseconde par requête. Cela lui a permis de traiter plus de deux mille cinq cents requêtes par seconde. En revanche, le système de base de données, Qdrant, fonctionnait en mode local, stockant les données sur le disque et utilisant une méthode différente, plus rapide mais approximative, pour naviguer dans les données. Sous ces conditions spécifiques, Qdrant a mis en moyenne près de dix millisecondes pour répondre à chaque requête, ce qui a entraîné un débit d'un peu plus de cent requêtes par seconde. La bibliothèque spécialisée était environ vingt-cinq fois plus rapide en termes de nombre de questions qu'elle pouvait répondre en une seconde et vingt-cinq fois plus rapide dans le temps nécessaire pour répondre à une seule question.

Cependant, l'étude souligne que cette différence ne signifie pas qu'une technologie est universellement supérieure à l'autre. L'expérience a été conçue pour comparer des configurations spécifiques, et non le potentiel entier du logiciel. La bibliothèque a été testée comme un outil de recherche pur en mémoire, tandis que la base de données a été testée avec ses fonctionnalités de stockage et de gestion actives, même si ces fonctionnalités supplémentaires n'étaient pas l'objet du test de vitesse. L'approche par base de données offre des avantages significatifs que le test de vitesse n'a pas mesurés, tels que la capacité de sauvegarder les données en toute sécurité sur un disque dur après l'extinction de l'ordinateur, de filtrer les résultats en fonction d'autres informations comme les dates ou les catégories, et de gérer de grandes collections de données en tant que système cohérent. La bibliothèque, par contre, est un moteur spécialisé conçu pour une seule tâche : trouver les plus proches voisins le plus rapidement possible, souvent au prix de la nécessité de conserver toutes les données dans la mémoire temporaire de l'ordinateur.

Le chercheur conclut que l'écart de performance observé est une caractéristique des configurations spécifiques utilisées dans l'expérience plutôt qu'une règle fondamentale applicable à toutes les situations. Si l'ensemble de données était plus important, si l'ordinateur disposait de plus de cœurs de processeur, ou si la base de données était exécutée en tant que serveur distinct plutôt qu'en tant qu'outil local, les chiffres changeraient probablement. L'étude sert de référence claire, montrant que pour une tâche de recherche simple et directe sur un seul processeur, une bibliothèque spécialisée peut être considérablement plus rapide qu'un système de base de données gérant le même travail. Pourtant, pour les applications nécessitant le stockage permanent de données, le filtrage par des règles complexes ou la gestion de collections massives, la base de données offre un ensemble d'outils plus large que ne le propose une bibliothèque spécialisée. Le choix entre les deux dépend de la question de savoir si la priorité est la réponse la plus rapide possible à une question simple, ou la capacité de gérer et de récupérer des données au sein d'un système plus large et plus complexe.