TigerVector: Supporting Vector Search in Graph Databases for Advanced RAGs

Ce papier présente TigerVector, un système intégré à la base de données graphique MPP TigerGraph qui fusionne recherche vectorielle et requêtes graphiques pour permettre une analyse avancée de données structurées et non structurées, surpassant les performances d'autres solutions spécialisées.

L'essentiel

Voici une explication simple et imagée du papier de recherche sur TigerVector, conçue pour être comprise par tout le monde, même sans être expert en informatique.

🦅 Le Problème : Le Dilemme du Bibliothécaire

Imaginez que vous avez deux bibliothécaires très différents dans votre entreprise :

1. Le Bibliothécaire "Mots-clés" (Base de données Vectorielle) : Il est super rapide pour trouver des documents qui sonnent comme votre demande. Si vous cherchez "une histoire triste sur un chien", il vous sortira des livres sur la tristesse et les chiens, même si l'histoire ne parle pas exactement de ce que vous vouliez. C'est comme chercher une aiguille dans une botte de foin en utilisant un aimant.
2. Le Bibliothécaire "Carte Routière" (Base de données Graphique) : Il connaît les liens entre tout le monde. Il sait que "le chien" appartient à "Marie", qui a écrit "cette histoire", qui a été publiée dans "ce journal". Il est excellent pour comprendre les relations complexes, mais il est lent si vous lui demandez de trouver des choses qui ressemblent à une idée vague.

Le problème actuel : La plupart des systèmes d'intelligence artificielle (comme les LLM) utilisent uniquement le premier bibliothécaire. Résultat ? Ils répondent parfois à côté de la plaque parce qu'ils ne comprennent pas le contexte profond (les relations entre les données).

🚀 La Solution : TigerVector, le Super-Hybride

Les auteurs de ce papier ont créé TigerVector. Imaginez que vous fusionnez les deux bibliothécaires en un seul Super-Expert.

Ce système, intégré dans une base de données appelée TigerGraph, permet de faire deux choses en même temps :

1. Trouver des documents qui ressemblent à ce que vous cherchez (recherche vectorielle).
2. Suivre les liens entre eux pour comprendre le contexte (recherche graphique).

C'est comme si votre bibliothécaire pouvait dire : "Ah, vous cherchez une histoire triste sur un chien ? Regardez, j'ai trouvé un livre qui ressemble à ça, et grâce à ma carte routière, je vois que ce livre a été écrit par un expert qui a aussi écrit sur la météo. Je vais vous donner les deux."

🛠️ Comment ça marche ? (Les Analogies)

Pour rendre cela possible, l'équipe a dû résoudre quatre gros problèmes avec des astuces ingénieuses :

1. Le "Tiroir Secret" (Stockage Découplé)

Dans une base de données classique, les données (le texte, le nom) et les "empreintes digitales" mathématiques (les vecteurs) sont souvent mélangées, ce qui rend tout lent.

• L'analogie : Imaginez un grand bureau. Au lieu de coller une énorme carte de géographie (le vecteur) sur le dossier d'un employé (la donnée), TigerVector met les dossiers dans un tiroir normal et les cartes géographiques dans un tiroir spécial, ultra-organisé et séparé.
• Le résultat : Quand on cherche une carte, on va directement dans le tiroir spécial sans avoir à fouiller dans tous les dossiers. C'est beaucoup plus rapide.

2. L'Armée de Soldats (Architecture MPP)

Les bases de données graphiques traditionnelles sont comme un seul grand chef qui doit tout faire. TigerVector utilise une architecture MPP (Traitement Massivement Parallèle).

• L'analogie : Au lieu d'avoir un seul bibliothécaire qui court partout, imaginez une armée de 100 bibliothécaires. Chacun a son propre rayon de livres. Quand vous posez une question, les 100 cherchent en même temps dans leurs rayons respectifs, puis ils se réunissent pour vous donner la meilleure réponse.
• Le résultat : Une vitesse fulgurante, même avec des milliards de documents.

3. Le Miroir Magique (Mise à Jour Atomique)

Mettre à jour une base de données est souvent risqué : si vous ajoutez un livre pendant que quelqu'un cherche, le système peut planter ou donner une réponse fausse.

• L'analogie : TigerVector utilise un système de "miroirs". Quand vous ajoutez une nouvelle donnée, le système crée une copie temporaire (un miroir) de la mise à jour. Tant que le miroir n'est pas prêt, personne ne le voit. Une fois prêt, il remplace l'ancien miroir instantanément.
• Le résultat : Vous pouvez ajouter ou modifier des données en temps réel sans jamais arrêter le service ni faire de bêtises.

4. Le Langage Universel (GSQL)

Avant, il fallait apprendre deux langages différents pour parler aux deux bibliothécaires.

• L'analogie : TigerVector a créé un langage unique (GSQL) qui permet de dire : "Trouve-moi les livres qui ressemblent à 'tristesse' (recherche vectorielle), mais seulement ceux écrits par des gens qui habitent à Paris (recherche graphique)."
• Le résultat : Tout se fait en une seule commande simple, sans avoir à copier-coller des données d'un système à l'autre.

🏆 Les Résultats : Qui gagne ?

L'équipe a fait des courses contre les champions du monde :

• Contre les bases de données graphiques classiques (Neo4j, Amazon Neptune) : TigerVector est 3 à 5 fois plus rapide et trouve beaucoup plus de réponses pertinentes. C'est comme si TigerVector courait en Ferrari pendant que les autres roulaient en vélo.
• Contre les bases de données vectorielles pures (Milvus) : TigerVector est aussi rapide, voire plus rapide, tout en ayant la capacité de comprendre les liens entre les données. C'est le seul système qui a la vitesse d'un spécialiste ET la sagesse d'un généraliste.

💡 En Résumé

TigerVector est une révolution pour l'Intelligence Artificielle. Il permet de créer des systèmes (appelés RAG) qui ne se contentent pas de chercher des mots-clés, mais qui comprennent vraiment le monde tel qu'il est : un réseau complexe de relations.

C'est comme passer d'une recherche Google basique à un détective privé qui connaît tous les secrets, les liens et les contextes, le tout à la vitesse de l'éclair. Cela rendra les assistants IA beaucoup plus intelligents, précis et utiles pour des tâches complexes.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "TigerVector: Supporting Vector Search in Graph Databases for Advanced RAGs", structuré selon vos demandes.

1. Problématique et Contexte

L'essor des modèles de langage (LLM) et des techniques de RAG (Retrieval-Augmented Generation) a mis en lumière les limites des bases de données vectorielles pures. Bien que efficaces pour la recherche sémantique, elles échouent souvent à capturer les relations complexes entre les objets de données, ce qui entraîne des taux de pertinence faibles et des coûts d'inférence élevés dus à des itérations multiples.

La solution émergente, le GraphRAG, utilise des bases de données de graphes pour stocker des connaissances structurées. Cependant, les approches actuelles séparent souvent les données vectorielles (pour la similarité) et les données graphes (pour les relations), créant des silos de données, des problèmes de cohérence et une complexité accrue pour les requêtes hybrides.

Les bases de données graphes existantes (comme Neo4j ou Amazon Neptune) qui tentent d'intégrer la recherche vectorielle souffrent de limitations majeures :

• Performances insuffisantes par rapport aux bases vectorielles spécialisées.
• Manque de support pour des recherches avancées (filtrage, jointures de similarité sur des motifs de graphes).
• Absence de mises à jour atomiques et transactionnelles efficaces.
• Gestion rigide des types d'embeddings.

2. Méthodologie et Architecture (TigerVector)

TigerVector est un système intégré nativement dans TigerGraph, une base de données de graphes distribuée et MPP (Massively Parallel Processing). L'objectif est de fusionner la recherche vectorielle et la recherche de graphes dans un seul moteur.

A. Conception des Données et Stockage

• Type embedding : TigerVector introduit un nouveau type de données embedding pour les attributs des nœuds. Contrairement à une simple liste de flottants (LIST<FLOAT>), ce type gère les métadonnées essentielles (dimension, modèle ML, métrique de similarité, type de données). Il permet de définir des espaces d'embedding pour regrouper plusieurs types d'attributs vectoriels générés par le même modèle.
• Stockage Découplé : Les vecteurs sont stockés séparément des autres attributs du graphe dans des "segments d'embedding". Cette séparation est cruciale car les vecteurs sont volumineux. Elle permet de construire des index vectoriels par segment sans alourdir le stockage des nœuds et facilite les mises à jour incrémentielles.
• Architecture MPP : L'index vectoriel est construit localement sur chaque segment de nœuds réparti sur le cluster. Cela permet un traitement parallèle massif : chaque nœud du cluster effectue une recherche locale, et les résultats sont fusionnés globalement, minimisant la latence réseau.

B. Gestion des Mises à Jour (ACID)

Pour garantir la cohérence transactionnelle (ACID) :

• TigerVector utilise un mécanisme MVCC (Multi-Version Concurrency Control) spécifique aux vecteurs.
• Les mises à jour (insertions, suppressions) sont d'abord accumulées dans un delta store en mémoire.
• Un processus de "vacuum" (nettoyage) sépare le delta merge (écriture sur disque) du index merge (mise à jour de l'index HNSW). Cela permet des mises à jour atomiques et incrémentielles sans bloquer les requêtes en cours.

C. Langage de Requête (GSQL)

L'interface utilisateur est le langage GSQL (similaire au SQL), enrichi pour supporter la recherche vectorielle :

• Recherche Déclarative : Extension de la syntaxe ORDER BY ... LIMIT avec la fonction VECTOR_DIST.
• Recherche Filtrée : Combinaison de filtres graphes (attributs, motifs) et de recherche vectorielle via une approche "pre-filter" (filtrage avant la recherche vectorielle) pour optimiser les performances.
• Jointures de Similarité sur Graphes : Capacité à trouver les paires de nœuds les plus similaires selon un motif de graphe spécifique (ex: deux patients ayant des parcours de soins similaires).
• Fonction VectorSearch() : Une fonction procédurale flexible qui accepte des ensembles de nœuds comme entrée (filtre) et retourne un ensemble de nœuds, permettant une composition complexe de requêtes (ex: détecter des communautés, puis faire une recherche vectorielle à l'intérieur de chaque communauté).

3. Contributions Clés

1. Intégration Native : TigerVector est le premier système à intégrer nativement la recherche vectorielle performante dans une base de données de graphes distribuée, éliminant le besoin de systèmes séparés.
2. Support des RAG Avancés (VectorGraphRAG) : Il permet des requêtes hybrides complexes (recherche vectorielle + traversal de graphe) essentielles pour les RAG de nouvelle génération.
3. Performance et Élasticité : Grâce à l'architecture MPP et au découplage du stockage, le système atteint des performances comparables aux bases vectorielles spécialisées tout en conservant la puissance des graphes.
4. Gestion Transactionnelle : Support de mises à jour atomiques et cohérentes pour les données vectorielles, un défi majeur non résolu par les concurrents.
5. Flexibilité des Types : Prise en charge de multiples types d'embeddings (texte, image, etc.) au sein d'un même nœud via le type embedding.

4. Résultats Expérimentaux

Les expériences ont été menées sur des jeux de données massifs (SIFT100M, Deep100M, SIFT1B, Deep1B) et comparées à Milvus (base vectorielle spécialisée), Neo4j et Amazon Neptune.

• Performance de Recherche :

  • TigerVector surpasse Neo4j avec un débit (Throughput) 3,77x à 5,19x supérieur et un taux de rappel (Recall) 23% à 26% plus élevé.
  • Par rapport à Amazon Neptune, TigerVector offre un débit 1,93x à 2,7x supérieur avec un coût matériel 22,42x inférieur (car Neptune nécessite des instances cloud beaucoup plus puissantes pour des résultats similaires).
  • Face à Milvus, TigerVector est compétitif, voire supérieur (1,07x à 1,61x de débit en plus), grâce à l'exploitation efficace du parallélisme multi-cœur (C++ vs Go) et de l'architecture MPP.

• Scalabilité :

  • Le système montre une excellente scalabilité linéaire. Doubler le nombre de nœuds augmente le débit d'environ 1,84x à 1,91x (à un rappel de 99,9%).
  • La scalabilité des données (de 100M à 1 Milliard de vecteurs) est maintenue avec une dégradation proportionnelle du débit, confirmant l'efficacité du partitionnement par segments.

• Mises à Jour :

  • La construction d'index est 5,2x à 6,8x plus rapide que Neo4j et 1,86x à 2,16x plus rapide que Milvus.
  • Les mises à jour incrémentielles sont efficaces jusqu'à un taux de modification de 20%, au-delà duquel une reconstruction complète est recommandée.

• Recherche Hybride :

  • Sur des requêtes complexes combinant traversal de graphe et recherche vectorielle (benchmark LDBC-SNB), la partie recherche vectorielle s'exécute en quelques millisecondes, démontrant que l'intégration n'impacte pas négativement la performance globale.

5. Signification et Impact

TigerVector représente une avancée majeure pour l'infrastructure de données destinée aux LLM et aux RAG. En démontrant qu'il est possible d'unifier la recherche vectorielle et la recherche de graphes dans un seul moteur performant, transactionnel et scalable, il résout les problèmes de fragmentation des données et de cohérence.

Son intégration dans TigerGraph v4.2 (décembre 2024) rend cette technologie accessible à l'industrie. Les résultats suggèrent que les architectures hybrides (VectorGraphRAG) surpassent les approches purement vectorielles ou purement graphes pour des applications complexes nécessitant à la fois la compréhension sémantique et la relationnelle. Les principes de conception (découplage du stockage, indexation par segment, intégration dans le langage de requête) sont également applicables à d'autres bases de données de graphes, ouvrant la voie à une nouvelle génération de systèmes de gestion de données unifiés.