TigerVector: Supporting Vector Search in Graph Databases for Advanced RAGs

Dit paper introduceert TigerVector, een systeem dat vectorzoekopdrachten en grafquery's integreert in de TigerGraph-database om geavanceerde RAG-toepassingen te ondersteunen door middel van een schaalbaar MPP-indexkader en uitgebreide GSQL-functionaliteit.

De kern

TigerVector: De Slimme Zoekmachine die Alles Begrijpt

Stel je voor dat je een enorme bibliotheek hebt. In deze bibliotheek staan niet alleen boeken, maar ook foto's, video's en geluidsopnames. Vroeger hadden bibliothecarissen twee aparte systemen: één voor de boeken (de tekst) en één voor de foto's (de beelden). Als je iets zocht, moest je eerst bij de ene kast kijken en dan bij de andere, en dan zelf proberen te raden of de twee dingen bij elkaar hoorden. Dat was traag en vaak onnauwkeurig.

TigerVector is een nieuw systeem dat deze twee werelden samenvoegt tot één super-slimme bibliotheek. Het is gebouwd op TigerGraph, een database die al heel goed is in het begrijpen van verbanden (wie kent wie, wat heeft met wat te maken). Nu heeft TigerVector ook een "supergeheugen" voor zoekopdrachten op basis van betekenis, zoals "vind me een foto die lijkt op deze" of "vind een tekst die hetzelfde gevoel heeft als deze zin".

Hier is hoe het werkt, uitgelegd met een paar leuke vergelijkingen:

1. Het Probleem: De Twee Werelden

Vandaag de dag gebruiken veel AI's (zoals de slimme chatbots) een vector-database. Dat is als een enorme lijst met nummers die beschrijven hoe iets "voelt" of wat het betekent. Maar deze lijsten zijn vaak losgekoppeld van de echte wereld. Ze weten niet dat "Apple" in de zin "Ik eet een appel" iets anders is dan "Apple" in de zin "Ik heb een iPhone".

Anderzijds hebben grafische databases (zoals TigerGraph) een heel goed overzicht van verbanden, maar ze waren niet snel genoeg om te zoeken op "gevoel" of "betekenis".

2. De Oplossing: De "Embedding" als Nieuw Boekje

TigerVector introduceert een nieuw soort "boekje" in de bibliotheek, genaamd een Embedding.

• Vroeger: Een persoon in de database had alleen een naam en een leeftijd.
• Nu: Diezelfde persoon heeft ook een "geheugenkaart" (de embedding) die de betekenis van hun gedachten of foto's vastlegt.

Het mooie is: dit boekje zit direct aan de persoon gekoppeld. Je hoeft niet meer te rennen naar een ander gebouw om de informatie te vinden. Alles zit in één systeem.

3. Hoe werkt de Zoektocht? (De MPP-Magie)

Stel je voor dat je een zoekopdracht geeft: "Vind alle foto's van stranden die lijken op deze zonsondergang, maar alleen als ze door mensen zijn gemaakt die in Nederland wonen."

Dit is een combinatie van twee dingen:

1. Zoeken op betekenis: "Lijkt op deze zonsondergang" (Vector zoekopdracht).
2. Zoeken op verband: "Mensen die in Nederland wonen" (Grafische zoekopdracht).

TigerVector doet dit niet één voor één, maar gelijktijdig, alsof je 32 bibliothecarissen hebt die elk een deel van de bibliotheek tegelijk doorzoeken. Dit noemen ze MPP (Massively Parallel Processing).

• Ze splitsen de bibliotheek in stukjes.
• Elke bibliothecaris zoekt in zijn eigen stukje.
• Ze komen hun resultaten samenbrengen in het midden.

Dit maakt het ongelooflijk snel, zelfs als je miljarden foto's hebt.

4. De "Filter" voor de Zoektocht

Een van de slimste dingen is hoe TigerVector filtert.
Stel je voor dat je zoekt naar "leuke restaurants".

• Slecht systeem: Zoekt eerst naar alle restaurants die op "leuk" lijken (duizenden resultaten), en laat je dan zelf kijken welke open zijn op zondag.
• TigerVector: Zegt eerst: "Oké, we filteren eerst op 'open op zondag'". Dan zoekt het alleen binnen die kleine groep naar de "leukste" opties.

Dit bespaart enorm veel tijd en energie. TigerVector kan deze filters combineren met grafische patronen (bijvoorbeeld: "restaurants die eigendom zijn van vrienden van mijn vrienden").

5. Waarom is dit zo belangrijk voor AI? (RAG)

AI's hebben vaak moeite om de juiste context te vinden. Ze kunnen soms "hallucineren" (dingen verzinnen) omdat ze de juiste informatie niet snel genoeg vinden.
Met TigerVector kan een AI:

1. Kijken naar wat de gebruiker vraagt (betekenis).
2. Direct de juiste verbanden in de database vinden (wie, wat, waar).
3. Een perfect antwoord geven dat zowel feitelijk correct als contextueel relevant is.

Dit noemen ze VectorGraphRAG. Het is alsof de AI niet alleen een boek leest, maar ook de hele wereldkaart in zijn hoofd heeft.

6. De Resultaten: Sneller en Goedkoper

De auteurs hebben TigerVector getest tegen andere grote spelers (zoals Neo4j en Amazon Neptune) en zelfs tegen de beste gespecialiseerde zoeksystemen (zoals Milvus).

• Snelheid: TigerVector is vaak 3 tot 5 keer sneller dan de concurrentie.
• Kwaliteit: Het vindt meer juiste resultaten (hoger "recall").
• Kosten: Omdat het zo efficiënt is, heb je minder dure computers nodig. Het is tot wel 22 keer goedkoper dan sommige cloud-oplossingen voor dezelfde taak.

Conclusie

TigerVector is als het bouwen van een universale vertaler tussen de wereld van "gevoel en betekenis" (vectoren) en de wereld van "feiten en verbanden" (grafieken). Het maakt het mogelijk om complexe vragen te stellen in één taal, zonder dat je hoeft te kiezen tussen snelheid en nauwkeurigheid. Voor de toekomst van slimme AI's is dit een enorme stap voorwaarts.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "TigerVector: Supporting Vector Search in Graph Databases for Advanced RAGs" in het Nederlands.

Probleemstelling

Retrieval-Augmented Generation (RAG) is een cruciale technologie voor het verbeteren van de nauwkeurigheid van Large Language Models (LLMs) door context uit externe bronnen op te halen. De huidige standaard voor RAG is gebaseerd op vector-databases, die semantische embeddings opslaan. Echter, deze vector-gebaseerde benadering heeft beperkingen in complexe scenario's omdat ze de nauwkeurige relaties tussen data-objecten niet kunnen vastleggen. Dit leidt vaak tot een lage "prompt hit rate" en vereist meerdere iteratieve LLM-calls, wat de latentie en kosten verhoogt.

Hoewel "GraphRAG" (het gebruik van graf-databases) een oplossing biedt voor het vastleggen van relaties, missen bestaande graf-databases (zoals Neo4j en Amazon Neptune) vaak de prestaties en functionaliteit van gespecialiseerde vector-systemen (zoals Milvus). De huidige oplossingen voor hybride zoekopdrachten (vector + graf) vereisen vaak twee aparte systemen, wat leidt tot:

1. Data-silos en beweging van data tussen systemen.
2. Inconsistentie tussen vector-embeddings en hun brondata.
3. Gebrek aan geavanceerde zoekmogelijkheden (zoals gefilterde vectorzoekopdrachten of hybride zoekopdrachten binnen één query).
4. Moeilijkheden bij het beheren van transacties en updates.

Methodologie: TigerVector

TigerVector is een nieuw systeem dat vectorzoekopdrachten naadloos integreert in TigerGraph, een native graf-database met Massively Parallel Processing (MPP) architectuur. Het doel is een unificatie van vector- en grafdata in één systeem.

Kernarchitectuur en Ontwerpbeslissingen:

1. Decoupled Storage (Gekoppelde Opslag):

   • Vector-embeddings worden fysiek gescheiden opgeslagen van andere graf-attributes (zoals strings of integers).
   • Embeddings worden opgeslagen in "embedding segments" die corresponderen met "vertex segments".
   • Dit minimaliseert I/O-overhead tijdens updates en maakt het mogelijk om native vector-indexen (zoals HNSW) te gebruiken zonder de graf-structuur te verstoren.

2. Nieuwe Datatype: embedding:

   • In plaats van vectoren als simpele lijsten (LIST<FLOAT>) te behandelen, introduceert TigerVector een nieuwe datatype embedding.
   • Dit datatype bevat metadata zoals dimensie, het gebruikte ML-model, het index-type en de afstandsmetriek.
   • Het ondersteunt meerdere embedding-types binnen dezelfde knoop (bijv. tekst-embeddings en afbeeldings-embeddings).

3. MPP Index Framework:

   • TigerVector bouwt een vector-index per segment (in plaats van één grote index voor de hele database).
   • Queries worden gedistribueerd over meerdere machines; elke machine voert een lokale zoekopdracht uit en de resultaten worden gemergd. Dit minimaliseert netwerkverkeer en maximaliseert parallelle verwerking.

4. Transacties en Updates (MVCC):

   • TigerVector gebruikt een Multi-Version Concurrency Control (MVCC) schema voor vector-updates.
   • Updates worden opgeslagen als "deltas" in een in-memory store en later gefluisterd naar schijf.
   • Er is een gescheiden proces voor het samenvoegen van delta-bestanden en het updaten van de index, wat zorgt voor atomische en transactionele consistentie zonder de graf-data te blokkeren.

5. Geïntegreerde Query-taal (GSQL):

   • De query-taal GSQL is uitgebreid om vectorzoekopdrachten te ondersteunen.
   • Syntax: Vectorzoekopdrachten worden toegevoegd via ORDER BY VECTOR_DIST(...) LIMIT k.
   • Functies: Er is een flexibele VectorSearch() functie die kan worden gebruikt in query-blokken, ondersteunt filters op graf-patronen, en kan worden gecombineerd met graf-algoritmen (zoals community detection).
   • Hybride Zoekopdrachten: Het systeem ondersteunt "Filtered Vector Search" (waarbij graf-patronen als filter dienen voor de vectorzoekopdracht) en "Vector Similarity Join" op graf-patronen.

Belangrijkste Bijdragen

1. Eerste Naïeve Integratie: TigerVector is de eerste implementatie die vectorzoekopdrachten volledig integreert in een gedistribueerde, native graf-database met MPP-architectuur, waardoor data-silos worden vermeden.
2. Geavanceerde Functionaliteit: Het ondersteunt complexe zoekopdrachten die eerder niet mogelijk waren in graf-databases, zoals gefilterde vectorzoekopdrachten, vectorzoekopdrachten op specifieke graf-patronen en vector-similariteitsjoins.
3. Prestatie-Optimalisatie: Door het gebruik van HNSW-indexen per segment en MPP-verwerking, bereikt het prestaties die vergelijkbaar zijn met gespecialiseerde vector-databases.
4. Transactieve Consistentie: Het biedt atomische updates voor vector-data, wat een groot verschil is met concurrenten zoals Amazon Neptune (die expliciet aangeven dat vector-index-updates niet atomisch zijn).

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd met datasets zoals SIFT100M, Deep100M en aangepaste LDBC-SNB datasets.

• Vergelijking met Graf-Databases (Neo4j, Amazon Neptune):

  • TigerVector is 3,77x tot 5,19x sneller (hogere QPS) dan Neo4j.
  • Het bereikt een 23% tot 26% hogere recall (nauwkeurigheid) dan Neo4j.
  • T.o.v. Amazon Neptune is TigerVector 1,93x tot 2,7x sneller bij gelijke recall, ondanks dat Neptune op krachtigere hardware draait.
  • Kosten: TigerVector draait op goedkopere hardware (Google Cloud) en is 22,42x goedkoper dan de gebruikte Amazon Neptune-configuratie.

• Vergelijking met Gespecialiseerde Vector-Databases (Milvus):

  • TigerVector presteert vergelijkbaar of zelfs beter dan Milvus (een hooggeoptimaliseerde vector-database), met een throughput die 1,07x tot 1,61x hoger is.
  • Dit wordt toegeschreven aan het efficiënte gebruik van multi-core parallelisme (C++ implementatie vs. Go bij Milvus) en de MPP-architectuur.

• Schalbaarheid:

  • Het systeem schaalt bijna lineair met het aantal knooppunten (machines). Verdubbeling van de machines resulteert in een throughput-stijging van 1,84x tot 1,91x.
  • Het systeem handhaaft hoge prestaties zelfs bij dataset-groottes van 1 miljard vectoren.

• Hybride Zoekopdrachten:

  • Experimenten met LDBC-SNB tonen aan dat hybride zoekopdrachten (graf + vector) zeer efficiënt zijn, waarbij de vectorzoekcomponent vaak binnen enkele milliseconden wordt voltooid, zelfs bij complexe multi-hop graf-patronen.

Betekenis en Impact

TigerVector vertegenwoordigt een paradigmaverschuiving in de data-infrastructuur voor LLMs en RAG-systemen. Het bewijst dat het mogelijk is om vector- en grafdata in één systeem te verenigen zonder in te leveren op prestaties.

• Vooruitgang voor RAG: Het stelt ontwikkelaars in staat om "VectorGraphRAG" te bouwen, waarbij zowel semantische relevantie (via vectoren) als relationele context (via grafen) worden benut. Dit leidt tot nauwkeurigere en contextbewustere antwoorden van LLMs.
• Operatieve Efficiëntie: Door data in één systeem te houden, worden data-silos verwijderd, wordt data-consistentie gewaarborgd en wordt data-governance (zoals toegangscontrole) vereenvoudigd.
• Toekomstbestendig: De ontworpen principes (decoupled storage, MPP-indexing, geïntegreerde query-taal) zijn toepasbaar op andere graf-databases en kunnen de standaard worden voor de volgende generatie data-systemen.

TigerVector is geïntegreerd in TigerGraph v4.2 (december 2024) en is beschikbaar voor de community.