TigerVector: Supporting Vector Search in Graph Databases for Advanced RAGs

Este artigo apresenta o TigerVector, um sistema integrado ao banco de dados gráfico TigerGraph que combina busca vetorial e consultas de grafos para permitir a fusão eficiente de dados estruturados e não estruturados em RAGs avançados, demonstrando superioridade de desempenho e escalabilidade em comparação com outras soluções especializadas.

O essencial

Imagine que você tem uma biblioteca gigante e bagunçada. Dentro dela, existem dois tipos de informações:

1. Livros de História (Dados Estruturados): São os dados organizados, como "quem é amigo de quem", "quem comprou o quê" e "quem mora onde". É fácil navegar por isso se você souber o caminho.
2. Páginas de Ideias (Dados Não Estruturados): São textos, imagens e vídeos que contêm o "sentimento" ou o "significado" das coisas. Para encontrar algo aqui, você precisa de uma bússola mágica que entenda o que você quer dizer, não apenas as palavras exatas.

O problema é que, até agora, as bibliotecas (bancos de dados) eram especialistas em apenas um desses mundos. Ou você tinha uma biblioteca de mapas (bancos de dados de grafos) que não entendia o significado das páginas, ou tinha uma biblioteca de bússolas (bancos de dados vetoriais) que não sabia quem era amigo de quem.

O TigerVector é a solução que une os dois mundos.

Aqui está uma explicação simples do que o artigo "TigerVector" propõe, usando analogias do dia a dia:

1. O Problema: A Biblioteca Dividida

Hoje, para criar um assistente de IA inteligente (como o que você usa para responder perguntas complexas), as empresas precisam usar dois sistemas separados:

• Um para guardar os relacionamentos (quem conhece quem).
• Outro para guardar o significado das palavras (vetores).

Isso é como ter que correr de um lado para o outro da cidade para pegar uma informação. Você perde tempo, gasta mais dinheiro e corre o risco de as informações não combinarem (ex: o mapa diz que "João" é amigo de "Maria", mas a bússola diz que "João" gosta de "Pedro").

2. A Solução: O "Super-Gestor" (TigerVector)

Os autores criaram o TigerVector. Pense nele como um Super-Gestor de Biblioteca que vive dentro do sistema TigerGraph.

• A Nova Carteira de Identidade: Antes, os livros tinham apenas nome e autor. O TigerVector dá a cada livro uma "carteira de identidade" especial chamada Embedding. Essa carteira contém não só o texto, mas também um "mapa de significado" (o vetor) que diz exatamente do que aquele livro trata, sem precisar ler tudo.
• Armazenamento Inteligente: O sistema é esperto. Ele sabe que os "mapas de significado" são muito grandes e pesados. Então, ele os guarda em um cofre separado (desacoplado), mas mantém um bilhete no livro original dizendo: "Olhe no cofre 3, gaveta 5 para o significado". Isso torna tudo muito rápido.

3. Como Funciona a Magia (A Busca Híbrida)

O grande trunfo do TigerVector é que ele permite fazer perguntas que misturam os dois mundos em uma única frase.

• Exemplo Antigo (Dois sistemas):

  1. "Quem são os amigos de Alice?" (Pergunta ao sistema de mapas).
  2. "Entre esses amigos, quem escreveu algo sobre 'férias na praia'?" (Pergunta ao sistema de bússola).
     Resultado: Você tem que fazer duas viagens e juntar os resultados manualmente.

• Exemplo Novo (TigerVector):
  "Mostre-me os amigos de Alice que escreveram algo que significa 'férias na praia'."
  Resultado: O Super-Gestor olha o mapa, encontra os amigos, olha o cofre de significados deles e entrega a resposta pronta em milissegundos.

4. Por que é tão rápido? (O Motor MPP)

O TigerVector não é apenas um adesivo colado no sistema antigo. Ele usa uma arquitetura chamada MPP (Processamento Massivamente Paralelo).

Imagine que você tem que organizar 1 milhão de livros.

• Sistemas antigos: Uma pessoa sozinha organiza a pilha inteira. Demora muito.
• TigerVector: Ele contrata 1.000 organizadores. Ele divide os livros em 1.000 caixas e cada organizador trabalha na sua caixa ao mesmo tempo. Quando todos terminam, eles juntam os resultados. Isso é o que permite que ele seja mais rápido até do que sistemas feitos apenas para vetores (como o Milvus).

5. O Resultado Final

O artigo mostra testes onde o TigerVector:

• É muito mais rápido que os concorrentes (como Neo4j e Amazon Neptune) quando busca por significado.
• É tão rápido quanto o especialista em vetores (Milvus), mas com a vantagem de também entender os relacionamentos.
• É mais barato, pois você não precisa de dois sistemas caros rodando ao mesmo tempo.

Em resumo:
O TigerVector é como dar a um detetive (o banco de dados) uma lupa mágica que entende o significado das palavras, sem que ele precise largar o mapa da cidade. Isso permite que as Inteligências Artificiais (LLMs) encontrem respostas muito mais precisas, rápidas e baratas, entendendo tanto "quem é quem" quanto "o que isso significa".

Resumo técnico

Resumo Técnico: TigerVector

1. Problema e Motivação

O artigo aborda as limitações atuais das arquiteturas de Geração Aumentada por Recuperação (RAG) baseadas puramente em bancos de dados vetoriais. Embora eficazes para recuperação semântica, esses sistemas falham em capturar relações complexas entre objetos de dados, levando a baixas taxas de acerto em prompts e respostas imprecisas de Grandes Modelos de Linguagem (LLMs).

A solução emergente, GraphRAG, utiliza bancos de dados de grafos para armazenar conhecimento estruturado. No entanto, a abordagem híbrida ideal (VectorGraphRAG), que combina busca vetorial e busca em grafos, enfrenta desafios significativos quando implementada com sistemas separados (um banco vetorial e um banco de grafos):

• Silos de Dados e Consistência: Manter dados vetoriais e estruturados em sistemas distintos exige movimentação de dados e dificulta a consistência transacional.
• Desempenho: Bancos de grafos tradicionais (como Neo4j e Amazon Neptune) não são otimizados para busca vetorial em larga escala, sofrendo de baixa performance comparada a sistemas especializados (como Milvus).
• Complexidade de Consulta: A falta de uma linguagem unificada para expressar consultas que misturam filtragem de grafos, padrões de grafos e similaridade vetorial.
• Atualizações: Dificuldade em realizar atualizações atômicas e eficientes de vetores sem impactar o restante do grafo.

2. Metodologia e Arquitetura do Sistema

O TigerVector é um novo sistema integrado ao TigerGraph (um banco de dados de grafos nativo MPP - Massively Parallel Processing) que resolve esses desafios através de uma arquitetura unificada.

Principais Componentes de Design:

• Novo Tipo de Dado embedding:

  • Introduz um tipo de dado nativo para vetores, diferente de listas simples de floats.
  • Gerencia metadados essenciais (dimensionalidade, modelo de ML, métrica de distância) e suporta múltiplos tipos de embeddings (ex: texto e imagem) no mesmo nó do grafo.
  • Define "Espaços de Embedding" para agrupar vetores gerados pelo mesmo modelo.

• Armazenamento Desacoplado (Decoupled Storage):

  • Os vetores são armazenados em segmentos de embedding separados dos atributos do grafo (vértices e arestas).
  • Isso permite que os índices vetoriais sejam gerenciados independentemente, reduzindo I/O de disco durante atualizações e permitindo o uso de implementações nativas de índices vetoriais de alta performance.
  • Mantém a partição baseada em vértices: cada segmento de vértice tem seu próprio segmento de embedding correspondente, facilitando o processamento local.

• Índices Vetoriais Distribuídos (MPP):

  • Utiliza o índice HNSW (Hierarchical Navigable Small World), amplamente usado em bancos vetoriais especializados.
  • Em vez de um único índice global, o TigerVector constrói um índice HNSW por segmento de embedding.
  • Vantagem: Minimiza a comunicação de rede. As consultas são distribuídas para os servidores (workers), que realizam buscas locais e retornam os resultados para um coordinator fazer a fusão global, evitando travessias complexas de rede típicas de índices globais particionados.

• Atualizações Incrementais e Transacionais (MVCC):

  • Implementa um esquema de Controle de Concorrência Multiversão (MVCC) específico para vetores.
  • Atualizações (inserções, deleções) são acumuladas como "delta" em memória e depois consolidadas em arquivos de disco e índices.
  • O processo de vacuum (limpeza) é desacoplado em duas etapas: fusão de deltas (rápida) e fusão de índices (lenta), permitindo que as consultas continuem operando com snapshots consistentes enquanto o índice é atualizado em segundo plano.

• Integração com GSQL (Linguagem de Consulta):

  • Estende a linguagem declarativa GSQL do TigerGraph para suportar busca vetorial.
  • Suporta:
    • Busca Vetorial Pura: ORDER BY VECTOR_DIST(...) LIMIT k.
    • Busca Vetorial Filtrada: Combinação de predicados de grafo (ex: WHERE language = "English") com busca vetorial (abordagem pre-filter).
    • Busca em Padrões de Grafos: Executa busca vetorial em subconjuntos de vértices definidos por padrões complexos de grafos (ex: "posts criados por amigos de Alice").
    • Junção de Similaridade Vetorial: Encontra pares de nós (fonte, destino) com maior similaridade dentro de um padrão de grafo.
  • Introduz a função VectorSearch(), que aceita variáveis de conjuntos de vértices como entrada e saída, permitindo composição complexa de consultas (ex: detectar comunidades e buscar vetores dentro de cada comunidade).

3. Contribuições Principais

1. Sistema Unificado: Primeiro sistema a integrar nativamente busca vetorial de alta performance em um banco de dados de grafos distribuído, eliminando silos de dados.
2. Arquitetura MPP para Vetores: Adaptação bem-sucedida da arquitetura de processamento paralelo massivo para índices vetoriais, garantindo escalabilidade linear.
3. Suporte a RAG Avançado: Capacidade de executar consultas híbridas complexas (filtragem + grafos + vetores) em uma única linguagem, essencial para GraphRAG.
4. Atualizações Atômicas: Suporte a transações ACID para dados vetoriais, algo frequentemente ausente ou limitado em outras soluções híbridas.
5. Flexibilidade de Tipos: Suporte nativo a múltiplos tipos de embeddings e metadados dentro do mesmo nó.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados SIFT100M/1B e Deep100M/1B, comparando o TigerVector com Neo4j, Amazon Neptune e Milvus (banco vetorial especializado).

• Desempenho vs. Bancos de Grafos:
  • O TigerVector superou o Neo4j em 3,77x a 5,19x em throughput (QPS) e obteve 23% a 26% maior taxa de recall.
  • Superou o Amazon Neptune em 1,93x a 2,7x em throughput, mesmo usando hardware significativamente inferior (custo 22,42x menor).
• Desempenho vs. Banco Vetorial Especializado (Milvus):
  • O TigerVector foi competitivo, alcançando 1,07x a 1,61x mais throughput que o Milvus em alguns cenários, graças ao uso eficiente de paralelismo multi-core (C++ vs. Go) e arquitetura MPP.
  • Latência inferior em até 1,16x comparado ao Milvus.
• Escalabilidade:
  • Demonstrou escalabilidade quase linear ao aumentar o número de nós (dobrando nós resultou em ganhos de 1,84x a 1,91x no throughput).
  • Escalou bem para 1 bilhão de vetores, mantendo o desempenho proporcional ao aumento de carga.
• Atualização de Índices:
  • Tempo de construção de índice 5,2x a 6,8x mais rápido que o Neo4j e 1,86x a 2,16x mais rápido que o Milvus.
  • Suporte eficiente a atualizações incrementais, com recomendação de reconstrução completa apenas quando >20% dos vetores são alterados.
• Busca Híbrida:
  • Em consultas complexas de grafos (LDBC SNB) combinadas com busca vetorial, o tempo de busca vetorial foi extremamente rápido (milissegundos), mesmo com milhões de candidatos filtrados pelo grafo.

5. Significado e Impacto

O TigerVector representa um avanço significativo na infraestrutura de dados para LLMs e RAGs. Ao unificar dados estruturados (grafos) e não estruturados (vetores) em um único sistema transacional, ele permite:

• RAGs mais precisos: A capacidade de filtrar vetores por contexto de grafo (ex: "revisões positivas de um cliente específico") melhora drasticamente a relevância das respostas geradas por IA.
• Redução de Complexidade Operacional: Elimina a necessidade de manter e sincronizar dois sistemas de banco de dados distintos.
• Governança Unificada: Permite controle de acesso e segurança consistentes para todos os dados.

O sistema foi integrado ao TigerGraph v4.2 em dezembro de 2024, tornando-se uma solução prática e de alto desempenho para aplicações industriais que exigem a fusão de análise de grafos e inteligência semântica.