TigerVector: Supporting Vector Search in Graph Databases for Advanced RAGs

Este artículo presenta TigerVector, un sistema integrado en TigerGraph que combina la búsqueda vectorial con consultas de grafos mediante un marco de índice MPP y extensiones en GSQL, logrando un rendimiento superior y una fusión eficiente de datos estructurados y no estructurados para RAGs avanzados.

Lo esencial

¡Claro que sí! Imagina que este paper presenta a TigerVector, una nueva tecnología que actúa como un "superpoder" para una base de datos llamada TigerGraph.

Para entenderlo sin tecnicismos, vamos a usar una analogía de una biblioteca gigante y un detective.

1. El Problema: La Biblioteca Desconectada

Imagina que tienes dos bibliotecas separadas:

• La Biblioteca de los Hechos (Gráfica): Aquí tienes tarjetas con nombres de personas, quiénes son amigos de quién, y qué trabajos tienen. Es excelente para encontrar conexiones (ej: "¿Quién es amigo de Juan?").
• La Biblioteca de los Sentimientos (Vectorial): Aquí tienes millones de libros resúmenes por IA. Si buscas "historias tristes sobre el invierno", esta biblioteca te da los libros que se sienten como esa descripción, aunque no tengan esas palabras exactas.

El problema actual: Si quieres responder una pregunta compleja como "Encuentra las historias tristes sobre el invierno escritas por los amigos de Juan", tienes que ir a la biblioteca de sentimientos, sacar una lista, y luego ir a la biblioteca de hechos para ver si esos autores son amigos de Juan. ¡Es lento, confuso y a veces pierdes datos en el camino!

2. La Solución: TigerVector (La Biblioteca Unificada)

TigerVector es como construir un edificio único donde ambas bibliotecas están en el mismo lugar, pero organizadas de forma inteligente. Ahora, el detective (la base de datos) puede mirar los "sentimientos" de un libro y, al mismo tiempo, ver la "conexión familiar" del autor, todo en un solo paso.

3. ¿Cómo lo hace? (Las Analogías Clave)

A. El "Carnet de Identidad" Especial (Tipo de Datos Embedding)

Antes, los libros (datos) solo tenían etiquetas simples como "Título" o "Autor". TigerVector les da un carnet de identidad especial llamado Embedding.

• Analogía: Imagina que cada libro ahora tiene un código de barras mágico que no solo dice "esto es un libro", sino que describe su "alma" (su significado semántico). TigerVector sabe leer este código y sabe que un código de 1024 números significa algo diferente a uno de 512, evitando confusiones.

B. La Búsqueda en Paralelo (Arquitectura MPP)

TigerGraph no es una sola computadora; es un equipo de cientos de trabajadores (servidores) trabajando juntos.

• Analogía: Si tienes que buscar una aguja en un pajar gigante, un solo trabajador tardaría años. TigerVector divide el pajar en 100 montones pequeños y envía a 100 trabajadores a buscar al mismo tiempo. Luego, un jefe (el coordinador) reúne los resultados en segundos. Esto es lo que llaman MPP (Procesamiento Masivamente Paralelo).

C. La Renovación Sin Cerrar la Tienda (Actualizaciones Incrementales)

En otras bases de datos, si quieres actualizar un libro, a veces tienes que cerrar la biblioteca para reorganizar todo el estante.

• Analogía: TigerVector es como una tienda de ropa que nunca cierra. Si llega un nuevo modelo de camisa, los trabajadores lo cuelgan en un "carrito de actualización" (Delta Store) mientras los clientes siguen comprando. Luego, en un momento de calma, los trabajadores mueven esas camisas al estante principal sin que nadie se dé cuenta. ¡Todo es instantáneo y seguro!

D. El Detective Inteligente (Búsqueda Híbrida)

Aquí es donde TigerVector brilla para la Inteligencia Artificial (RAG).

• Analogía: Imagina que le pides al detective: "Busca noticias sobre 'cambio climático' (búsqueda vectorial) que hayan sido escritas por personas que viven en 'París' y que sean 'amigos de mi jefe' (búsqueda gráfica)".
  • Un sistema antiguo tendría que buscar primero en todo el mundo y luego filtrar.
  • TigerVector filtra primero a los amigos de tu jefe en París, y dentro de ese grupo pequeño, busca las noticias que "suenan" como cambio climático. Es mucho más rápido y preciso.

4. ¿Por qué es importante? (El Resultado)

El paper demuestra que TigerVector es:

1. Más rápido que los especialistas: Es tan rápido como las bibliotecas dedicadas solo a buscar "sentimientos" (como Milvus), pero con la ventaja de tener las conexiones gráficas integradas.
2. Más barato: Necesita menos hardware para hacer el mismo trabajo que sus competidores (como Amazon Neptune).
3. Más inteligente: Permite hacer preguntas que antes eran imposibles, combinando "lo que se siente" con "quién conoce a quién".

En Resumen

TigerVector es la evolución de las bases de datos. Deja de tener dos herramientas separadas (una para conexiones y otra para significados) y crea un cerebro unificado. Esto permite que las Inteligencias Artificiales (como los chatbots) entiendan no solo las palabras, sino también las relaciones complejas entre ellas, dando respuestas mucho más precisas y humanas.

Es como pasar de tener un mapa de papel y una brújula separados, a tener un GPS inteligente que sabe dónde estás, quién te rodea y hacia dónde debes ir, todo al mismo tiempo.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "TigerVector: Supporting Vector Search in Graph Databases for Advanced RAGs", estructurado según los puntos solicitados.

1. El Problema

El artículo aborda las limitaciones de los sistemas actuales de Generación Aumentada por Recuperación (RAG) basados únicamente en bases de datos vectoriales. Aunque estas son efectivas para recuperar datos semánticos, fallan en aplicaciones complejas donde es crucial entender las relaciones estructuradas entre objetos de datos (por ejemplo, encontrar todas las reseñas positivas de un cliente específico o resumir el impacto de un evento global).

Los desafíos principales identificados son:

• Falta de relaciones: Los RAGs puramente vectoriales no capturan relaciones complejas entre datos, lo que lleva a una baja precisión en las respuestas y a múltiples llamadas iterativas a la API de LLM, aumentando la latencia y el costo.
• Arquitecturas fragmentadas: La solución actual suele implicar el uso de dos sistemas separados (una base de datos vectorial y una base de datos de grafos). Esto genera silos de datos, problemas de consistencia, movimiento innecesario de datos y dificultades en la gobernanza y seguridad unificada.
• Limitaciones de las bases de datos de grafos existentes: Sistemas como Neo4j o Amazon Neptune han comenzado a soportar búsqueda vectorial, pero lo hacen de manera rudimentaria: carecen de alto rendimiento, no soportan búsquedas filtradas avanzadas o híbridas, no ofrecen actualizaciones atómicas eficientes y no gestionan bien múltiples tipos de incrustaciones (embeddings).

2. Metodología: TigerVector

Los autores presentan TigerVector, un sistema integrado nativamente en TigerGraph (una base de datos de grafos nativa MPP - Procesamiento Masivamente Paralelo). La metodología se basa en cuatro pilares de diseño:

A. Nuevo Tipo de Dato: Embedding

En lugar de tratar los vectores como simples listas de números (LIST<FLOAT>), TigerVector introduce un tipo de dato dedicado llamado embedding.

• Este tipo gestiona metadatos críticos como la dimensionalidad, el modelo de ML utilizado, el tipo de dato y la métrica de similitud.
• Soporta Espacios de Incrustación (Embedding Spaces), permitiendo definir esquemas unificados para múltiples tipos de vértices que usan el mismo modelo (ej. GPT-4 para posts y comentarios).

B. Almacenamiento Desacoplado

Para optimizar el rendimiento y la gestión de memoria:

• Las incrustaciones vectoriales se almacenan en segmentos de incrustación separados de los atributos gráficos tradicionales (nodos y aristas).
• Esto permite construir índices vectoriales nativos (basados en HNSW) por segmento sin duplicar datos ni ralentizar las operaciones de actualización de los atributos gráficos estándar.
• Se aprovecha la arquitectura MPP de TigerGraph: cada segmento de vértices tiene su propio índice vectorial local, permitiendo búsquedas paralelas y distribuidas.

C. Actualizaciones Incrementales y Transaccionales (MVCC)

TigerVector implementa un esquema de control de concurrencia multiversión (MVCC) para vectores:

• Las actualizaciones (inserciones, borrados, modificaciones) se acumulan como "deltas" en un almacén en memoria.
• Un proceso de "vacío" (vacuum) separa la fusión de deltas en disco de la reconstrucción del índice vectorial.
• Esto garantiza actualizaciones atómicas y consistentes, permitiendo que las consultas vean un estado coherente sin bloquear el sistema durante la reconstrucción del índice.

D. Integración en el Lenguaje de Consulta (GSQL)

La búsqueda vectorial se integra directamente en el lenguaje declarativo GSQL de TigerGraph:

• Búsqueda Vectorial Pura: Extensión de ORDER BY ... LIMIT con la función VECTOR_DIST.
• Búsqueda Filtrada: Soporte para pre-filtrado basado en atributos gráficos antes de la búsqueda vectorial (usando mapas de bits para eficiencia).
• Búsqueda Híbrida en Patrones de Grafos: Ejecución de búsqueda vectorial sobre conjuntos de vértices filtrados por patrones de grafos complejos (ej. "encontrar los posts más similares creados por amigos de Alice").
• Unión de Similitud Vectorial: Cálculo de similitud entre pares de nodos definidos por un patrón de grafos.
• Función VectorSearch(): Una función flexible que permite composición de consultas, aceptando variables de conjuntos de vértices como entrada (filtro) y devolviendo resultados para su uso en bloques de consulta posteriores.

3. Contribuciones Clave

1. Sistema Unificado: TigerVector es el primer sistema que integra nativamente búsqueda vectorial de alto rendimiento dentro de una base de datos de grafos distribuida, eliminando la necesidad de sistemas externos.
2. Arquitectura Escalable MPP: Diseño que permite escalar horizontalmente la búsqueda vectorial distribuyendo índices por segmentos de vértices, minimizando la comunicación de red durante la búsqueda.
3. Soporte para RAG Avanzado (VectorGraphRAG): Habilita flujos de trabajo híbridos donde se combinan búsquedas semánticas y estructurales en una sola consulta, mejorando la precisión de los LLMs.
4. Gestión Eficiente de Actualizaciones: Resolución del problema de la consistencia transaccional en la actualización de índices vectoriales, algo que sistemas como Amazon Neptune no soportan de forma atómica.
5. Soporte Multi-Modelo: Capacidad de gestionar múltiples tipos de embeddings (texto, imagen, etc.) dentro del mismo nodo de grafos mediante el tipo embedding.

4. Resultados Experimentales

Los autores evaluaron TigerVector utilizando los conjuntos de datos estándar SIFT100M/1B y Deep100M/1B, comparándolo con Milvus (base de datos vectorial especializada), Neo4j y Amazon Neptune.

• Rendimiento vs. Bases de Datos de Grafos:
  • TigerVector superó a Neo4j entre 3.77x y 5.19x en rendimiento (throughput) y logró un 23-26% más de recall (precisión).
  • Superó a Amazon Neptune entre 1.93x y 2.7x en throughput, manteniendo un recall similar, pero utilizando hardware significativamente más barato (22.42x menos costoso).
• Rendimiento vs. Bases de Datos Vectoriales Especializadas:
  • TigerVector logró un rendimiento comparable e incluso superior a Milvus (hasta 1.61x más throughput en algunos casos), demostrando que una base de datos de grafos puede igualar a una especializada en vectores gracias a la arquitectura MPP y la implementación en C++.
• Escalabilidad:
  • El sistema mostró una escalabilidad casi lineal al aumentar el número de nodos y el tamaño de los datos (hasta 1 mil millones de vectores).
• Actualizaciones:
  • La construcción de índices fue 5.2x a 6.8x más rápida que en Neo4j y 1.86x a 2.16x más rápida que en Milvus.
  • Las actualizaciones incrementales son eficientes hasta un 20% de cambio en los datos; más allá de eso, se recomienda reconstruir el índice.

5. Significado e Impacto

El trabajo de TigerVector es fundamental para el futuro de los sistemas de IA generativa:

• Habilitador de VectorGraphRAG: Permite la fusión perfecta de datos no estructurados (texto, imágenes) y estructurados (relaciones, jerarquías), lo cual es esencial para aplicaciones RAG complejas que requieren razonamiento sobre relaciones entre entidades.
• Simplificación de la Arquitectura de Datos: Elimina la complejidad de mantener, sincronizar y asegurar múltiples bases de datos, reduciendo la latencia y los costos operativos.
• Validación de Enfoque Unificado: Demuestra que es posible tener un sistema unificado que no sacrifique el rendimiento de la búsqueda vectorial, desafiando la noción de que se necesitan sistemas separados para grafos y vectores.
• Disponibilidad: TigerVector ya está integrado en la versión 4.2 de TigerGraph (lanzada en diciembre de 2024), haciendo esta tecnología accesible para la industria.

En resumen, TigerVector representa un avance significativo al cerrar la brecha entre la búsqueda semántica y la analítica de grafos, ofreciendo una infraestructura robusta, escalable y transaccional para la próxima generación de aplicaciones impulsadas por LLMs.