Graphs RAG at Scale: Beyond Retrieval-Augmented Generation With Labeled Property Graphs and Resource Description Framework for Complex and Unknown Search Spaces

Este artículo presenta un marco de RAG basado en grafos que combina grafos de propiedades etiquetadas (LPG) y el Marco de Descripción de Recursos (RDF) para superar las limitaciones de los métodos tradicionales, logrando una recuperación dinámica, una conversión eficiente de documentos a tripletes RDF y una traducción de texto a Cypher con más del 90% de precisión, lo que resulta en un rendimiento superior en tareas complejas y semi-estructuradas.

Lo esencial

¡Claro que sí! Imagina que tienes un bibliotecario de inteligencia artificial (un modelo de lenguaje o LLM) que es extremadamente inteligente, pero tiene un problema: su memoria se quedó congelada en el momento en que fue "educado". Si le preguntas algo que ocurrió ayer o sobre un dato muy específico que no estaba en sus libros de texto, o bien no sabe la respuesta o, peor aún, alucina (inventa una respuesta que suena muy convincente pero es falsa).

Para solucionar esto, los investigadores de Capital Group (Manie Tadayon y Mayank Gupta) probaron diferentes formas de darle "libros de consulta" a este bibliotecario en tiempo real. Su conclusión es que la forma tradicional de hacerlo ya no es suficiente para datos complejos, y que los gráficos (Graphs) son la solución.

Aquí te explico su investigación usando analogías sencillas:

1. El Problema: Buscar una aguja en un pajar (RAG Tradicional)

Imagina que tienes una montaña de papeles desordenados (tus datos financieros, como fondos de inversión).

• El método antiguo (RAG con vectores): Cuando alguien hace una pregunta, el sistema busca en esa montaña de papeles los que "suenan" parecidos a la pregunta. Es como si el bibliotecario cerrara los ojos, tirara un dardo al montón y leyera los papeles que cayeron cerca.
• El fallo: Si la montaña es enorme o si la pregunta es muy específica (ej: "¿Qué fondos tienen un gestor llamado 'Juan' y un rendimiento del 5%?"), el sistema se pierde. No sabe cuántos papeles buscar. Si busca pocos, se le escapa la información; si busca muchos, se ahoga en ruido y el bibliotecario se confunde. Además, los datos financieros a menudo vienen en listas ordenadas (JSON), no en párrafos de texto, lo que hace que esta búsqueda por "sonido" sea muy ineficiente.

2. La Solución: Un Mapa del Tesoro (Graph RAG)

En lugar de una montaña de papeles desordenados, los autores proponen convertir toda esa información en un Mapa del Tesoro gigante y conectado.

En este mapa:

• Cada fondo de inversión es un nodo (un punto en el mapa).
• Las relaciones entre ellos (como "tiene el gestor X" o "sigue el índice Y") son caminos (líneas que conectan los puntos).

El paper compara dos tipos de mapas muy potentes:

A. El Mapa de Etiquetas y Propiedades (LPG - Labeled Property Graph)

Imagina que este mapa es como un sistema de metro muy bien diseñado.

• Cada estación tiene un nombre claro (ej: "Fondo AMCAP").
• Las líneas de metro tienen nombres específicos (ej: "Línea de Gestores", "Línea de Rendimiento").
• La magia: Si quieres saber "¿Quién gestiona el fondo AMCAP?", no necesitas leer miles de papeles. Solo sigues la línea de metro "Gestores" desde la estación "AMCAP" y llegas directo a la respuesta.
• El truco: El sistema traduce tu pregunta en lenguaje natural ("¿Quién gestiona AMCAP?") a un "idioma de instrucciones" llamado Cypher (como un GPS que le dice al mapa exactamente qué ruta tomar).
• Resultado: Es increíblemente rápido y preciso, especialmente para preguntas complejas que requieren saltar de un punto a otro (ej: "¿Qué fondos gestiona la persona que también gestionó el fondo Z?").

B. El Mapa de Triplets (RDF - Resource Description Framework)

Imagina este mapa como un gigantesco libro de recetas de cocina donde cada línea es una frase simple: "El ingrediente A tiene la propiedad B".

• En lugar de un mapa de metro, es una lista masiva de hechos conectados.
• El sistema busca en esta lista las frases que encajan con tu pregunta y las une para formar la respuesta.
• Resultado: También funciona muy bien y es muy flexible, pero a veces es un poco más lento que el "mapa de metro" (LPG) cuando las preguntas son muy complicadas.

3. ¿Qué descubrieron? (Los Resultados)

Los autores probaron sus métodos contra el método antiguo (el bibliotecario que busca en el montón de papeles) usando 200 preguntas difíciles sobre fondos de inversión.

• El método antiguo (RAG Agentic): Se equivocó mucho. A menudo inventaba datos o no encontraba la información porque no sabía cuántos papeles buscar. Fue como intentar encontrar una dirección en una ciudad sin mapa, solo preguntando a la gente al azar.
• Los métodos con Gráficos (LPG y RDF): Ganaron por goleada.
  • LPG (El mapa de metro): Fue el campeón, especialmente en búsquedas y comparaciones. Logró un 93% de aciertos en búsquedas complejas.
  • RDF (El libro de recetas): También fue un ganador, con un 80% de aciertos en búsquedas.

4. La Analogía Final: El Detective vs. El GPS

• El RAG tradicional es como un detective novato que revisa miles de archivos de papel buscando pistas. Si el caso es complejo, se pierde, se cansa y a veces inventa pistas para llenar los vacíos.
• El Graph RAG (LPG/RDF) es como tener un GPS de alta tecnología conectado a una base de datos perfecta. No importa cuántos datos haya; el GPS sabe exactamente qué camino tomar para llegar a la respuesta sin perderse ni inventar nada.

Conclusión Simple

Si tienes datos complejos, estructurados y conectados (como los financieros), dejar de buscar en "textos planos" y empezar a usar "mapas conectados" (Gráficos) es la diferencia entre tener un asistente que adivina y tener un asistente que sabe exactamente dónde está la información.

El papel demuestra que, para el futuro de la inteligencia artificial en empresas, dibujar un mapa de las relaciones entre los datos es mucho más inteligente que simplemente leer los datos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Resumen Técnico: Graph RAG a Escala con Grafos de Propiedades Etiquetadas y RDF

1. El Problema

Los modelos de lenguaje grande (LLMs) son poderosos pero sufren de conocimiento estático y alucinaciones. La Generación Aumentada por Recuperación (RAG) tradicional intenta mitigar esto recuperando documentos relevantes, pero enfrenta limitaciones críticas en escenarios complejos:

• Espacios de búsqueda desconocidos: Los métodos tradicionales basados en incrustaciones (embeddings) requieren predefinir el número de documentos a recuperar ($k$), lo cual es ineficiente cuando la cantidad de información relevante es desconocida.
• Datos semi-estructurados y estructurados: Los enfoques basados en texto plano luchan para manejar datos como JSON anidados, tablas o pares clave-valor, perdiendo la estructura semántica y las relaciones entre entidades.
• Ineficiencia en la reordenación: Las tuberías (pipelines) tradicionales dependen pesadamente de modelos de reordenamiento (rerankers) para filtrar ruido, lo que añade latencia y complejidad sin garantizar precisión.
• Falta de razonamiento: La recuperación basada en similitud vectorial a menudo falla en consultas que requieren razonamiento multihop (múltiples saltos) o comprensión de relaciones complejas entre entidades.

2. Metodología

Los autores proponen un marco de Graph RAG de extremo a extremo que utiliza dos arquitecturas de grafos distintas: Grafos de Propiedades Etiquetadas (LPG) y Resource Description Framework (RDF). El estudio se basa en un conjunto de datos de Capital Group que contiene 1,104 registros de productos de inversión (fondos mutuos, ETFs, soluciones privadas) en formato JSON altamente anidado.

A. Representación de Datos

• Enfoque RDF: Convierte cada objeto JSON en triplets (sujeto, predicado, objeto). El nombre abreviado del fondo actúa como sujeto único. Los atributos anidados se aplanan recursivamente en triplets. Esto genera más de 650,000 triplets únicos. Se utiliza Amazon Neptune para el almacenamiento y SPARQL para las consultas.
• Enfoque LPG: Modela los datos como un grafo de propiedades etiquetadas utilizando openCypher. Se diseña un esquema cuidadoso donde las entidades (fondos) son nodos y los atributos complejos (como tipos de producto o gestores) se modelan como nodos separados conectados por relaciones explícitas. Esto permite una navegación eficiente y reduce la ambigüedad. Se utiliza Amazon Neptune y NetworkX para prototipado.
• Comparación (RAG Agente/Tradicional): Se convierte el JSON a texto narrativo mediante LLMs (RAG1, descartado por escalabilidad) o se procesa directamente el texto generado (RAG2) usando incrustaciones (BGE-m3) y reordenadores (rerankers).

B. Pipeline de Recuperación

1. RDF Pipeline:
   • Un agente selecciona nodos relevantes basándose en metadatos y la consulta.
   • Se identifican relaciones relevantes mediante clasificación supervisada y búsqueda por similitud de incrustaciones.
   • Se ejecuta una consulta SPARQL en el grafo para recuperar los triplets exactos.
2. LPG Pipeline (Text-to-Cypher):
   • Se genera un esquema completo del grafo (etiquetas de nodos, tipos de relaciones, propiedades).
   • Un modelo LLM fine-tuned traduce la consulta natural del usuario a una consulta Cypher ejecutable en tiempo real, utilizando el esquema como contexto.
   • Se logra una precisión superior al 90% en la traducción texto-a-Cypher.
3. Agentic RAG (Baseline):
   • Convierte triplets o JSONs en oraciones naturales, las incrusta y recupera mediante búsqueda vectorial (FAISS) y reordenamiento.

3. Contribuciones Clave

1. Marco Graph RAG Unificado: Presentación de un sistema end-to-end que integra tanto RDF como LPG para manejar datos semi-estructurados a escala, superando las limitaciones de los RAGs basados puramente en texto.
2. Conversión JSON a RDF Determinista: Un método eficiente y sin ruido para transformar JSONs anidados en triplets RDF, preservando la integridad de los datos sin depender de la generación de texto de LLMs para la extracción.
3. Framework Text-to-Cypher de Alta Precisión: Desarrollo de un módulo que traduce consultas naturales a Cypher en tiempo real con >90% de precisión, habilitando aplicaciones en línea rápidas y fiables sobre grafos complejos.
4. Evaluación Empírica Rigurosa: Comparación exhaustiva entre RAG basado en grafos (LPG y RDF) y RAG basado en incrustaciones, demostrando la superioridad de los grafos en tareas de razonamiento y recuperación en espacios de búsqueda desconocidos.

4. Resultados

Se evaluaron 200 consultas de diversa dificultad (búsqueda, comparación, detalles, otros) sobre los tres enfoques.

• Puntuación General (sobre 200):
  • LPG: 185.5 (El mejor rendimiento).
  • RDF: 172.5.
  • RAG Agente (Tradicional): 116.
• Desempeño por Intención:
  • Búsqueda/Lista: LPG obtuvo 93/100, superando significativamente a RDF (80) y al RAG Agente (38.5). La capacidad de recorrido multihop de LPG fue crucial aquí.
  • Comparación y Detalles: Tanto LPG como RDF mostraron un rendimiento excelente y similar, superando ampliamente al RAG Agente.
• Hallazgos Críticos:
  • El RAG Agente falló frecuentemente debido a la dificultad de determinar cuántos documentos recuperar ($k$) y a la ambigüedad de las incrustaciones (ej. confundir nombres similares como CGCP y CGCB).
  • El diseño de esquemas en LPG (normalización de nodos y relaciones) redujo errores en la traducción de consultas y permitió un razonamiento determinista.
  • El enfoque RDF es robusto pero depende de la correcta selección de triplets, mientras que LPG ofrece una estructura más optimizada para consultas complejas.

5. Significado e Impacto

Este trabajo establece que Graph RAG es una solución transformadora para la próxima generación de sistemas de recuperación aumentada, especialmente en dominios financieros y científicos donde los datos son estructurados, semi-estructurados y las relaciones son complejas.

• Superioridad sobre Embeddings: Demuestra que para espacios de búsqueda desconocidos, los grafos superan a los métodos vectoriales tradicionales al eliminar la necesidad de predefinir el tamaño del contexto y al permitir un razonamiento lógico explícito.
• Escalabilidad: La arquitectura propuesta escala bien con grandes volúmenes de datos estructurados (como miles de fondos con miles de atributos), algo que los pipelines de texto plano no logran sin alucinaciones o pérdida de contexto.
• Viabilidad Operativa: La alta precisión en la generación de consultas Cypher en tiempo real valida la viabilidad de usar grafos en aplicaciones en línea que requieren baja latencia y alta fiabilidad.

En conclusión, el artículo argumenta que la combinación de LPG con un diseño de esquema cuidadoso y Text-to-Cypher representa el estado del arte para tareas de recuperación de conocimiento intensivo, ofreciendo mayor precisión, calidad de respuesta y capacidad de razonamiento que los métodos RAG tradicionales.